当前位置： 首页 > news >正文

『大模型笔记』评估大型语言模型的指标：ELO评分，BLEU，困惑度和交叉熵介绍以及举例解释

news 2026/2/11 0:12:29
评估大型语言模型的指标：ELO评分，BLEU，困惑度和交叉熵介绍以及举例解释

文章目录

  • 一. ELO Rating
    • 大模型的elo得分如何理解
      • 1. Elo评分的基本原理
      • 2. 示例说明
      • 3. 大模型中的Elo得分
      • 总结
    • 3个模型之间如何比较计算，给出示例进行解释
      • 1. 基本原理扩展到三方
      • 2. 示例计算
      • 第一场： A A A对战 B B B
      • 第二场： A A A对战 C C C
      • 第三场： B B B对战 C C C
      • 3. 最终 Elo 得分
      • 4. 总结
    • ELO评分的局限性
  • 二. BLEU (Bilingual Evaluation Understudy，双语评估替代)
      • **BLEU计算步骤概述**
      • **详细解释**
        • **1. n-gram匹配**
        • **2. 计算精确度（Precision）**
        • **3. 平均精确度（Precision Average）**
        • **4. 长度惩罚（Brevity Penalty, BP）**
        • **5. BLEU得分计算**
      • **示例**
      • **总结**
  • 三. 困惑度(Perplexity)
      • **困惑度（Perplexity）的详细解释**
      • **1. 困惑度的定义**
        • **公式中的符号解释**：
      • **2. 困惑度的直观理解**
      • **3. 计算困惑度的步骤**
      • **4. 困惑度的意义**
      • **5. 总结**
  • 四. 交叉熵(Cross Entropy)
      • **交叉熵（Cross Entropy）详细解释**
      • **1. 交叉熵的定义公式**
      • **2. 交叉熵的作用**
      • **3. 示例计算**
      • **4. 在语言模型中的应用**
      • **5. 优化目标：最小化交叉熵**
      • **6. 交叉熵与困惑度的关系**
      • **总结**
  • 三. 参考文献

  • ELO Rating, BLEU, Perplexity and Cross Entropy
  • ELO评分提供了一种动态和相对的LLM性能衡量标准，允许在模型进行训练和微调时进行持续评估和排名。聊天机器人领域使用ELO评分来促进LLM对战，并维护最有效模型的排行榜。

在这里插入图片描述

一. ELO Rating

大模型的elo得分如何理解

Elo得分是一个用于评估棋手或参与者相对能力的评分系统，最初由匈牙利裔美国人阿尔帕德·厄尔&#x

相关文章：

『大模型笔记』评估大型语言模型的指标：ELO评分，BLEU，困惑度和交叉熵介绍以及举例解释

评估大型语言模型的指标：ELO评分，BLEU，困惑度和交叉熵介绍以及举例解释 文章目录 一. ELO Rating大模型的elo得分如何理解1. Elo评分的基本原理2. 示例说明3. 大模型中的Elo得分总结3个模型之间如何比较计算，给出示例进行解释1. 基本原理扩展到三方2. 示例计算第一场： A A…...

编程日记 2024/12/27 22:59:37

深度解析：Maven 和 Gradle 的使用比较及常见仓库推荐

Maven 和 Gradle 是 Java 项目中最常用的构建工具。它们各有优势，适用于不同的场景。本文将对两者进行详细的对比，并推荐一些常用的 Maven 和 Gradle 仓库，帮助开发者高效管理依赖。 一、Maven 和 Gradle 的使用比较 1.1 基本介绍 Maven 基…...

编程日记 2024/12/27 22:57:33

SQLite本地数据库的简介和适用场景——集成SpringBoot的图文说明

前言：现在项目普遍使用的数据库都是MySQL，而有些项目实际上使用SQLite既足矣。在一些特定的项目中，要比MySQL更适用。 这一篇文章简单的介绍一下SQLite，对比MySQL的优缺点、以及适用的项目类型和集成SpringBoot。 1. SQLite 简介 …...

编程日记 2024/12/27 22:55:29

管理面板Ajenti的在Windows10下Ubuntu24.04/Ubuntu22.04里的安装

Ajenti是一款基于Web的开源系统管理控制面板，可用于通过Web浏览器，管理远程系统管理性任务，这一点与 Webmin模块 非常相似。 Ajenti是一款功能非常强大的轻型工具，它提供了快速的、反应灵敏的Web界面，可用于管理小型服…...

编程日记 2024/12/27 22:53:26

在Python如何用Type创建类

文章目录 一，如何创建类1：创建一个简单类2：添加属性和方法3：动态继承父类4：结合元类的使用总结 二.在什么情境下适合使用Type创建类1. **运行时动态生成类**2. **避免重复代码**3. **依赖元类或高级元编程**4. **动态扩…...

编程日记 2024/12/27 22:48:19

Android学习19 -- NDK4--共享内存（TODO）

在安卓的NDK（Native Development Kit）中，C共享内存通常用于不同进程间的通信，或者在同一进程中多线程之间共享数据。这种方法相较于其他形式的IPC（进程间通信）来说，具有更高的性能和低延迟。共享…...

编程日记 2024/12/27 22:47:18

《Cocos Creator游戏实战》非固定摇杆实现原理

为什么要使用非固定摇杆 许多同学在开发摇杆功能时，会将摇杆固定在屏幕左下某一位置，不会让其随着大拇指触摸点改变，而且玩家只有按在了摇杆上才能移动人物（触摸监听事件在摇杆精灵上)。然而，不同玩家的大拇指长度不同…...

编程日记 2024/12/27 22:42:13

RabbitMQ工作模式（详解 工作模式：简单队列、工作队列、公平分发以及消息应答和消息持久化）

文章目录 十.RabbitMQ10.1 简单队列实现10.2 Work 模式（工作队列）10.3 公平分发10.4 RabbitMQ 消息应答与消息持久化消息应答概念配置 消息持久化概念配置 十.RabbitMQ 10.1 简单队列实现 简单队列通常指的是一个基本的消息队列，它可以用于…...

编程日记 2024/12/27 22:40:11

【VScode】第三方GPT编程工具-CodeMoss安装教程

一、CodeMoss是什么？ CodeMoss是一款集编程、学习和办公于一体的高效工具。它兼容多种主流平台，包括VSCode、IDER、Chrome插件、Web和APP等，支持插件安装，尤其在VSCode和IDER上的表现尤为出色。无论你是编程新手还是资深开发者&a…...

编程日记 2024/12/27 22:39:10

在JavaScript中，let 和 const有什么不同

在JavaScript中，let 和 const 是用于声明变量的关键字，但它们有一些重要的区别 1.重新赋值： let 声明的变量可以重新赋值。const 声明的变量必须在声明时初始化，并且之后不能重新赋值 let a 10; a 20; // 有效，a 的…...

编程日记 2024/12/27 22:37:06

Mysq学习-Mysql查询（4）

5.子查询 子查询指一个查询语句嵌套在另一个查询语句内部的查询,这个特性从MySQL4.1开始引入.在SELECT子句中先计算子查询,子查询结果作为外层另一个查询的过滤条件,查询可以基于一个表或者多个表. 子查询中常用的操作符有ANY(SOME),ALL,IN,EXISTS.子查询可以添加到SELECT,UPD…...

编程日记 2024/12/27 22:35:04

安装torch-geometric库

目录 1.查看 torch 和 CUDA 版本 2.依次下载和 torch 和 CUDA 对应版本的四个依赖库pyg-lib、torch-scatter、torch-sparse、torch-cluster以及torch-spline-conv 3.下载并安装torch-geometric库 1.查看 torch 和 CUDA 版本 查看CUDA版本 nvcc -V 查看pytorch版本 pip s…...

编程日记 2024/12/27 22:34:03

Java数组深入解析：定义、操作、常见问题与高频练习

一、数组的定义 1. 什么是数组 数组是一个容器，用来存储多个相同类型的数据。它属于引用数据类型，可以存储基本数据类型（如int、char）或者引用数据类型（如String、对象）。 2. 数组的定义方式 a. 动态初…...

编程日记 2024/12/27 22:26:56

Docker-构建自己的Web-Linux系统-镜像webtop:ubuntu-kde

介绍 安装自己的linux-server,可以作为学习使用，web方式访问，基于ubuntu构建开源项目 https://github.com/linuxserver/docker-webtop安装 docker run -d -p 1336:3000 -e PASSWORD123456 --name webtop lscr.io/linuxserver/webtop:ubuntu-kde登录 …...

编程日记 2024/12/27 22:25:54

【C语言练习（17）—输出杨辉三角形】

C语言练习（17） 文章目录 C语言练习（17）前言题目题目解析整体代码 前言 杨辉三角形的输出可以分三步，第一步构建一个三角形、第二步根据规律将三角形内容填写、第三步将三角形以等腰的形式输出 题目 请输出一个十行的…...

编程日记 2024/12/27 22:17:43

SpringMVC学习(二)——RESTful API、拦截器、异常处理、数据类型转换

一、RESTful (一)RESTful概述 RESTful是一种软件架构风格，用于设计网络应用程序。REST是“Representational State Transfer”的缩写，中文意思是“表现层状态转移”。它基于客户端-服务器模型和无状态操作，以及使用HTTP请求来处理数据。RES…...

编程日记 2024/12/27 22:16:41

React 第二十节 useRef 用途使用技巧注意事项详解

简述 useRef 用于操作不需要在视图上渲染的属性数据，用于访问真实的DOM节点，或者React组件的实例对象，允许直接操作DOM元素或者是组件； 写法 const inpRef useRef(params)参数： useRef(params)，接收的 …...

编程日记 2024/12/27 22:15:40

VIVO Java开发面试题及参考答案

TCP 能不能两次握手？ TCP 不能两次握手。 在 TCP 连接建立过程中，三次握手是必不可少的。第一次握手是客户端向服务器发送一个带有 SYN（同步序列号）标志的 TCP 报文段，这个报文段包含了客户端初始的序列号。这一步的主要目的是告诉服务器，客户端想要建立连接，并且让服务…...

编程日记 2024/12/27 22:12:37

C# Winfrom chart图 实例练习

代码太多了我就不展示了，贴一些比较有代表性的 成品效果展示： Excel转Chart示例 简单说一下我的思路 \ 先把Excel数据展示在dataGridView控件上 XLIST 为 X轴的数据 XLIST 为 Y轴的数据 ZLIST 为 展示的数据进行数据处理点击展示即可 // 将Excel数…...

编程日记 2024/12/27 22:10:33

iOS从Matter的设备认证证书中获取VID和PID

设备认证证书也叫 DAC, 相当于每个已经认证的设备的标识。包含了 VID 和 PID. VID: Vendor ID ，标识厂商 PID: Product ID， 标识设备的 根据 Matter 对于设备证书的规定，DAC证书subject应该包含VID 和 PID. 可通过解析 X509 证书读取subject…...

编程日记 2024/12/27 22:03:26

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造，完美适配AGV和无人叉车。同时，集成以太网与语音合成技术，为各类高级系统（如MES、调度系统、库位管理、立库等）提供高效便捷的语音交互体验。 L…...

编程新知 2026/2/10 23:40:34

挑战杯推荐项目

“人工智能”创意赛 - 智能艺术创作助手：借助大模型技术，开发能根据用户输入的主题、风格等要求，生成绘画、音乐、文学作品等多种形式艺术创作灵感或初稿的应用，帮助艺术家和创意爱好者激发创意、提高创作效率。 ​ - 个性化梦境…...

编程新知 2025/11/6 5:46:16

【Java_EE】Spring MVC

目录 Spring Web MVC ​编辑注解 RestController RequestMapping RequestParam RequestParam RequestBody PathVariable RequestPart 参数传递 注意事项 ​编辑参数重命名 RequestParam ​编辑​编辑传递集合 RequestParam 传递JSON数据 ​编辑RequestBody ​…...

编程新知 2026/2/1 16:32:53

微信小程序云开发平台MySQL的连接方式

注：微信小程序云开发平台指的是腾讯云开发 先给结论：微信小程序云开发平台的MySQL，无法通过获取数据库连接信息的方式进行连接，连接只能通过云开发的SDK连接，具体要参考官方文档： 为什么？ 因为…...

编程新知 2026/2/1 5:24:17

C++.OpenGL （20/64）混合（Blending）

混合（Blending） 透明效果核心原理 #mermaid-svg-SWG0UzVfJms7Sm3e {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-SWG0UzVfJms7Sm3e .error-icon{fill:#552222;}#mermaid-svg-SWG0UzVfJms7Sm3e .error-text{fill…...

编程新知 2026/1/20 5:33:17

Python 高效图像帧提取与视频编码：实战指南

Python 高效图像帧提取与视频编码：实战指南 在音视频处理领域，图像帧提取与视频编码是基础但极具挑战性的任务。Python 结合强大的第三方库（如 OpenCV、FFmpeg、PyAV），可以高效处理视频流，实现快速帧提取、压缩编码等关键功能。本文将深入介绍如何优化这些流程，提高处理…...

编程新知 2025/8/31 18:02:53

UE5 音效系统

一.音效管理 音乐一般都是WAV,创建一个背景音乐类SoudClass,一个音效类SoundClass。所有的音乐都分为这两个类。再创建一个总音乐类，将上述两个作为它的子类。 接着我们创建一个音乐混合类SoundMix，将上述三个类翻入其中，通过它管理每个音乐…...

编程新知 2026/1/29 17:39:27

C++中vector类型的介绍和使用

文章目录 一、vector 类型的简介1.1 基本介绍1.2 常见用法示例1.3 常见成员函数简表 二、vector 数据的插入2.1 push_back() —— 在尾部插入一个元素2.2 emplace_back() —— 在尾部“就地”构造对象2.3 insert() —— 在任意位置插入一个或多个元素2.4 emplace() —— 在任意…...

编程新知 2026/2/8 6:54:24

基于 HTTP 的单向流式通信协议SSE详解

SSE（Server-Sent Events）详解 🧠 什么是 SSE？ SSE（Server-Sent Events） 是 HTML5 标准中定义的一种通信机制，它允许服务器主动将事件推送给客户端（浏览器）。与传统的 H…...

编程新知 2025/10/28 10:54:22

使用ch340继电器完成随机断电测试

前言 如图所示是市面上常见的OTA压测继电器，通过ch340串口模块完成对继电器的分路控制，这里我编写了一个脚本方便对4路继电器的控制，可以设置开启时间，关闭时间，复位等功能 软件界面 在设备管理器查看串口号后&…...

编程新知 2026/1/22 20:40:12