当前位置：首页 > news >正文

『大模型笔记』评估大型语言模型的指标：ELO评分，BLEU，困惑度和交叉熵介绍以及举例解释

news 2025/9/21 16:31:12

评估大型语言模型的指标：ELO评分，BLEU，困惑度和交叉熵介绍以及举例解释

文章目录

一. ELO Rating
- 大模型的elo得分如何理解
- - 1. Elo评分的基本原理
  - 2. 示例说明
  - 3. 大模型中的Elo得分
  - 总结
- 3个模型之间如何比较计算，给出示例进行解释
- - 1. 基本原理扩展到三方
  - 2. 示例计算
  - 第一场： $A$ 对战 $B$
  - 第二场： $A$ 对战 $C$
  - 第三场： $B$ 对战 $C$
  - 3. 最终 Elo 得分
  - 4. 总结
- ELO评分的局限性
二. BLEU (Bilingual Evaluation Understudy，双语评估替代)
- - **BLEU计算步骤概述**
  - **详细解释**
  - - **1. n-gram匹配**
    - **2. 计算精确度（Precision）**
    - **3. 平均精确度（Precision Average）**
    - **4. 长度惩罚（Brevity Penalty, BP）**
    - **5. BLEU得分计算**
  - **示例**
  - **总结**
三. 困惑度(Perplexity)
- - **困惑度（Perplexity）的详细解释**
  - **1. 困惑度的定义**
  - - **公式中的符号解释**：
  - **2. 困惑度的直观理解**
  - **3. 计算困惑度的步骤**
  - **4. 困惑度的意义**
  - **5. 总结**
四. 交叉熵(Cross Entropy)
- - **交叉熵（Cross Entropy）详细解释**
  - **1. 交叉熵的定义公式**
  - **2. 交叉熵的作用**
  - **3. 示例计算**
  - **4. 在语言模型中的应用**
  - **5. 优化目标：最小化交叉熵**
  - **6. 交叉熵与困惑度的关系**
  - **总结**
三. 参考文献

ELO Rating, BLEU, Perplexity and Cross Entropy
ELO评分提供了一种动态和相对的LLM性能衡量标准，允许在模型进行训练和微调时进行持续评估和排名。聊天机器人领域使用ELO评分来促进LLM对战，并维护最有效模型的排行榜。

在这里插入图片描述

一. ELO Rating

大模型的elo得分如何理解

Elo得分是一个用于评估棋手或参与者相对能力的评分系统，最初由匈牙利裔美国人阿尔帕德·厄尔&#x

『大模型笔记』评估大型语言模型的指标：ELO评分，BLEU，困惑度和交叉熵介绍以及举例解释

评估大型语言模型的指标：ELO评分，BLEU，困惑度和交叉熵介绍以及举例解释文章目录一. ELO Rating大模型的elo得分如何理解1. Elo评分的基本原理2. 示例说明3. 大模型中的Elo得分总结3个模型之间如何比较计算，给出示例进行解释1. 基本原理扩展到三方2. 示例计算第一场： A A…...

编程日记 2024/12/27 22:59:37

深度解析：Maven 和 Gradle 的使用比较及常见仓库推荐

Maven 和 Gradle 是 Java 项目中最常用的构建工具。它们各有优势，适用于不同的场景。本文将对两者进行详细的对比，并推荐一些常用的 Maven 和 Gradle 仓库，帮助开发者高效管理依赖。一、Maven 和 Gradle 的使用比较 1.1 基本介绍 Maven 基…...

编程日记 2024/12/27 22:57:33

SQLite本地数据库的简介和适用场景——集成SpringBoot的图文说明

前言：现在项目普遍使用的数据库都是MySQL，而有些项目实际上使用SQLite既足矣。在一些特定的项目中，要比MySQL更适用。这一篇文章简单的介绍一下SQLite，对比MySQL的优缺点、以及适用的项目类型和集成SpringBoot。 1. SQLite 简介 …...

编程日记 2024/12/27 22:55:29

管理面板Ajenti的在Windows10下Ubuntu24.04/Ubuntu22.04里的安装

Ajenti是一款基于Web的开源系统管理控制面板，可用于通过Web浏览器，管理远程系统管理性任务，这一点与 Webmin模块非常相似。 Ajenti是一款功能非常强大的轻型工具，它提供了快速的、反应灵敏的Web界面，可用于管理小型服…...

编程日记 2024/12/27 22:53:26

在Python如何用Type创建类

文章目录一，如何创建类1：创建一个简单类2：添加属性和方法3：动态继承父类4：结合元类的使用总结二.在什么情境下适合使用Type创建类1. **运行时动态生成类**2. **避免重复代码**3. **依赖元类或高级元编程**4. **动态扩…...

编程日记 2024/12/27 22:48:19

Android学习19 -- NDK4--共享内存（TODO）

在安卓的NDK（Native Development Kit）中，C共享内存通常用于不同进程间的通信，或者在同一进程中多线程之间共享数据。这种方法相较于其他形式的IPC（进程间通信）来说，具有更高的性能和低延迟。共享…...

编程日记 2024/12/27 22:47:18

《Cocos Creator游戏实战》非固定摇杆实现原理

为什么要使用非固定摇杆许多同学在开发摇杆功能时，会将摇杆固定在屏幕左下某一位置，不会让其随着大拇指触摸点改变，而且玩家只有按在了摇杆上才能移动人物（触摸监听事件在摇杆精灵上)。然而，不同玩家的大拇指长度不同…...

编程日记 2024/12/27 22:42:13

RabbitMQ工作模式（详解工作模式：简单队列、工作队列、公平分发以及消息应答和消息持久化）

文章目录十.RabbitMQ10.1 简单队列实现10.2 Work 模式（工作队列）10.3 公平分发10.4 RabbitMQ 消息应答与消息持久化消息应答概念配置消息持久化概念配置十.RabbitMQ 10.1 简单队列实现简单队列通常指的是一个基本的消息队列，它可以用于…...

编程日记 2024/12/27 22:40:11

【VScode】第三方GPT编程工具-CodeMoss安装教程

一、CodeMoss是什么？ CodeMoss是一款集编程、学习和办公于一体的高效工具。它兼容多种主流平台，包括VSCode、IDER、Chrome插件、Web和APP等，支持插件安装，尤其在VSCode和IDER上的表现尤为出色。无论你是编程新手还是资深开发者&a…...

编程日记 2024/12/27 22:39:10

在JavaScript中，let 和 const有什么不同

在JavaScript中，let 和 const 是用于声明变量的关键字，但它们有一些重要的区别 1.重新赋值： let 声明的变量可以重新赋值。const 声明的变量必须在声明时初始化，并且之后不能重新赋值 let a 10; a 20; // 有效，a 的…...

编程日记 2024/12/27 22:37:06

Mysq学习-Mysql查询（4）

5.子查询子查询指一个查询语句嵌套在另一个查询语句内部的查询,这个特性从MySQL4.1开始引入.在SELECT子句中先计算子查询,子查询结果作为外层另一个查询的过滤条件,查询可以基于一个表或者多个表. 子查询中常用的操作符有ANY(SOME),ALL,IN,EXISTS.子查询可以添加到SELECT,UPD…...

编程日记 2024/12/27 22:35:04

目录 1.查看 torch 和 CUDA 版本 2.依次下载和 torch 和 CUDA 对应版本的四个依赖库pyg-lib、torch-scatter、torch-sparse、torch-cluster以及torch-spline-conv 3.下载并安装torch-geometric库 1.查看 torch 和 CUDA 版本查看CUDA版本 nvcc -V 查看pytorch版本 pip s…...

编程日记 2024/12/27 22:34:03

Java数组深入解析：定义、操作、常见问题与高频练习

一、数组的定义 1. 什么是数组数组是一个容器，用来存储多个相同类型的数据。它属于引用数据类型，可以存储基本数据类型（如int、char）或者引用数据类型（如String、对象）。 2. 数组的定义方式 a. 动态初…...

编程日记 2024/12/27 22:26:56

Docker-构建自己的Web-Linux系统-镜像webtop:ubuntu-kde

介绍安装自己的linux-server,可以作为学习使用，web方式访问，基于ubuntu构建开源项目 https://github.com/linuxserver/docker-webtop安装 docker run -d -p 1336:3000 -e PASSWORD123456 --name webtop lscr.io/linuxserver/webtop:ubuntu-kde登录 …...

编程日记 2024/12/27 22:25:54

【C语言练习（17）—输出杨辉三角形】

C语言练习（17） 文章目录 C语言练习（17）前言题目题目解析整体代码前言杨辉三角形的输出可以分三步，第一步构建一个三角形、第二步根据规律将三角形内容填写、第三步将三角形以等腰的形式输出题目请输出一个十行的…...

编程日记 2024/12/27 22:17:43

SpringMVC学习(二)——RESTful API、拦截器、异常处理、数据类型转换

一、RESTful (一)RESTful概述 RESTful是一种软件架构风格，用于设计网络应用程序。REST是“Representational State Transfer”的缩写，中文意思是“表现层状态转移”。它基于客户端-服务器模型和无状态操作，以及使用HTTP请求来处理数据。RES…...

编程日记 2024/12/27 22:16:41

React 第二十节 useRef 用途使用技巧注意事项详解

简述 useRef 用于操作不需要在视图上渲染的属性数据，用于访问真实的DOM节点，或者React组件的实例对象，允许直接操作DOM元素或者是组件； 写法 const inpRef useRef(params)参数： useRef(params)，接收的 …...

编程日记 2024/12/27 22:15:40

VIVO Java开发面试题及参考答案

TCP 能不能两次握手？ TCP 不能两次握手。在 TCP 连接建立过程中，三次握手是必不可少的。第一次握手是客户端向服务器发送一个带有 SYN（同步序列号）标志的 TCP 报文段，这个报文段包含了客户端初始的序列号。这一步的主要目的是告诉服务器，客户端想要建立连接，并且让服务…...

编程日记 2024/12/27 22:12:37

C# Winfrom chart图实例练习

代码太多了我就不展示了，贴一些比较有代表性的成品效果展示： Excel转Chart示例简单说一下我的思路 \ 先把Excel数据展示在dataGridView控件上 XLIST 为 X轴的数据 XLIST 为 Y轴的数据 ZLIST 为展示的数据进行数据处理点击展示即可 // 将Excel数…...

编程日记 2024/12/27 22:10:33

iOS从Matter的设备认证证书中获取VID和PID

设备认证证书也叫 DAC, 相当于每个已经认证的设备的标识。包含了 VID 和 PID. VID: Vendor ID ，标识厂商 PID: Product ID， 标识设备的根据 Matter 对于设备证书的规定，DAC证书subject应该包含VID 和 PID. 可通过解析 X509 证书读取subject…...

编程日记 2024/12/27 22:03:26

聊聊 Pulsar：Producer 源码解析

一、前言 Apache Pulsar 是一个企业级的开源分布式消息传递平台，以其高性能、可扩展性和存储计算分离架构在消息队列和流处理领域独树一帜。在 Pulsar 的核心架构中，Producer（生产者） 是连接客户端应用与消息队列的第一步。生产者…...

编程新知 2025/9/21 1:19:52

【CSS position 属性】static、relative、fixed、absolute 、sticky详细介绍，多层嵌套定位示例

文章目录 ★ position 的五种类型及基本用法 ★ 一、position 属性概述二、position 的五种类型详解（初学者版） 1. static（默认值） 2. relative（相对定位） 3. absolute（绝对定位） 4. fixed（固定定位） 5. sticky（粘性定位）三、定位元素的层级关系（z-i…...

编程新知 2025/9/18 18:12:17

转转集团旗下首家二手多品类循环仓店“超级转转”开业

6月9日，国内领先的循环经济企业转转集团旗下首家二手多品类循环仓店“超级转转”正式开业。转转集团创始人兼CEO黄炜、转转循环时尚发起人朱珠、转转集团COO兼红布林CEO胡伟琨、王府井集团副总裁祝捷等出席了开业剪彩仪式。据「TMT星球」了解，“超级…...

编程新知 2025/8/22 5:05:39

《通信之道——从微积分到 5G》读书总结

第1章绪论 1.1 这是一本什么样的书通信技术，说到底就是数学。那些最基础、最本质的部分。 1.2 什么是通信通信发送方接收方承载信息的信号解调出其中承载的信息信息在发送方那里被加工成信号（调制） 把信息从信号中抽取出来&am…...

编程新知 2025/9/1 7:30:10

Java-41 深入浅出 Spring - 声明式事务的支持事务配置 XML模式 XML+注解模式

点一下关注吧！！！非常感谢！！持续更新！！！ 🚀 AI篇持续更新中！（长期更新） 目前2025年06月05日更新到： AI炼丹日志-28 - Aud…...

编程新知 2025/9/18 2:15:00

汇编常见指令

汇编常见指令一、数据传送指令指令功能示例说明MOV数据传送MOV EAX, 10将立即数 10 送入 EAXMOV [EBX], EAX将 EAX 值存入 EBX 指向的内存LEA加载有效地址LEA EAX, [EBX4]将 EBX4 的地址存入 EAX（不访问内存）XCHG交换数据XCHG EAX, EBX交换 EAX 和 EB…...

编程新知 2025/7/20 13:23:05

docker 部署发现spring.profiles.active 问题

报错： org.springframework.boot.context.config.InvalidConfigDataPropertyException: Property spring.profiles.active imported from location class path resource [application-test.yml] is invalid in a profile specific resource [origin: class path re…...

编程新知 2025/9/20 12:14:18