当前位置： 首页 > news >正文

『大模型笔记』评估大型语言模型的指标：ELO评分，BLEU，困惑度和交叉熵介绍以及举例解释

news 2026/2/10 21:36:12
评估大型语言模型的指标：ELO评分，BLEU，困惑度和交叉熵介绍以及举例解释

文章目录

  • 一. ELO Rating
    • 大模型的elo得分如何理解
      • 1. Elo评分的基本原理
      • 2. 示例说明
      • 3. 大模型中的Elo得分
      • 总结
    • 3个模型之间如何比较计算，给出示例进行解释
      • 1. 基本原理扩展到三方
      • 2. 示例计算
      • 第一场： A A A对战 B B B
      • 第二场： A A A对战 C C C
      • 第三场： B B B对战 C C C
      • 3. 最终 Elo 得分
      • 4. 总结
    • ELO评分的局限性
  • 二. BLEU (Bilingual Evaluation Understudy，双语评估替代)
      • **BLEU计算步骤概述**
      • **详细解释**
        • **1. n-gram匹配**
        • **2. 计算精确度（Precision）**
        • **3. 平均精确度（Precision Average）**
        • **4. 长度惩罚（Brevity Penalty, BP）**
        • **5. BLEU得分计算**
      • **示例**
      • **总结**
  • 三. 困惑度(Perplexity)
      • **困惑度（Perplexity）的详细解释**
      • **1. 困惑度的定义**
        • **公式中的符号解释**：
      • **2. 困惑度的直观理解**
      • **3. 计算困惑度的步骤**
      • **4. 困惑度的意义**
      • **5. 总结**
  • 四. 交叉熵(Cross Entropy)
      • **交叉熵（Cross Entropy）详细解释**
      • **1. 交叉熵的定义公式**
      • **2. 交叉熵的作用**
      • **3. 示例计算**
      • **4. 在语言模型中的应用**
      • **5. 优化目标：最小化交叉熵**
      • **6. 交叉熵与困惑度的关系**
      • **总结**
  • 三. 参考文献

  • ELO Rating, BLEU, Perplexity and Cross Entropy
  • ELO评分提供了一种动态和相对的LLM性能衡量标准，允许在模型进行训练和微调时进行持续评估和排名。聊天机器人领域使用ELO评分来促进LLM对战，并维护最有效模型的排行榜。

在这里插入图片描述

一. ELO Rating

大模型的elo得分如何理解

Elo得分是一个用于评估棋手或参与者相对能力的评分系统，最初由匈牙利裔美国人阿尔帕德·厄尔&#x

相关文章：

『大模型笔记』评估大型语言模型的指标：ELO评分，BLEU，困惑度和交叉熵介绍以及举例解释

评估大型语言模型的指标：ELO评分，BLEU，困惑度和交叉熵介绍以及举例解释 文章目录 一. ELO Rating大模型的elo得分如何理解1. Elo评分的基本原理2. 示例说明3. 大模型中的Elo得分总结3个模型之间如何比较计算，给出示例进行解释1. 基本原理扩展到三方2. 示例计算第一场： A A…...

编程日记 2024/12/27 22:59:37

深度解析：Maven 和 Gradle 的使用比较及常见仓库推荐

Maven 和 Gradle 是 Java 项目中最常用的构建工具。它们各有优势，适用于不同的场景。本文将对两者进行详细的对比，并推荐一些常用的 Maven 和 Gradle 仓库，帮助开发者高效管理依赖。 一、Maven 和 Gradle 的使用比较 1.1 基本介绍 Maven 基…...

编程日记 2024/12/27 22:57:33

SQLite本地数据库的简介和适用场景——集成SpringBoot的图文说明

前言：现在项目普遍使用的数据库都是MySQL，而有些项目实际上使用SQLite既足矣。在一些特定的项目中，要比MySQL更适用。 这一篇文章简单的介绍一下SQLite，对比MySQL的优缺点、以及适用的项目类型和集成SpringBoot。 1. SQLite 简介 …...

编程日记 2024/12/27 22:55:29

管理面板Ajenti的在Windows10下Ubuntu24.04/Ubuntu22.04里的安装

Ajenti是一款基于Web的开源系统管理控制面板，可用于通过Web浏览器，管理远程系统管理性任务，这一点与 Webmin模块 非常相似。 Ajenti是一款功能非常强大的轻型工具，它提供了快速的、反应灵敏的Web界面，可用于管理小型服…...

编程日记 2024/12/27 22:53:26

在Python如何用Type创建类

文章目录 一，如何创建类1：创建一个简单类2：添加属性和方法3：动态继承父类4：结合元类的使用总结 二.在什么情境下适合使用Type创建类1. **运行时动态生成类**2. **避免重复代码**3. **依赖元类或高级元编程**4. **动态扩…...

编程日记 2024/12/27 22:48:19

Android学习19 -- NDK4--共享内存（TODO）

在安卓的NDK（Native Development Kit）中，C共享内存通常用于不同进程间的通信，或者在同一进程中多线程之间共享数据。这种方法相较于其他形式的IPC（进程间通信）来说，具有更高的性能和低延迟。共享…...

编程日记 2024/12/27 22:47:18

《Cocos Creator游戏实战》非固定摇杆实现原理

为什么要使用非固定摇杆 许多同学在开发摇杆功能时，会将摇杆固定在屏幕左下某一位置，不会让其随着大拇指触摸点改变，而且玩家只有按在了摇杆上才能移动人物（触摸监听事件在摇杆精灵上)。然而，不同玩家的大拇指长度不同…...

编程日记 2024/12/27 22:42:13

RabbitMQ工作模式（详解 工作模式：简单队列、工作队列、公平分发以及消息应答和消息持久化）

文章目录 十.RabbitMQ10.1 简单队列实现10.2 Work 模式（工作队列）10.3 公平分发10.4 RabbitMQ 消息应答与消息持久化消息应答概念配置 消息持久化概念配置 十.RabbitMQ 10.1 简单队列实现 简单队列通常指的是一个基本的消息队列，它可以用于…...

编程日记 2024/12/27 22:40:11

【VScode】第三方GPT编程工具-CodeMoss安装教程

一、CodeMoss是什么？ CodeMoss是一款集编程、学习和办公于一体的高效工具。它兼容多种主流平台，包括VSCode、IDER、Chrome插件、Web和APP等，支持插件安装，尤其在VSCode和IDER上的表现尤为出色。无论你是编程新手还是资深开发者&a…...

编程日记 2024/12/27 22:39:10

在JavaScript中，let 和 const有什么不同

在JavaScript中，let 和 const 是用于声明变量的关键字，但它们有一些重要的区别 1.重新赋值： let 声明的变量可以重新赋值。const 声明的变量必须在声明时初始化，并且之后不能重新赋值 let a 10; a 20; // 有效，a 的…...

编程日记 2024/12/27 22:37:06

Mysq学习-Mysql查询（4）

5.子查询 子查询指一个查询语句嵌套在另一个查询语句内部的查询,这个特性从MySQL4.1开始引入.在SELECT子句中先计算子查询,子查询结果作为外层另一个查询的过滤条件,查询可以基于一个表或者多个表. 子查询中常用的操作符有ANY(SOME),ALL,IN,EXISTS.子查询可以添加到SELECT,UPD…...

编程日记 2024/12/27 22:35:04

安装torch-geometric库

目录 1.查看 torch 和 CUDA 版本 2.依次下载和 torch 和 CUDA 对应版本的四个依赖库pyg-lib、torch-scatter、torch-sparse、torch-cluster以及torch-spline-conv 3.下载并安装torch-geometric库 1.查看 torch 和 CUDA 版本 查看CUDA版本 nvcc -V 查看pytorch版本 pip s…...

编程日记 2024/12/27 22:34:03

Java数组深入解析：定义、操作、常见问题与高频练习

一、数组的定义 1. 什么是数组 数组是一个容器，用来存储多个相同类型的数据。它属于引用数据类型，可以存储基本数据类型（如int、char）或者引用数据类型（如String、对象）。 2. 数组的定义方式 a. 动态初…...

编程日记 2024/12/27 22:26:56

Docker-构建自己的Web-Linux系统-镜像webtop:ubuntu-kde

介绍 安装自己的linux-server,可以作为学习使用，web方式访问，基于ubuntu构建开源项目 https://github.com/linuxserver/docker-webtop安装 docker run -d -p 1336:3000 -e PASSWORD123456 --name webtop lscr.io/linuxserver/webtop:ubuntu-kde登录 …...

编程日记 2024/12/27 22:25:54

【C语言练习（17）—输出杨辉三角形】

C语言练习（17） 文章目录 C语言练习（17）前言题目题目解析整体代码 前言 杨辉三角形的输出可以分三步，第一步构建一个三角形、第二步根据规律将三角形内容填写、第三步将三角形以等腰的形式输出 题目 请输出一个十行的…...

编程日记 2024/12/27 22:17:43

SpringMVC学习(二)——RESTful API、拦截器、异常处理、数据类型转换

一、RESTful (一)RESTful概述 RESTful是一种软件架构风格，用于设计网络应用程序。REST是“Representational State Transfer”的缩写，中文意思是“表现层状态转移”。它基于客户端-服务器模型和无状态操作，以及使用HTTP请求来处理数据。RES…...

编程日记 2024/12/27 22:16:41

React 第二十节 useRef 用途使用技巧注意事项详解

简述 useRef 用于操作不需要在视图上渲染的属性数据，用于访问真实的DOM节点，或者React组件的实例对象，允许直接操作DOM元素或者是组件； 写法 const inpRef useRef(params)参数： useRef(params)，接收的 …...

编程日记 2024/12/27 22:15:40

VIVO Java开发面试题及参考答案

TCP 能不能两次握手？ TCP 不能两次握手。 在 TCP 连接建立过程中，三次握手是必不可少的。第一次握手是客户端向服务器发送一个带有 SYN（同步序列号）标志的 TCP 报文段，这个报文段包含了客户端初始的序列号。这一步的主要目的是告诉服务器，客户端想要建立连接，并且让服务…...

编程日记 2024/12/27 22:12:37

C# Winfrom chart图 实例练习

代码太多了我就不展示了，贴一些比较有代表性的 成品效果展示： Excel转Chart示例 简单说一下我的思路 \ 先把Excel数据展示在dataGridView控件上 XLIST 为 X轴的数据 XLIST 为 Y轴的数据 ZLIST 为 展示的数据进行数据处理点击展示即可 // 将Excel数…...

编程日记 2024/12/27 22:10:33

iOS从Matter的设备认证证书中获取VID和PID

设备认证证书也叫 DAC, 相当于每个已经认证的设备的标识。包含了 VID 和 PID. VID: Vendor ID ，标识厂商 PID: Product ID， 标识设备的 根据 Matter 对于设备证书的规定，DAC证书subject应该包含VID 和 PID. 可通过解析 X509 证书读取subject…...

编程日记 2024/12/27 22:03:26

MySQL账号权限管理指南：安全创建账户与精细授权技巧

在MySQL数据库管理中，合理创建用户账号并分配精确权限是保障数据安全的核心环节。直接使用root账号进行所有操作不仅危险且难以审计操作行为。今天我们来全面解析MySQL账号创建与权限分配的专业方法。 一、为何需要创建独立账号？ 最小权限原则&#xf…...

编程新知 2025/9/5 23:36:27

代码随想录刷题day30

1、零钱兑换II 给你一个整数数组 coins 表示不同面额的硬币，另给一个整数 amount 表示总金额。 请你计算并返回可以凑成总金额的硬币组合数。如果任何硬币组合都无法凑出总金额，返回 0 。 假设每一种面额的硬币有无限个。 题目数据保证结果符合 32 位带…...

编程新知 2025/10/4 6:30:56

Axure 下拉框联动

实现选省、选完省之后选对应省份下的市区...

编程新知 2026/1/20 13:43:41

Spring Boot + MyBatis 集成支付宝支付流程

Spring Boot MyBatis 集成支付宝支付流程 核心流程 商户系统生成订单调用支付宝创建预支付订单用户跳转支付宝完成支付支付宝异步通知支付结果商户处理支付结果更新订单状态支付宝同步跳转回商户页面 代码实现示例&#xff08;电脑网站支付&#xff09; 1. 添加依赖 <!…...

编程新知 2025/10/14 22:57:53

Canal环境搭建并实现和ES数据同步

作者&#xff1a;田超凡 日期&#xff1a;2025年6月7日 Canal安装&#xff0c;启动端口11111、8082&#xff1a; 安装canal-deployer服务端&#xff1a; https://github.com/alibaba/canal/releases/1.1.7/canal.deployer-1.1.7.tar.gz cd /opt/homebrew/etc mkdir canal…...

编程新知 2026/2/1 18:11:41

2025-05-08-deepseek本地化部署

title: 2025-05-08-deepseek 本地化部署 tags: 深度学习 程序开发 2025-05-08-deepseek 本地化部署 参考博客 本地部署 DeepSeek&#xff1a;小白也能轻松搞定&#xff01; 如何给本地部署的 DeepSeek 投喂数据&#xff0c;让他更懂你 [实验目的]&#xff1a;理解系统架构与原…...

编程新知 2026/2/4 16:20:49

RushDB开源程序 是现代应用程序和 AI 的即时数据库。建立在 Neo4j 之上

一、软件介绍 文末提供程序和源码下载 RushDB 改变了您处理图形数据的方式 — 不需要 Schema&#xff0c;不需要复杂的查询&#xff0c;只需推送数据即可。 二、Key Features ✨ 主要特点 Instant Setup: Be productive in seconds, not days 即时设置 &#xff1a;在几秒钟…...

编程新知 2026/2/5 4:20:19

职坐标物联网全栈开发全流程解析

物联网全栈开发涵盖从物理设备到上层应用的完整技术链路&#xff0c;其核心流程可归纳为四大模块&#xff1a;感知层数据采集、网络层协议交互、平台层资源管理及应用层功能实现。每个模块的技术选型与实现方式直接影响系统性能与扩展性&#xff0c;例如传感器选型需平衡精度与…...

编程新知 2026/2/7 1:11:29

Docker环境下安装 Elasticsearch + IK 分词器 + Pinyin插件 + Kibana（适配7.10.1）

做RAG自己打算使用esmilvus自己开发一个&#xff0c;安装时好像网上没有比较新的安装方法&#xff0c;然后找了个旧的方法对应试试&#xff1a; &#x1f680; 本文将手把手教你在 Docker 环境中部署 Elasticsearch 7.10.1 IK分词器 拼音插件 Kibana&#xff0c;适配中文搜索…...

编程新知 2026/1/23 16:17:19

Spring Boot 与 Kafka 的深度集成实践（二）

3. 生产者实现 3.1 生产者配置 在 Spring Boot 项目中&#xff0c;配置 Kafka 生产者主要是配置生产者工厂&#xff08;ProducerFactory&#xff09;和 KafkaTemplate 。生产者工厂负责创建 Kafka 生产者实例&#xff0c;而 KafkaTemplate 则是用于发送消息的核心组件&#x…...

编程新知 2025/9/7 5:22:08