当前位置：首页 > news >正文

『大模型笔记』评估大型语言模型的指标：ELO评分，BLEU，困惑度和交叉熵介绍以及举例解释

news 2025/12/15 11:53:39

评估大型语言模型的指标：ELO评分，BLEU，困惑度和交叉熵介绍以及举例解释

文章目录

一. ELO Rating
- 大模型的elo得分如何理解
- - 1. Elo评分的基本原理
  - 2. 示例说明
  - 3. 大模型中的Elo得分
  - 总结
- 3个模型之间如何比较计算，给出示例进行解释
- - 1. 基本原理扩展到三方
  - 2. 示例计算
  - 第一场： $A$ 对战 $B$
  - 第二场： $A$ 对战 $C$
  - 第三场： $B$ 对战 $C$
  - 3. 最终 Elo 得分
  - 4. 总结
- ELO评分的局限性
二. BLEU (Bilingual Evaluation Understudy，双语评估替代)
- - **BLEU计算步骤概述**
  - **详细解释**
  - - **1. n-gram匹配**
    - **2. 计算精确度（Precision）**
    - **3. 平均精确度（Precision Average）**
    - **4. 长度惩罚（Brevity Penalty, BP）**
    - **5. BLEU得分计算**
  - **示例**
  - **总结**
三. 困惑度(Perplexity)
- - **困惑度（Perplexity）的详细解释**
  - **1. 困惑度的定义**
  - - **公式中的符号解释**：
  - **2. 困惑度的直观理解**
  - **3. 计算困惑度的步骤**
  - **4. 困惑度的意义**
  - **5. 总结**
四. 交叉熵(Cross Entropy)
- - **交叉熵（Cross Entropy）详细解释**
  - **1. 交叉熵的定义公式**
  - **2. 交叉熵的作用**
  - **3. 示例计算**
  - **4. 在语言模型中的应用**
  - **5. 优化目标：最小化交叉熵**
  - **6. 交叉熵与困惑度的关系**
  - **总结**
三. 参考文献

ELO Rating, BLEU, Perplexity and Cross Entropy
ELO评分提供了一种动态和相对的LLM性能衡量标准，允许在模型进行训练和微调时进行持续评估和排名。聊天机器人领域使用ELO评分来促进LLM对战，并维护最有效模型的排行榜。

在这里插入图片描述

一. ELO Rating

大模型的elo得分如何理解

Elo得分是一个用于评估棋手或参与者相对能力的评分系统，最初由匈牙利裔美国人阿尔帕德·厄尔&#x

『大模型笔记』评估大型语言模型的指标：ELO评分，BLEU，困惑度和交叉熵介绍以及举例解释

评估大型语言模型的指标：ELO评分，BLEU，困惑度和交叉熵介绍以及举例解释文章目录一. ELO Rating大模型的elo得分如何理解1. Elo评分的基本原理2. 示例说明3. 大模型中的Elo得分总结3个模型之间如何比较计算，给出示例进行解释1. 基本原理扩展到三方2. 示例计算第一场： A A…...

编程日记 2024/12/27 22:59:37

深度解析：Maven 和 Gradle 的使用比较及常见仓库推荐

Maven 和 Gradle 是 Java 项目中最常用的构建工具。它们各有优势，适用于不同的场景。本文将对两者进行详细的对比，并推荐一些常用的 Maven 和 Gradle 仓库，帮助开发者高效管理依赖。一、Maven 和 Gradle 的使用比较 1.1 基本介绍 Maven 基…...

编程日记 2024/12/27 22:57:33

SQLite本地数据库的简介和适用场景——集成SpringBoot的图文说明

前言：现在项目普遍使用的数据库都是MySQL，而有些项目实际上使用SQLite既足矣。在一些特定的项目中，要比MySQL更适用。这一篇文章简单的介绍一下SQLite，对比MySQL的优缺点、以及适用的项目类型和集成SpringBoot。 1. SQLite 简介 …...

编程日记 2024/12/27 22:55:29

管理面板Ajenti的在Windows10下Ubuntu24.04/Ubuntu22.04里的安装

Ajenti是一款基于Web的开源系统管理控制面板，可用于通过Web浏览器，管理远程系统管理性任务，这一点与 Webmin模块非常相似。 Ajenti是一款功能非常强大的轻型工具，它提供了快速的、反应灵敏的Web界面，可用于管理小型服…...

编程日记 2024/12/27 22:53:26

在Python如何用Type创建类

文章目录一，如何创建类1：创建一个简单类2：添加属性和方法3：动态继承父类4：结合元类的使用总结二.在什么情境下适合使用Type创建类1. **运行时动态生成类**2. **避免重复代码**3. **依赖元类或高级元编程**4. **动态扩…...

编程日记 2024/12/27 22:48:19

Android学习19 -- NDK4--共享内存（TODO）

在安卓的NDK（Native Development Kit）中，C共享内存通常用于不同进程间的通信，或者在同一进程中多线程之间共享数据。这种方法相较于其他形式的IPC（进程间通信）来说，具有更高的性能和低延迟。共享…...

编程日记 2024/12/27 22:47:18

《Cocos Creator游戏实战》非固定摇杆实现原理

为什么要使用非固定摇杆许多同学在开发摇杆功能时，会将摇杆固定在屏幕左下某一位置，不会让其随着大拇指触摸点改变，而且玩家只有按在了摇杆上才能移动人物（触摸监听事件在摇杆精灵上)。然而，不同玩家的大拇指长度不同…...

编程日记 2024/12/27 22:42:13

RabbitMQ工作模式（详解工作模式：简单队列、工作队列、公平分发以及消息应答和消息持久化）

文章目录十.RabbitMQ10.1 简单队列实现10.2 Work 模式（工作队列）10.3 公平分发10.4 RabbitMQ 消息应答与消息持久化消息应答概念配置消息持久化概念配置十.RabbitMQ 10.1 简单队列实现简单队列通常指的是一个基本的消息队列，它可以用于…...

编程日记 2024/12/27 22:40:11

【VScode】第三方GPT编程工具-CodeMoss安装教程

一、CodeMoss是什么？ CodeMoss是一款集编程、学习和办公于一体的高效工具。它兼容多种主流平台，包括VSCode、IDER、Chrome插件、Web和APP等，支持插件安装，尤其在VSCode和IDER上的表现尤为出色。无论你是编程新手还是资深开发者&a…...

编程日记 2024/12/27 22:39:10

在JavaScript中，let 和 const有什么不同

在JavaScript中，let 和 const 是用于声明变量的关键字，但它们有一些重要的区别 1.重新赋值： let 声明的变量可以重新赋值。const 声明的变量必须在声明时初始化，并且之后不能重新赋值 let a 10; a 20; // 有效，a 的…...

编程日记 2024/12/27 22:37:06

Mysq学习-Mysql查询（4）

5.子查询子查询指一个查询语句嵌套在另一个查询语句内部的查询,这个特性从MySQL4.1开始引入.在SELECT子句中先计算子查询,子查询结果作为外层另一个查询的过滤条件,查询可以基于一个表或者多个表. 子查询中常用的操作符有ANY(SOME),ALL,IN,EXISTS.子查询可以添加到SELECT,UPD…...

编程日记 2024/12/27 22:35:04

目录 1.查看 torch 和 CUDA 版本 2.依次下载和 torch 和 CUDA 对应版本的四个依赖库pyg-lib、torch-scatter、torch-sparse、torch-cluster以及torch-spline-conv 3.下载并安装torch-geometric库 1.查看 torch 和 CUDA 版本查看CUDA版本 nvcc -V 查看pytorch版本 pip s…...

编程日记 2024/12/27 22:34:03

Java数组深入解析：定义、操作、常见问题与高频练习

一、数组的定义 1. 什么是数组数组是一个容器，用来存储多个相同类型的数据。它属于引用数据类型，可以存储基本数据类型（如int、char）或者引用数据类型（如String、对象）。 2. 数组的定义方式 a. 动态初…...

编程日记 2024/12/27 22:26:56

Docker-构建自己的Web-Linux系统-镜像webtop:ubuntu-kde

介绍安装自己的linux-server,可以作为学习使用，web方式访问，基于ubuntu构建开源项目 https://github.com/linuxserver/docker-webtop安装 docker run -d -p 1336:3000 -e PASSWORD123456 --name webtop lscr.io/linuxserver/webtop:ubuntu-kde登录 …...

编程日记 2024/12/27 22:25:54

【C语言练习（17）—输出杨辉三角形】

C语言练习（17） 文章目录 C语言练习（17）前言题目题目解析整体代码前言杨辉三角形的输出可以分三步，第一步构建一个三角形、第二步根据规律将三角形内容填写、第三步将三角形以等腰的形式输出题目请输出一个十行的…...

编程日记 2024/12/27 22:17:43

SpringMVC学习(二)——RESTful API、拦截器、异常处理、数据类型转换

一、RESTful (一)RESTful概述 RESTful是一种软件架构风格，用于设计网络应用程序。REST是“Representational State Transfer”的缩写，中文意思是“表现层状态转移”。它基于客户端-服务器模型和无状态操作，以及使用HTTP请求来处理数据。RES…...

编程日记 2024/12/27 22:16:41

React 第二十节 useRef 用途使用技巧注意事项详解

简述 useRef 用于操作不需要在视图上渲染的属性数据，用于访问真实的DOM节点，或者React组件的实例对象，允许直接操作DOM元素或者是组件； 写法 const inpRef useRef(params)参数： useRef(params)，接收的 …...

编程日记 2024/12/27 22:15:40

VIVO Java开发面试题及参考答案

TCP 能不能两次握手？ TCP 不能两次握手。在 TCP 连接建立过程中，三次握手是必不可少的。第一次握手是客户端向服务器发送一个带有 SYN（同步序列号）标志的 TCP 报文段，这个报文段包含了客户端初始的序列号。这一步的主要目的是告诉服务器，客户端想要建立连接，并且让服务…...

编程日记 2024/12/27 22:12:37

C# Winfrom chart图实例练习

代码太多了我就不展示了，贴一些比较有代表性的成品效果展示： Excel转Chart示例简单说一下我的思路 \ 先把Excel数据展示在dataGridView控件上 XLIST 为 X轴的数据 XLIST 为 Y轴的数据 ZLIST 为展示的数据进行数据处理点击展示即可 // 将Excel数…...

编程日记 2024/12/27 22:10:33

iOS从Matter的设备认证证书中获取VID和PID

设备认证证书也叫 DAC, 相当于每个已经认证的设备的标识。包含了 VID 和 PID. VID: Vendor ID ，标识厂商 PID: Product ID， 标识设备的根据 Matter 对于设备证书的规定，DAC证书subject应该包含VID 和 PID. 可通过解析 X509 证书读取subject…...

编程日记 2024/12/27 22:03:26

超短脉冲激光自聚焦效应

前言与目录强激光引起自聚焦效应机理超短脉冲激光在脆性材料内部加工时引起的自聚焦效应，这是一种非线性光学现象，主要涉及光学克尔效应和材料的非线性光学特性。自聚焦效应可以产生局部的强光场，对材料产生非线性响应，可能…...

编程新知 2025/12/12 2:46:30

Spark 之入门讲解详细版（1）

1、简介 1.1 Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处&…...

编程新知 2025/12/9 2:48:30

Zustand 状态管理库：极简而强大的解决方案

Zustand 是一个轻量级、快速和可扩展的状态管理库，特别适合 React 应用。它以简洁的 API 和高效的性能解决了 Redux 等状态管理方案中的繁琐问题。核心优势对比基本使用指南 1. 创建 Store // store.js import create from zustandconst useStore create((set)…...

编程新知 2025/12/10 1:18:36

Debian系统简介

目录 Debian系统介绍 Debian版本介绍 Debian软件源介绍软件包管理工具dpkg dpkg核心指令详解安装软件包卸载软件包查询软件包状态验证软件包完整性手动处理依赖关系 dpkg vs apt Debian系统介绍 Debian 和 Ubuntu 都是基于 Debian内核的 Linux 发行版&#xff…...

编程新知 2025/12/14 12:14:29

Qt Widget类解析与代码注释

#include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent): QWidget(parent), ui(new Ui::Widget) {ui->setupUi(this); }Widget::~Widget() {delete ui; }//解释这串代码，写上注释当然可以！这段代码是 Qt …...

编程新知 2025/11/29 21:00:30

【Redis技术进阶之路】「原理分析系列开篇」分析客户端和服务端网络诵信交互实现（服务端执行命令请求的过程 - 初始化服务器）

服务端执行命令请求的过程【专栏简介】【技术大纲】【专栏目标】【目标人群】1. Redis爱好者与社区成员2. 后端开发和系统架构师3. 计算机专业的本科生及研究生初始化服务器1. 初始化服务器状态结构初始化RedisServer变量 2. 加载相关系统配置和用户配置参数定制化配置参数案…...

编程新知 2025/12/13 23:14:16

django filter 统计数量按属性去重

在Django中，如果你想要根据某个属性对查询集进行去重并统计数量，你可以使用values()方法配合annotate()方法来实现。这里有两种常见的方法来完成这个需求： 方法1：使用annotate()和Count 假设你有一个模型Item，并且你想…...

编程新知 2025/11/16 14:05:01

MMaDA: Multimodal Large Diffusion Language Models

CODE ： https://github.com/Gen-Verse/MMaDA Abstract 我们介绍了一种新型的多模态扩散基础模型MMaDA，它被设计用于在文本推理、多模态理解和文本到图像生成等不同领域实现卓越的性能。该方法的特点是三个关键创新:(i) MMaDA采用统一的扩散架构&#xf…...

编程新知 2025/12/14 15:17:28

【项目实战】通过多模态+LangGraph实现PPT生成助手

PPT自动生成系统基于LangGraph的PPT自动生成系统，可以将Markdown文档自动转换为PPT演示文稿。功能特点 Markdown解析：自动解析Markdown文档结构PPT模板分析：分析PPT模板的布局和风格智能布局决策：匹配内容与合适的PPT布局自动…...

编程新知 2025/12/9 2:35:46

用docker来安装部署freeswitch记录

今天刚才测试一个callcenter的项目，所以尝试安装freeswitch 1、使用轩辕镜像 - 中国开发者首选的专业 Docker 镜像加速服务平台编辑下面/etc/docker/daemon.json文件为 {"registry-mirrors": ["https://docker.xuanyuan.me"] }同时可以进入轩…...

编程新知 2025/12/3 20:41:57

文章目录

一. ELO Rating

大模型的elo得分如何理解

相关文章：