当前位置：首页 > news >正文

排序中常见的一些指标

news 文章来源：https://blog.csdn.net/u013069552/article/details/129186529 2025/5/9 12:43:50

1、错误率与精度

错误率与精度是分类任务中最常用的两种性能度量，错误率是指分类错误的样本占样本总数的比例，精度则是分类正确的样本数占样本总数的比例。

错误率：

$E(f,D)=\frac{1}{m}\sum_{i=1}^{m}I(f(x_{i})\neq y_{i})$

精度：

$Acc(f,D)=\frac{1}{m}\sum_{i=1}^{m}I(f(x_{i}=y_{i}))=1-E(f,D)$

2、准确率/召回率/FScore

True Positive(真正例, TP)：将正类预测为正类数.

True Negative(真负例, TN)：将负类预测为负类数.

False Positive(假正例, FP)：将负类预测为正类数 → 误报 (Type I error).

False Negative(假负例, FN)：将正类预测为负类数 → 漏报 (Type II error).

查准率：

$precision=\frac{TP}{TP+FP}$

查全率/召回率：

$recall=\frac{TP}{TP+FN}$

准确率：

$Acc=\frac{TP+TN}{TP+TN+FP+FN}$

F-Score:

F=2PR/(P+R)

F是准确率和召回率的结合，更加符合实际应用需求

3、ROC曲线/AUC

当样本不平衡时，ACC难以评估样本的准确性，因而通过AUC进行评估；AUC 通过对 ROC 曲线下各部分的面积求和而得

$TPR=\frac{TP}{TP+FN}$

$FPR=\frac{FP}{TN+FP}$

4、Precision@K

precision@k=topk中相关文档数/k

5、AP 和 MAP

AP（Average Precision） = Average Precision@K

MAP (Mean average precision) ：不同请求/query AP的平均值

6、MRR(Mean reciprocal rank)

Mean reciprocal rank(MRR) 是另一种对排序列表进行评价的指标，MRR 定义为

$MRR=\frac{1}{|Q|}\sum_{I=1}^{|Q|}\frac{1}{rank_{i}}$

$rank_{i}$ 表示第i个查询第一个相关结果在列表中的位置。

7、DCG@K (Discounted cumulative gain)

Discounted cumulative gain 简写为 DCG，是搜索引擎常用的评价指标。DCG 的出发点可以理解为：在搜索引擎的结果中，相关结果比弱相关和不相关的结果更为重要，因而要更注重对相关结果的排序结果。

$DCG@K=\sum_{I=1}^{K}\frac{rel_{i}}{log_{2}(i+1)}$

DCG@K的一个变形为

$DCG@K=\sum_{I=1}^{K}\frac{ 2^{rel_{i}}-1}{log_{2}(i+1)}$

Normalized DCG

$NDCG@K=\frac{DCG@K}{IDCG@K}$

$IDCG@K=\sum_{i=1}^{|REL_{k}|}\frac{2^{rel_{i}-1}}{log_{2}(i+1)}$

可以看到 IDCG 是一个理想情况，即按照真实标签排序的情况。目前在我所在的搜索场景在离线评测时还是会考虑 NDCG 的情况，而具体的 K 值选择则要根据业务场景自行调整。

参考文献

排序学习(LTR)杂谈 (上) - 知乎

1、排序学习(LTR)杂谈 (上) - 知乎

2、Learning to Rank： pointwise 、 pairwise 、 listwise - 知乎

3、排序评估指标——NDCG和MAP_comli_cn的博客-CSDN博客（ndcg详例）

4、排序评价指标 - 知乎

$IDCG@K=\sum_{i=1}^{|REL_{k}|}\frac{2^{rel_{i}-1}}{log_{2}(i+1)}$

排序中常见的一些指标

1、错误率与精度错误率与精度是分类任务中最常用的两种性能度量，错误率是指分类错误的样本占样本总数的比例，精度则是分类正确的样本数占样本总数的比例。错误率： 精度： 2、准确率/召回率/FScore True Positive(真正例, TP)&…...

编程日记 2023/5/24 17:57:14

51单片机入门————数码管显示

我们在马路上看到的红绿灯，就是由数码管来实现的，就是其中可能加入了一些延时和转换数码管是通过控制138译码器与74HC245来控制数码管的亮灭与数字的显示电路原理图我们先讨论一个数码管数码管有共阳极和共阴极，我们现在使用的STC89C52是共阴…...

编程日记 2023/5/24 17:57:12

Spring事务未生效场景

一.抛出事务不支持的异常原理： Spring事务默认支持RuntimeException异常，抛出的异常为RuntimeException异常及其子类异常事务均可生效，而我们日常常见的异常基本都继承自RuntimeException，所以无需指定异常类型事务也能生效。但…...

编程日记 2023/5/24 17:57:09

servlet注解开发

文章目录servlet注解开发内容回顾响应对象 HttpServletResponse重定向与请求转发ServletConfig简介案例ServletContext简介案例Servlet 注解开发简介注解使用案例WebServlet 注解详细参数综合的增删改查案例登录注册功能servlet注解开发内容回顾响应对象 HttpServletRespon…...

编程日记 2023/5/24 17:57:07

mysql一联合主键

联合主键就是用2个或2个以上的字段组成主键。用这个主键包含的字段作为主键，这个组合在数据表中是唯一，且加了主键索引。可以这么理解，比如，你的订单表里有很多字段，一般情况只要有个订单号bill_no做主键就可以了&…...

编程日记 2023/5/24 17:57:05

openpnp - 判断吸嘴是否指定了正确的旋转轴

文章目录openpnp - 判断吸嘴座是否指定了正确的旋转轴概述笔记吸嘴单独矫正的时候Calibrate precise camera ↔ nozzle N1 offsets.ENDopenpnp - 判断吸嘴座是否指定了正确的旋转轴概述如果没有指定吸嘴座的正确旋转轴, 会因为对应吸嘴该旋转时不旋转, 而是另外一个空闲的吸…...

编程日记 2023/5/24 21:53:06

【办公类-19-03】办公中的思考——Python批量统一文件名的序号（保教主任整理打印文件）

背景需求：为迎接督导检查，保教主任从各条线收集文本资料。并在每个文件名称前手动编号。但是她嘀咕道：”为什么两套资料放在一个文件里就不是按照数字序号排序？，有的是1X-，有的是40X，看起来很乱…...

编程日记 2023/5/24 17:57:01

MySQL约束

约束约束总结约束 1、概念：约束是作用于表中字段上的规则，用于限制存储在表中的数据。 2、目的：保证数据库中数据的正确、有效性和完整性。 3、分类： 注意：约束是作用于表中字段上的，可以在创建表/修改表…...

编程日记 2023/5/24 9:32:36

x86 平台利用 qemu-user-static 实现 arm64 平台 docker 镜像的运行和构建

文章目录[toc]关于 docker 版本查看是否开启 experimental 功能开启 experimental 功能查看当前环境平台拉取一个 arm 平台的容器运行一个 arm 平台的容器整一个 qemu-user-static注册可支持的架构解释器尝试启动 arm64 镜像尝试启动 ppc64le 镜像后台运行 arm64 容器build 一个…...

编程日记 2023/5/24 9:32:20

找工作经验分享

好的简历的特点：简洁：不要使用花里胡俏的简历模板，一般就是一行行写下来那种就行主次分明：一定要有重点，让面试了解你强项是什么首先当然是突出技术，不要花大批篇幅在个人信息、兴趣爱好等，重点…...

编程日记 2023/5/24 9:32:00

C语言学习之路--操作符篇，从知识到实战

目录一、前言二、操作符分类三、算术操作符四、移位操作符1、左移操作符2、右移操作符五、位操作符拓展1、不能创建临时变量（第三个变量），实现两个数的交换。2、编写代码实现：求一个整数存储在内存中的二进制中1的个数。六、赋值操…...

编程日记 2023/5/24 9:31:40

【华为OD机试2023】端口合并 C++ Java Python

【华为OD机试2023】端口合并 C++ Java Python 前言如果您在准备华为的面试，期间有想了解的可以私信我，我会尽可能帮您解答，也可以给您一些建议！本文解法非最优解（即非性能最优），不能保证通过率。 Tips1：机试为ACM 模式你的代码需要处理输入输出，input/cin接收输入、…...

编程日记 2023/5/24 17:56:59

C++常用头文件整理

#include <iostream> 输入输出流，调用该函数使用cin，cout#include <iomanip> mainp是mainpular(操纵器)的缩写，可以调用一些函数，如fixed()<<setprecision()等#include <cmath> 调用数学函数#include &l…...

编程日记 2023/5/24 17:56:55

Linux内核4.14版本——drm框架分析(2)——connector分析

目录 1. drm_connector结构体 1.1 struct list_head head 1.2 struct drm_mode_object base 1.3 base.properties 1.4 uint32_t encoder_ids[DRM_CONNECTOR_MAX_ENCODER] 1.5 struct drm_encoder *encoder 1.6 struct list_head probed_modes 1.7 struct list_head mod…...

编程日记 2023/5/24 17:56:53

dev GridControl 按条件纵向合并单元格

dev GridControl 按条件纵向合并单元格 gridView5.OptionsView.AllowCellMerge true; gridView5.CellMerge gridView5_CellMerge; //自定义合并单元格监听事件void gridView5_CellMerge(object sender, DevExpress.XtraGrid.Views.Grid.CellMergeEventArgs e){int rowHandle1…...

编程日记 2023/5/24 11:32:17

aws eks 集群初始化过程中pause容器的启动逻辑

eks集群默认策略在磁盘使用量达到threshold时会清除镜像，其中pause镜像也可能会被清除 https://aws.amazon.com/cn/premiumsupport/knowledge-center/eks-worker-nodes-image-cache/ pause容器能够为pod创建初始的名称空间，pod的内的容器共享其中的网络空…...

编程日记 2023/5/24 17:56:51

Numpy专栏目录(长期更新)

文章目录数组基础文件与字符串多项式分布Numpy绝对可以说是支撑Python地位的最重要的包了，几乎所有能叫出名的Python计算库，都不可避免地调用了Numpy，Numpy官网也列出了一些，大致如下图这样，堪称科学计算领域的瑞士军刀…...

编程日记 2023/5/24 17:56:48

English Learning - L2 第1次小组纠音 [ɑː] [ɔː] [uː] 2023.2.25 周六

English Learning - L2 第1次小组纠音 [ɑː] [ɔː] [uː] 2023.2.25 周六共性问题分析大后元音 [ɑː]大后元音 [ɔː]后元音 [uː]我的发音问题后元音 [uː]大后元音 [ɑː] 和 [ɔː]纠音过程第一次第二次第三次共性问题分析大后元音 [ɑː] 嘴唇过于松散，没…...

编程日记 2023/5/24 17:56:46

博客系统程序(页面设计)

咱们学习javaEE的目的就是完成一个网站.在当前学习的基础上,已经可以完成我们的博客系统的页面的设计了!!!首先我们要进行统筹规划:首先我们的博客页面将会有4个页面:1.博客列表页2.博客详情页显示一个博客的具体内容:3.登录页就是用户输入用户名和页面的地方4.博客编辑页发布新…...

编程日记 2023/5/24 7:19:52

【死锁的排查工具有哪些？】

死锁是指两个或多个进程（线程）相互等待对方持有的资源，导致无法继续执行的情况。在并发编程中，死锁是一个常见的问题，需要使用专门的工具来进行排查和解决。以下是常用的死锁排查工具： jstack&#xff1a…...

编程日记 2023/5/24 3:17:14

JUC包：CyclicBarrier源码+实例讲解

1 缘起上篇文章讲到了CountDownLatch：https://blog.csdn.net/Xin_101/article/details/129116170 作为同系的佼佼者，不得不提CyclicBarrier， 设计理念相似，都是多线程等待，但是，应用的技术以及功能不同&a…...

编程日记 2023/5/24 7:19:50

Trace、Metrics、Logging 选型

背景分布式追踪的起源自从微服务的兴起开始，整个系统架构开始变得极为庞大和复杂，但是服务之间的调用关系，调用消耗时间等等信息却依然是半黑盒的状态。为了能够将调用的链路进行串联，将系统的各种指标数据展示出来以使得系统的链…...

编程日记 2023/5/24 3:17:12

Java验证码

文章目录一、验证码概述二、Java原生验证码1、随机数字验证码2、随机数字和字母验证码3、运算验证码三、引入三方验证码一、验证码概述验证码（CAPTCHA）是“Completely Automated Public Turing test to tell Computers and Humans Apart”（全…...

编程日记 2023/5/24 3:17:09

5天带你读完《Effective Java》（四）

《Effective Java》是Java开发领域无可争议的经典之作，连Java之父James Gosling都说： “如果说我需要一本Java编程的书，那就是它了”。它为Java程序员提供了90个富有价值的编程准则，适合对Java开发有一定经验想要继续深入的程序员…...

编程日记 2023/5/24 3:17:04

探索密码学的未来：SM1、SM2、SM3、SM4、同态加密、密态计算、隐私计算和安全多方计算

密码算法在现代通信与信息安全中发挥着至关重要的作用，SM1、SM2、SM3、SM4、同态加密、密态计算、隐私计算和安全多方计算等密码算法被广泛应用于各种信息安全领域。本篇博客将会为大家介绍这些密码算法，以及它们在信息安全中的作用和应用。一、SM1、SM…...

编程日记 2023/5/23 23:02:31

【教程】去水印开源工具Lama Cleaner在Windows的安装和使用

一、Lama Cleaner是什么？ Lama Cleaner是一款开源且免费的人工学习图片去水印程序（个人主要学习用途），没有图片分辨率限制（个人使用暂未发现），并且保存的图片质量很高（个人觉得跟原…...

编程日记 2023/5/23 23:02:19

驾考笔记_2023

科目一1> 扣分制度1.1> 超速1.2> 超载1.3> 车牌1.4> 速记口诀2> 满分学习2.1> 消分学习2.2> 满分重考；3> 罚款 / 判刑3.1> 考证3.2> 审验教育3.3> 酒驾3.4> 200￥3.5> 500￥3.6> 2000&#xffe5…...

编程日记 2023/5/23 23:01:41

【架构师】跟我一起学架构——调用链

博客昵称：架构师Cool 最喜欢的座右铭：一以贯之的努力，不得懈怠的人生。作者简介：一名Coder，软件设计师/鸿蒙高级工程师认证，在备战高级架构师/系统分析师，欢迎关注小弟！ 博主小留言…...

编程日记 2023/5/24 17:56:44

[神经网络]Swin Transformer网络

一、概述 Swin Transformer是一个用了移动窗口的层级式Vision Transformer。在图像领域，Transformer需要解决如下两个问题： ①尺度问题：同一语义的物体在图像中有不一样的尺度。(大小不同) ②Resolution过大：若以像素点作为单位&…...

编程日记 2023/5/24 17:56:42

【分布式】什么是分布式，分布式和集群的区别又是什么？答案在正文。

文章目录1. 什么是分布式 ?2. 分布式与集群的区别 ?3.用一个请求串起来4.一个简化的架构图5.分布式环境的特点6.分布式环境下面临的问题7.总结1. 什么是分布式 ? 分布式系统一定是由多个节点组成的系统。其中，节点指的是计算机服务器，而且这些节点一…...

编程日记 2023/5/23 12:55:31