当前位置: 首页 > news >正文

排序中常见的一些指标

1、错误率与精度

错误率与精度是分类任务中最常用的两种性能度量,错误率是指分类错误的样本占样本总数的比例,精度则是分类正确的样本数占样本总数的比例。

错误率:

E(f,D)=\frac{1}{m}\sum_{i=1}^{m}I(f(x_{i})\neq y_{i})

精度:

Acc(f,D)=\frac{1}{m}\sum_{i=1}^{m}I(f(x_{i}=y_{i}))=1-E(f,D)

2、准确率/召回率/FScore

True Positive(真正例, TP):将正类预测为正类数.

True Negative(真负例, TN):将负类预测为负类数.

 False Positive(假正例, FP):将负类预测为正类数 → 误报 (Type I error).

 False Negative(假负例, FN):将正类预测为负类数 → 漏报 (Type II error).

查准率:

precision=\frac{TP}{TP+FP}

查全率/召回率:

recall=\frac{TP}{TP+FN}

准确率:

Acc=\frac{TP+TN}{TP+TN+FP+FN}

F-Score:

F=2PR/(P+R)

F是准确率和召回率的结合,更加符合实际应用需求

3、ROC曲线/AUC

当样本不平衡时,ACC难以评估样本的准确性,因而通过AUC进行评估;AUC 通过对 ROC 曲线下各部分的面积求和而得

TPR=\frac{TP}{TP+FN}

FPR=\frac{FP}{TN+FP}

4、Precision@K

precision@k=topk中相关文档数/k

5、AP 和 MAP

AP(Average Precision) = Average Precision@K

MAP (Mean average precision) :不同请求/query AP的平均值

6、MRR(Mean reciprocal rank)

Mean reciprocal rank(MRR) 是另一种对排序列表进行评价的指标,MRR 定义为

MRR=\frac{1}{|Q|}\sum_{I=1}^{|Q|}\frac{1}{rank_{i}}

rank_{i}表示第i个查询第一个相关结果在列表中的位置。

7、DCG@K (Discounted cumulative gain)

Discounted cumulative gain 简写为 DCG,是搜索引擎常用的评价指标。DCG 的出发点可以理解为:在搜索引擎的结果中,相关结果比弱相关和不相关的结果更为重要,因而要更注重对相关结果的排序结果。

DCG@K=\sum_{I=1}^{K}\frac{rel_{i}}{log_{2}(i+1)}

DCG@K的一个变形为

DCG@K=\sum_{I=1}^{K}\frac{ 2^{rel_{i}}-1}{log_{2}(i+1)}

Normalized DCG

NDCG@K=\frac{DCG@K}{IDCG@K}

IDCG@K=\sum_{i=1}^{|REL_{k}|}\frac{2^{rel_{i}-1}}{log_{2}(i+1)}

可以看到 IDCG 是一个理想情况,即按照真实标签排序的情况。 目前在我所在的搜索场景在离线评测时还是会考虑 NDCG 的情况,而具体的 K 值选择则要根据业务场景自行调整。

参考文献

排序学习(LTR)杂谈 (上) - 知乎

1、排序学习(LTR)杂谈 (上) - 知乎

2、Learning to Rank: pointwise 、 pairwise 、 listwise - 知乎

3、排序评估指标——NDCG和MAP_comli_cn的博客-CSDN博客(ndcg详例)

4、排序评价指标 - 知乎

相关文章:

排序中常见的一些指标

1、错误率与精度 错误率与精度是分类任务中最常用的两种性能度量,错误率是指分类错误的样本占样本总数的比例,精度则是分类正确的样本数占样本总数的比例。 错误率: 精度: 2、准确率/召回率/FScore True Positive(真正例, TP)&…...

51单片机入门————数码管显示

我们在马路上看到的红绿灯,就是由数码管来实现的,就是其中可能加入了一些延时和转换数码管是通过控制138译码器与74HC245来控制数码管的亮灭与数字的显示电路原理图我们先讨论一个数码管数码管有共阳极和共阴极,我们现在使用的STC89C52是共阴…...

Spring事务未生效场景

一.抛出事务不支持的异常 原理: Spring事务默认支持RuntimeException异常,抛出的异常为RuntimeException异常及其子类异常事务均可生效,而我们日常常见的异常基本都继承自RuntimeException,所以无需指定异常类型事务也能生效。但…...

servlet注解开发

文章目录servlet注解开发内容回顾响应对象 HttpServletResponse重定向与请求转发ServletConfig简介案例ServletContext简介案例Servlet 注解开发简介注解使用案例WebServlet 注解详细参数综合的增删改查案例登录注册功能servlet注解开发 内容回顾 响应对象 HttpServletRespon…...

mysql一联合主键

联合主键就是用2个或2个以上的字段组成主键。用这个主键包含的字段作为主键,这个组合在数据表中是唯一,且加了主键索引。 可以这么理解,比如,你的订单表里有很多字段,一般情况只要有个订单号bill_no做主键就可以了&…...

openpnp - 判断吸嘴是否指定了正确的旋转轴

文章目录openpnp - 判断吸嘴座是否指定了正确的旋转轴概述笔记吸嘴单独矫正的时候Calibrate precise camera ↔ nozzle N1 offsets.ENDopenpnp - 判断吸嘴座是否指定了正确的旋转轴 概述 如果没有指定吸嘴座的正确旋转轴, 会因为对应吸嘴该旋转时不旋转, 而是另外一个空闲的吸…...

【办公类-19-03】办公中的思考——Python批量统一文件名的序号(保教主任整理打印文件)

背景需求:为迎接督导检查,保教主任从各条线收集文本资料。并在每个文件名称前手动编号。但是她嘀咕道:”为什么两套资料放在一个文件里就不是按照数字序号排序?,有的是1X-,有的是40X,看起来很乱…...

MySQL约束

约束约束总结约束 1、概念:约束是作用于表中字段上的规则,用于限制存储在表中的数据。 2、目的:保证数据库中数据的正确、有效性和完整性。 3、分类: 注意:约束是作用于表中字段上的,可以在创建表/修改表…...

x86 平台利用 qemu-user-static 实现 arm64 平台 docker 镜像的运行和构建

文章目录[toc]关于 docker 版本查看是否开启 experimental 功能开启 experimental 功能查看当前环境平台拉取一个 arm 平台的容器运行一个 arm 平台的容器整一个 qemu-user-static注册可支持的架构解释器尝试启动 arm64 镜像尝试启动 ppc64le 镜像后台运行 arm64 容器build 一个…...

找工作经验分享

好的简历的特点:简洁:不要使用花里胡俏的简历模板,一般就是一行行写下来那种就行主次分明:一定要有重点,让面试了解你强项是什么首先当然是突出技术,不要花大批篇幅在个人信息、兴趣爱好等,重点…...

C语言学习之路--操作符篇,从知识到实战

目录一、前言二、操作符分类三、算术操作符四、移位操作符1、左移操作符2、右移操作符五、位操作符拓展1、不能创建临时变量(第三个变量),实现两个数的交换。2、编写代码实现:求一个整数存储在内存中的二进制中1的个数。六、赋值操…...

【华为OD机试2023】端口合并 C++ Java Python

【华为OD机试2023】端口合并 C++ Java Python 前言 如果您在准备华为的面试,期间有想了解的可以私信我,我会尽可能帮您解答,也可以给您一些建议! 本文解法非最优解(即非性能最优),不能保证通过率。 Tips1:机试为ACM 模式 你的代码需要处理输入输出,input/cin接收输入、…...

C++常用头文件整理

#include <iostream> 输入输出流&#xff0c;调用该函数使用cin&#xff0c;cout#include <iomanip> mainp是mainpular(操纵器)的缩写&#xff0c;可以调用一些函数&#xff0c;如fixed()<<setprecision()等#include <cmath> 调用数学函数#include &l…...

Linux内核4.14版本——drm框架分析(2)——connector分析

目录 1. drm_connector结构体 1.1 struct list_head head 1.2 struct drm_mode_object base 1.3 base.properties 1.4 uint32_t encoder_ids[DRM_CONNECTOR_MAX_ENCODER] 1.5 struct drm_encoder *encoder 1.6 struct list_head probed_modes 1.7 struct list_head mod…...

dev GridControl 按条件纵向合并单元格

dev GridControl 按条件纵向合并单元格 gridView5.OptionsView.AllowCellMerge true; gridView5.CellMerge gridView5_CellMerge; //自定义合并单元格监听事件void gridView5_CellMerge(object sender, DevExpress.XtraGrid.Views.Grid.CellMergeEventArgs e){int rowHandle1…...

aws eks 集群初始化过程中pause容器的启动逻辑

eks集群默认策略在磁盘使用量达到threshold时会清除镜像&#xff0c;其中pause镜像也可能会被清除 https://aws.amazon.com/cn/premiumsupport/knowledge-center/eks-worker-nodes-image-cache/ pause容器能够为pod创建初始的名称空间&#xff0c;pod的内的容器共享其中的网络空…...

Numpy专栏目录(长期更新)

文章目录数组基础文件与字符串多项式分布Numpy绝对可以说是支撑Python地位的最重要的包了&#xff0c;几乎所有能叫出名的Python计算库&#xff0c;都不可避免地调用了Numpy&#xff0c;Numpy官网也列出了一些&#xff0c;大致如下图这样&#xff0c;堪称科学计算领域的瑞士军刀…...

English Learning - L2 第1次小组纠音 [ɑː] [ɔː] [uː] 2023.2.25 周六

English Learning - L2 第1次小组纠音 [ɑː] [ɔː] [uː] 2023.2.25 周六共性问题分析大后元音 [ɑː]大后元音 [ɔː]后元音 [uː]我的发音问题后元音 [uː]大后元音 [ɑː] 和 [ɔː]纠音过程第一次第二次第三次共性问题分析 大后元音 [ɑː] 嘴唇过于松散&#xff0c;没…...

博客系统程序(页面设计)

咱们学习javaEE的目的就是完成一个网站.在当前学习的基础上,已经可以完成我们的博客系统的页面的设计了!!!首先我们要进行统筹规划:首先我们的博客页面将会有4个页面:1.博客列表页2.博客详情页显示一个博客的具体内容:3.登录页就是用户输入用户名和页面的地方4.博客编辑页发布新…...

【死锁的排查工具有哪些?】

死锁是指两个或多个进程&#xff08;线程&#xff09;相互等待对方持有的资源&#xff0c;导致无法继续执行的情况。在并发编程中&#xff0c;死锁是一个常见的问题&#xff0c;需要使用专门的工具来进行排查和解决。 以下是常用的死锁排查工具&#xff1a; jstack&#xff1a…...

旧Mac焕新指南:使用OpenCore Legacy Patcher打造启动盘

旧Mac焕新指南&#xff1a;使用OpenCore Legacy Patcher打造启动盘 【免费下载链接】OpenCore-Legacy-Patcher 体验与之前一样的macOS 项目地址: https://gitcode.com/GitHub_Trending/op/OpenCore-Legacy-Patcher 当您的Mac设备因硬件限制无法升级到最新macOS系统时&am…...

从零搭建Vulnstack内网靶场:一次完整的渗透测试实战复盘

1. 环境准备与靶场搭建 第一次接触Vulnstack靶场时&#xff0c;我完全被内网渗透的复杂性震撼到了。这个靶场模拟了真实企业内网环境&#xff0c;包含域控制器、Web服务器和普通办公主机等多种设备。搭建过程就像拼装一台精密仪器&#xff0c;每个部件都要准确定位。 靶机环境需…...

Nano-Banana效果展示:多款产品高清拆解图生成作品集

Nano-Banana效果展示&#xff1a;多款产品高清拆解图生成作品集 1. 专业级拆解效果惊艳呈现 想象一下&#xff0c;只需简单输入文字描述&#xff0c;就能获得堪比专业设计师制作的产品爆炸图。Nano-Banana产品拆解引擎让这一想象成为现实&#xff0c;它专为产品拆解、平铺展示…...

FastAdmin定时任务实战:从数据库备份到邮件提醒的5个真实场景配置

FastAdmin定时任务实战&#xff1a;从数据库备份到邮件提醒的5个真实场景配置 在FastAdmin的实际开发中&#xff0c;定时任务就像一位不知疲倦的助手&#xff0c;能够自动完成各种重复性工作。但很多开发者掌握了基础配置后&#xff0c;却不知道如何将其应用到真实业务场景中。…...

Gradio界面定制化:为DAMO-YOLO WebUI添加导出检测结果CSV功能

Gradio界面定制化&#xff1a;为DAMO-YOLO WebUI添加导出检测结果CSV功能 1. 项目背景与需求 如果你用过那个基于DAMO-YOLO的手机检测WebUI&#xff0c;可能会发现一个问题&#xff1a;检测结果只能看&#xff0c;不能存。 每次上传图片&#xff0c;系统会告诉你检测到了几个…...

如何用TinyTroupe多智能体模拟优化大豆深加工工艺:提升效率的完整指南

如何用TinyTroupe多智能体模拟优化大豆深加工工艺&#xff1a;提升效率的完整指南 【免费下载链接】TinyTroupe LLM-powered multiagent persona simulation for imagination enhancement and business insights. 项目地址: https://gitcode.com/GitHub_Trending/ti/TinyTrou…...

超越矩阵SVD:T-SVD如何用傅里叶变换搞定三维数据补全?一个视频修复案例讲透

超越矩阵SVD&#xff1a;T-SVD如何用傅里叶变换搞定三维数据补全&#xff1f;一个视频修复案例讲透 当一段珍贵的历史视频出现帧丢失或噪声污染时&#xff0c;传统矩阵分解方法往往束手无策——它们将三维视频数据强行"压扁"成二维矩阵进行处理&#xff0c;破坏了时空…...

解决PyQtWebEngine安装难题:高效配置与常见问题排查

1. PyQtWebEngine安装问题全景分析 第一次接触PyQt5的开发者经常会遇到这样的报错&#xff1a;ModuleNotFoundError: No module named PyQt5.QtWebEngineWidgets。这个看似简单的错误背后&#xff0c;其实隐藏着PyQt5版本演进带来的架构变化。从PyQt5 5.12版本开始&#xff0c;…...

智能日程管理系统:OpenClaw+Qwen3-32B自动安排会议时间

智能日程管理系统&#xff1a;OpenClawQwen3-32B自动安排会议时间 1. 为什么需要自动化日程管理 每天早晨打开邮箱&#xff0c;总能看到十几封会议邀请混杂在各类邮件中。手动核对时间、检查日历冲突、协调参会人可用性——这些重复性工作消耗了我至少30%的工作时间。直到上个…...

腾讯地图SDK隐私协议合规接入实战:你的App真的合法显示地图了吗?

腾讯地图SDK隐私合规实战&#xff1a;从法律条文到代码落地的全流程指南 当你的App因为地图功能被应用商店拒审时&#xff0c;当用户投诉你的应用"偷偷收集位置信息"时&#xff0c;当合规团队发来长达20页的整改清单时——这些场景正在成为移动开发者的日常。去年某社…...