一些指标的学习

1.平均倒数排名（MRR）

1.定义
MRR 是衡量检索系统返回的结果列表中第一个相关结果位置的指标。具体来说，它是所有查询倒数排名的平均值。
2.计算步骤

1. 对每个查询，找到第一个正确答案在结果列表中的排名 𝑅𝑎𝑛𝑘。
2. 计算该排名的倒数 1/Rank​。
3. 对所有查询的倒数求平均。
   3.例子
   Query1： 查询关键词：“Python 编程教程”
   结果列表：

Python 基础教程 - 正确
Java 编程指南
数据科学概述
Python 进阶教程

在这个查询中，第一个正确答案 (“Python 基础教程”) 在结果列表的第1个位置，所以排名是1。

Query2： 查询关键词：“机器学习基础”
结果列表：

数据分析工具
深度学习简介
机器学习概述 - 正确
统计学入门

在这个查询中，第一个正确答案 (“机器学习概述”) 在结果列表的第3个位置，所以排名是3。
因此，当我们说查询结果排名分别是1、3，这意味着：

• 第一个查询的正确答案在第1个位置。
• 第二个查询的正确答案在第3个位置。
  根据这些排名，我们可以计算 MRR为1+1/3≈1.33。

4.作用：
MRR 能反映系统多快能找到正确答案，数值越高表示系统越有效。

2.recall@K

1.定义：
recall@K 是用于评估系统在前 K 个检索结果中找到相关项目的能力的指标。
2.计算步骤：

1. 对每个查询，检查前 K 个结果中是否包含至少一个相关项目。
2. 计算包含相关项目的查询比例。

3.例子：

在这个例子中，有 8 个查询在前 5 个结果中找到了相关项目（查询1、查询3、查询4、查询5、查询7、查询8、查询9、查询10）。因此recall@5=8/10=0.8。

4.公式：
Recall@K= Total number of relevant documents / Number of relevant documents in top K results
​5.结果：
recall@K 评估系统在给定结果数量内找到相关信息的可能性，数值越高表示系统在较短结果列表中找到正确答案的能力越强。

3.NDCG@K