RRF(Reciprocal Rank Fusion,倒数排序融合)

RRF(Reciprocal Rank Fusion,倒数排序融合)

摘要

倒数排序融合 RRF 是一种简单的方法，用于结合多个 IR(Information Retrieval) 系统的文档排名，始终比任何单独的系统产生更好的结果。

通过使用 RRF 来结合几个TREC实验的结果，并建立一个 元学习器，该元学习器 对 LETOR 3 数据集的排名优于任何先前的方法，从而证明了这一结果。

1.倒数排序融合

虽然监督学习排名方法最近获得了很多关注，但无监督方法很有吸引力，因为它们不需要训练示例。

我们发现，当 RRF 用于结合 IR 方法(包括学习排名)的结果时，几乎总是在最佳组合结果的基础上有所改进。

RRF 只是根据简单的评分公式对文档进行排序。

给定集合 D 作为被排序的的文档和一个排名集合 R (每个都是 1…|D| 的排序)，我们计算

$$RR{F}_{score}(d\in D)=\sum _{r\in R}\frac{1}{k+r(d)}$$

• 其中 k = 60 在试点调查期间固定，在随后的验证期间不改变。

我们选择这个公式的直觉来自这样一个事实，即虽然排名靠前的文件更重要，但是低排名文档的重要性不会像使用指数函数那样消失。

常数 k 减轻了离群系统的高排名的影响。

---

2.举例

待排序数据

排序 1 : [a, b, c, d]

排序 2 : [c, b, a, d]

打分过程，默认 k=60

排序 1 ： a → 1/60 , b → 1/61, c → 1/62, d → 1/63

排序 2 ： c → 1/60 , b → 1/61, a → 1/62, d → 1/63

聚合

a = 1/60 + 1/62 = 61/1860

b = 1/61 + 1/61 = 2/61

c = 1/60 + 1/62 = 61/1860

d = 1/63 + 1/63 = 2/63

即

• a≈0.0327956
• b≈0.0327868
• c≈0.0327956
• d≈0.0317460

排序结果

a, c, b, d
或
c, a, b, d

---

这里出现了 a 和 c 的的平局，这中情况，就要考虑另外的方法来解决这些事了。