向量召回：深入评估离线体系，探索优质召回方法

向量召回：深入评估离线体系，探索优质召回方法

1.简介

近年来，基于向量进行召回的做法在搜索和推荐领域都得到了比较广泛的应用，并且在学术界发表的论文中，基于向量的 dense retrieve 的方法也在不少数据集上都战胜了 sparse retrieve，吸引了越来越多的关注。在内网的不少文章中也都介绍了各种不同的模型和算法，但是目前我们还没有看到比较系统的介绍向量召回评估体系的文章，在这里我们抛砖引玉，对搜索在将向量召回应用到搜索方向过程中积累的召回评估方面的内容，进行了梳理和归纳，希望能对大家有所帮助，也希望能引出更多关于召回评估的好的方法和思路。

搜索方向对召回效果的评估，主要可以分为人工评估和自动化指标评估，我们在本文中主要讨论在模型和索引迭代过程中的自动化指标评估，人工评估目前主要用于对最终上线前的效果进行评估。

1.1 评估体系演进

从 2017 年开始，搜索就在不同的业务上开始尝试向量召回，在整个发展过程中，模型经历了从 CNN、RNN 到最近的基于预训练的演进。在评估指标的体系上，随着经验的积累，也在不断进行演化，基于时间线，我们将评估体系的演化分为三个版本，下面对三个版本逐次展开介绍。

1.2 第一版

第一版的评估体系的建设中，我们主要考虑解决模型离线迭代过程中的指标评估问题和构建完全量索引后的指标评估问题。在离线的指标评估中我们将召回任务看作是排序问题，即在召回时如果能将好的结果排在差的结果前面，我们就可以召回比较好的结果，因此，我们的离线指标评估中主要在离线评估集合上计算 NDCG/PAIR