【电商搜索】CRM: 具有可控条件的检索模型

【电商搜索】CRM: 具有可控条件的检索模型

---

目录

---

https://arxiv.org/pdf/2412.13844

文章信息

CRM: 具有可控条件的检索模型
https://arxiv.org/pdf/2412.13844

摘要

本文提出了一种新型的检索模型——可控检索模型（CRM），旨在通过将回归信息作为条件特征整合到双塔检索范式中，增强检索阶段与排名阶段之间的一致性，并提升检索模型的能力。通过实际的A/B测试验证了CRM的有效性，并展示了其在快手短视频推荐系统中的成功部署，该系统服务于超过4亿用户。

研究背景

推荐系统（RecSys）旨在连接用户与相关项目，同时满足平台的业务目标。典型的工业推荐系统分为两个主要阶段：检索和排名。检索阶段的目标是在数百万项目中搜索出符合用户兴趣的数百个候选项；排名阶段的目标是基于每个候选项的多个目标估计来选择最佳的十几个项目。与排名模型相比，检索模型在推理过程中缺乏候选项信息，因此通常只通过分类目标（例如点击率）进行训练，未能整合回归目标（例如预期观看时间），这限制了检索的有效性。

问题与挑战

如何在检索模型中引入回归目标是一个挑战，因为回归目标（例如预期观看时间）需要知道相应的项目才能确定。这种现象导致了检索和排名阶段之间的一致性问题，并限制了推荐系统链的性能。

如何解决

本文提出的CRM模型通过将回归信息作为额外的条件来指导模型，使得同时利用分类和回归信号成为可能。具体来说，在训练期间，将回归条件作为特征纳入用户塔中，以生成定向的用户表示。在在线推理期间，策略性地设置条件以指导检索过程，以符合我们的平台目标。

核心创新点

• 提出了一种新的设计检索模型的范式，通过将回归信息作为条件，增强了检索和排名阶段之间的一致性，为推荐系统的进步提供了启示。
• 引入了两种简单但有效的方法来实现CRM：一种涉及改进双塔架构，另一种涉及序列建模，为其他采用CRM的人提供了参考。
• 在快手最大的短视频推荐场景中验证了选择条件的新而有效的策略。

算法模型

CRM模型有两种实现方式：基于DNN的双塔范式和基于Transformer的范式。基于DNN的模型通过直接输入观察到的下一个视频的观看时间作为条件到用户塔中，允许模型学习观看时间和目标视频的联合分布。基于Transformer的模型则利用序列建模的优势，将用户的交互序列形成RL（强化学习）序列风格，以优化CRM模型。

实验效果（包含重要数据与结论）

在线实验在快手的短视频推荐场景中进行，该场景包括超过4亿用户和每天500亿日志。实验结果表明，CRM模型在多个关键指标上取得了改进，例如视频观看时间、总应用使用时间和用户互动等。此外，CRM在平均每次视频观看时间的关键指标上表现最佳，显著优于所有其他检索模型。

相关工作

本文回顾了双塔检索工作流程和基于RL的决策变换器序列建模。双塔检索工作流程旨在利用用户/项目特征来模拟用户偏好和项目属性，以预测用户可能与之交互的下一个视频。决策变换器（DT）是序列建模的先驱工作，旨在根据过去的奖励和状态序列直接进行动作决策。

后续优化方向

未来的工作将探索更多可以作为条件的目标，更有效的条件指定策略，并将这种方法扩展到推荐系统以外的领域。

---

后记

如果您对我的博客内容感兴趣，欢迎三连击 ( 点赞、收藏和关注 ）和留下您的评论，我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型，深度学习和计算机视觉相关方向)最新学术论文及工程实践方面的内容分享，助力您更快更准更系统地了解 AI前沿技术。