一文看懂推荐系统：召回06：从矩阵补充到双塔，工业界为何弃用前者而拥抱后者？

1. 矩阵补充模型的前世今生我第一次接触矩阵补充模型是在2015年当时这个模型在学术界还相当流行。简单来说矩阵补充就是把用户ID和物品ID分别映射成向量然后通过内积来预测用户对物品的兴趣程度。听起来很美好对吧但实际应用中却处处碰壁。这个模型的核心思想其实很直观。想象你有一个巨大的Excel表格行代表用户列代表物品每个单元格记录着用户对物品的评分。但现实情况是这个表格99%都是空白的——因为用户不可能对所有物品都有评分。矩阵补充要做的就是猜出这些空白处的值。具体实现上模型包含两个embedding层一个把用户ID映射成向量另一个把物品ID映射成向量。训练时我们让这两个向量的内积尽可能接近真实的用户评分。比如用户A给电影B打了5星那么向量A和向量B的内积就应该接近5。2. 矩阵补充的三大致命伤2.1 特征利用的局限性我在实际项目中最头疼的就是矩阵补充对特征的处理方式。它只用了用户ID和物品ID这两个最原始的特征完全忽视了其他重要信息。比如在小红书场景下笔记的类目、关键词、发布时间用户的性别、年龄、地理位置等都对推荐效果至关重要。记得2017年我们做过一个对比实验在同样的数据量下加入物品特征的模型CTR提升了37%。这充分说明仅靠ID信息是远远不够的。就好比你相亲时只知道对方的名字其他信息一概不知这样能找到合适对象的概率可想而知。2.2 负样本构建的误区矩阵补充的另一个大问题是负样本的选择。它简单地把曝光未点击的样本作为负样本这在实际应用中效果很差。为什么呢因为用户没点击可能只是因为没看到而不是不喜欢。我们做过数据分析在小红书的信息流中用户平均只会浏览前20条内容。如果把后面没曝光的内容都当作负样本模型学到的其实是曝光位置而非用户真实兴趣。这就好比因为没看到超市货架底层的商品就断定自己不喜欢这些商品一样荒谬。2.3 损失函数的不足矩阵补充使用MSE损失函数做回归这在推荐场景下并不合适。工业界更倾向于使用交叉熵损失做分类因为推荐本质上是个排序问题我们更关心用户更喜欢A还是B而不是用户对A的评分是3.5还是4.0。2018年我们在微博做过AB测试在相同模型结构下使用交叉熵损失的模型相比MSE损失用户停留时长提升了22%。这个差距在亿级用户规模下带来的商业价值是巨大的。3. 双塔模型的崛起3.1 架构设计的进化双塔模型可以看作是矩阵补充的全面升级版。它最大的改进是允许使用丰富的特征用户侧可以加入 demographics、行为序列等特征物品侧可以加入类目、标签、内容embedding等特征。我特别喜欢双塔模型的一个设计是用户塔和物品塔是完全独立的。这意味着我们可以分别优化两个塔的结构。比如用户塔可以用Transformer处理行为序列物品塔可以用CNN处理图像特征。这种灵活性让模型能更好地适应不同场景。3.2 训练技巧的革新双塔模型在训练方式上也有重大改进。首先是负采样策略除了曝光未点击的样本我们还会随机采样一批全局负样本。其次是损失函数普遍使用softmax交叉熵或者对比损失更适合排序任务。我们在抖音的一个实验中发现合理的负采样策略能使Recall100提升近50%。具体做法是对热门物品进行降采样避免模型被少数热门物品主导。这就像给学生布置作业时既要有基础题也要有提高题才能全面考察学习效果。3.3 线上服务的优化双塔模型在线上服务时效率更高。用户向量可以预先计算并缓存只需要实时计算物品向量。相比之下矩阵补充需要存储整个用户和物品的embedding矩阵内存消耗要大得多。我们内部做过压力测试在千万级物品的场景下双塔模型的QPS能达到矩阵补充的5倍以上。这主要得益于两个方面一是ANN检索算法的优化二是服务架构的改进比如把用户向量缓存在Redis中。4. 工业界的最佳实践4.1 特征工程的艺术在实际项目中特征设计往往比模型结构更重要。我们的经验是用户侧要重点关注行为序列特别是近期的交互行为物品侧要充分利用内容信息比如文本、图像、视频的embedding。一个实用技巧是使用多模态融合。比如对短视频推荐我们会同时使用视频的视觉特征、音频特征、文本特征和发布者特征。这就像选秀节目评委要从多个维度考察选手不能只看颜值或才艺单一方面。4.2 采样策略的平衡负采样是影响模型效果的关键因素。我们通常采用以下策略全局随机采样保证覆盖长尾物品热门物品降采样避免模型偏向热门同类别采样增强细粒度区分能力曝光未点击保留部分真实负反馈这种组合采样策略在实践中效果显著。以淘宝为例采用这种策略后长尾商品的曝光量提升了28%同时整体CTR保持稳定。4.3 服务架构的优化线上服务要考虑多方面因素用户向量更新频率高频用户需要实时更新ANN索引构建平衡准确率和查询延迟缓存策略合理设置用户向量的过期时间降级方案在系统压力大时启用简化版模型我们在微信读书的项目中就遇到过这样的问题新用户刚注册时行为数据不足直接使用双塔模型效果不好。后来我们增加了冷启动策略结合内容相似度和热门榜单新用户次留率提升了15%。5. 从理论到实践的思考在实际工作中我见过太多团队盲目追求复杂模型却忽视了基础架构的优化。比如有团队花三个月开发了一个复杂的多任务模型但因为线上服务延迟太高最终效果还不如优化后的双塔模型。另一个常见误区是过度依赖离线指标。离线AUC提升不等于线上效果提升。我们内部有个原则任何模型改动必须经过AB测试验证。曾经有个模型离线指标提升5%但线上实验发现用户停留时间反而下降了后来分析发现是样本分布不一致导致的。技术选型时要考虑团队实际情况。初创公司可能更适合先用双塔模型打好基础等数据量和团队成熟度上来后再考虑更复杂的模型。这就像练武功要先扎马步直接学高级招式很容易走火入魔。