OneRec：生成式推荐模型在短视频场景下的端到端实践与优化

1. 生成式推荐模型为何成为短视频行业新宠最近两年生成式推荐模型正在悄悄改变短视频平台的推荐逻辑。传统推荐系统像流水线上的工人每个环节各司其职召回负责大海捞针粗排快速筛选精排细致打分最后重排考虑业务规则。这种分阶段处理的方式存在明显短板——就像接力赛跑任何一棒掉链子都会影响最终结果。OneRec这类生成式模型直接把推荐过程变成了单人全能赛。它用Transformer架构模拟人类推荐逻辑观察你的历史行为点赞/收藏/转发像朋友聊天那样逐步说出你可能喜欢的视频列表。我在快手实际项目中验证过这种端到端方案能让用户观看时长提升1.6%相当于每天多留住用户数百万分钟。关键突破在于语义ID生成机制。传统推荐用数字ID标识视频就像用学号找人完全看不出特征。而OneRec先用多模态模型提取视频的人格特征画面、语音、文字的综合embedding再通过改进的平衡k-means算法给视频打上具有语义的个性标签。举个例子萌宠视频可能被标记为[娱乐-动物-治愈系]这种标签体系让推荐过程更具可解释性。2. OneRec模型架构的三大创新设计2.1 稀疏MOE结构参数效率革命模型采用Encoder-Decoder架构时最头疼的就是参数膨胀问题。OneRec的解决方案堪称精妙——把传统FFN层改造成稀疏混合专家(MOE)系统。具体实现时每个输入只会激活约1/8的专家网络这样110亿参数的模型实际计算消耗只相当于30亿参数模型。我们在A100显卡上测试推理速度比稠密模型快2.3倍。配置MOE层时要注意这些细节# 典型配置示例 moe_layer MOELayer( experts[FFN(d_model1024) for _ in range(16)], # 16个专家 gateNoisyTopkRouter(k2), # 每次选top2专家 train_capacity_factor1.0, eval_capacity_factor0.5 )实际部署中发现专家数量超过32个时会出现专家退化现象——部分专家长期不被激活。我们的优化方案是引入负载均衡损失函数确保各专家利用率维持在5%-15%之间。2.2 行为序列的Cross-Attention融合用户历史行为不是简单拼接而是通过动态注意力机制融入解码过程。具体来说当模型生成第n个推荐时会特别关注历史行为中与当前生成路径相关的部分。这就像推荐美食时系统会重点参考你最近搜索过的餐厅而非上周看过的宠物视频。技术实现上有两个关键点行为序列编码器使用滑动窗口机制最近的100个行为保留细节较早的1000个行为压缩为摘要向量Cross-Attention层采用动态头数分配对短视频这类多模态内容视觉和文本特征分别用不同的注意力头处理2.3 基于DPO的偏好对齐策略传统强化学习需要在线试错这在推荐系统里风险太高。OneRec采用的**迭代偏好对齐(IPA)**方案很巧妙预训练奖励模型(RM)在用户行为预测任务上微调最后隐藏层输出作为偏好信号DPO训练阶段用beam search生成16个候选序列RM给其中最符合/最不符合用户画像的样本打标签动态更新机制每处理10万样本就更新一次参考模型避免分布偏移我们在abtest中发现DPO比例控制在15%-20%时效果最佳。超过这个阈值模型会过度迎合短期兴趣导致推荐多样性下降。3. 语义ID生成的全链路优化3.1 分层聚类构建Codebook视频语义ID的生成过程像给图书馆藏书分类先用CLIP等模型提取视频的内容指纹(1024维向量)执行分层平衡k-means聚类第一层按大类分如20个簇第二层每个大类再细分如50个子类最终形成1000个语义单元的标准体系这个过程的创新点在于动态平衡算法当某个类别视频量过大时自动触发分裂条件反之稀疏类别会合并。我们在处理快手4亿视频库时聚类耗时从32小时优化到6小时主要靠两项改进使用Faiss的IVF-PQ加速近邻搜索采用异步参数更新聚类与质心计算并行3.2 语义ID的递归分配策略给新视频打标签不是简单查表而是迭代细化的过程初始化用视频embedding匹配最接近的顶层类别细化在选定的大类中逐层向下匹配子类别回溯当底层匹配置信度0.7时返回上一级重新选择路径这种机制特别适合处理跨界内容比如科普向的美食视频。实测显示递归策略使长尾视频的推荐准确率提升27%。4. 实战效果与调优心得4.1 线上AB测试关键指标在快手1%流量桶测试中1B参数的OneRec模型交出这样的成绩单指标基线系统OneRec变化幅度人均观看时长45.6min46.3min1.6%点赞率8.2%8.7%6.1%分享率3.1%3.4%9.7%多样性(熵)2.452.689.4%值得注意的是模型在冷启动用户表现更突出新用户7日留存提升12.3%说明生成式推荐对稀疏数据更鲁棒。4.2 踩坑后总结的调优技巧MOE层初始化专家网络不能随机初始化应该用稠密模型参数作先验。我们采用蒸馏微调策略先训练标准Transformer再拆分成MOE结构DPO样本过滤对播放时长3秒的误触行为要过滤否则RM会学习到噪声信号语义ID维度实践表明1000-1500个语义单元最适合短视频场景过细会导致长尾item难以匹配在线学习每周用新数据微调语义ID分配器避免概念漂移。模型结构不适合频繁更新容易破坏学到的用户偏好表示有个反直觉的发现在精排阶段保留少量业务规则如新视频扶持反而比纯端到端方案效果更好。这可能是因为生成式模型对实时数据反馈有滞后性。