【推荐系统】【多任务学习】Progressive Layered Extraction (PLE)

Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized Recommendations

1 论文出处

发表时间：2020

发表会议/期刊：RecSys

会议/期刊级别：CCF-A

2 背景

2.1 背景介绍

尽管多任务学习在许多推荐应用中取得了成功，但现有模型常常因为现实世界推荐系统中任务之间复杂的相互关系而导致性能退化，这种现象称为负迁移。此外，研究者们观察到了一个有趣的跷跷板现象，即一个任务的性能提升往往以牺牲其他任务的性能为代价。为了解决这些问题，论文提出了一种名为渐进分层提取（Progressive Layered Extraction, PLE）的新型MTL模型。PLE模型通过新颖的共享结构设计，明确分离共享组件和任务特定组件，并采用渐进路由机制逐步提取和分离深层语义知识，提高联合表示学习和跨任务信息路由的效率。通过在腾讯的大规模视频推荐数据集和公开数据集上的实验，结果表明PLE显著优于现有的MTL模型，并且在线上评估中显示出观看次数和观看时间的显著提升，证明了PLE的有效性。

2.2 针对问题

在多任务学习中，一个任务的改善可能导致另一个任务的性能下降，因为任务间存在复杂的相互关系。

2.3 创新点

• 明确的组件分离：PLE模型明确分离了共享组件和任务特定组件，以减少不同任务间潜在的参数干扰。
• 渐进路由机制：通过多级专家和门控网络，PLE采用渐进分离路由，从底层专家提取深层知识，并在更高层次逐步分离任务特定参数。
• 效率和灵活性：PLE模型的设计提高了联合表示学习和信息路由的效率，使得模型能够灵活应对不同任务间的复杂相关性。

3 主要设计思路

3.1 CGC

CGC模型是PLE的基础，旨在通过明确分离共享和任务特定组件来解决多任务学习中的负迁移和跷跷板现象。CGC模型由共享专家模块和任务特定的塔式网络组成。共享专家负责学习跨任务的通用模式，而任务特定专家则提取特定于任务的特征。CGC模型通过门控网络动态地结合不同专家的输出，使用SoftMax激活函数的单层前馈网络来计算加权和。这种结构允许CGC模型根据不同任务的需求，灵活地平衡共享与特定任务的知识，有效处理任务冲突和样本依赖的相关性。

3.2 PLE

PLE模型是CGC的扩展，引入了多级提取网络和渐进分离路由机制，以更高效地提取和组合深层语义表示。PLE模型中，不同层级的提取网络负责从底层专家中提取更高层次的共享信息，并通过门控网络进行选择性融合。与CGC相比，PLE模型在早期层中并不完全分离不同任务的参数，而是在上层逐步分离，模仿化学中从复合物中提取所需产物的过程。这种渐进分离路由策略允许模型吸收来自所有底层专家的信息，提取更高层次的共享知识，并逐步将任务特定参数分离到相应的塔式网络中。

4 实验

5 个人总结

这篇论文提出了一种新型的多任务学习模型PLE，通过渐进分层提取和定制门控控制，有效解决了个性化推荐中的负迁移和跷跷板现象。模型在腾讯大规模数据集上验证了显著的性能提升，并成功部署于实际的推荐系统。

但其实在其他的一些推荐或者营销场景中，尤其是对于具有长序列依赖关系的任务，越到最后正样本越少，如何更好地利用正样本的丰富的信息来增强模型训练效果也是一个问题，同时这篇论文其实也在一定程度上加大了参数量，所以今后可以研究一下对于之前的那些MTL模型，如果增加参数量，是否也可以在一定程度上改善其效果。