【推荐系统】MMOE笔记 20231126

paper阅读

任务差异带来的固有冲突实际上会损害至少某些任务的预测，特别是当模型参数在所有任务之间广泛共享时。（在说ESMM）

共享底层参数可以减少过拟合风险，但是会遇到任务差异引起的优化冲突，因为所有任务都需要在共享底层上使用相同的参数。（在说ESMM）

对于任务是否相关，MMOE不敏感，而ESMM和OMOE很敏感。
在两个任务相同的极端情况下，MMoE 模型和 OMoE 模型的性能几乎没有差异；
当任务之间的相关性降低时，OMoE 模型的性能明显下降，而对 MMoE 模型的影响很小。

5.2 Trainability

探讨MMOE是否容易训练。举了个例子，认为比普通 RNN 表现更好的一些门控 RNN 模型（如 LSTM 和 GRU）只是更容易训练，而不是具有更好的模型能力。

6.2 mmoe可以调整的参数
MMOE：Number of experts, number of hidden units per expert（专家数量，每个专家的隐藏单元数量）
利用验证集中，主要任务的AUC来做参数调整。

实验部分

table1的解释
鉴于任务相关性（通过皮尔逊相关性粗略测量）在两组中都不是很强，共享底部模型几乎总是多任务模型中最差的（张量因子化除外）。 L2-Constrained 和 Cross-Stitch 对于每个任务都有单独的模型参数，并添加了如何学习这些参数的约束，因此比 Shared-Bottom 表现更好。

然而，对模型参数学习的约束很大程度上依赖于任务关系假设，这不如 MMoE 使用的参数调制机制灵活。 因此，MMoE 在第 2 组中的所有方面都优于其他多任务模型，其中任务相关性甚至比第 1 组更小。
？？？皮尔逊相关系数越大越相关？是越大越相关。
那不是group2更相关吗？

单任务可以对辅助任务进行单独调参，所以辅助任务在多任务中没有单任务效果好，这种情况也会发生。

table4 说明

参与度（黏性）任务样本多，满意度任务样本少。

table4说明MMOE可以在大幅提高满意任务的同时，还能轻微调整参与任务，在置信区间水平为95%时。

indicates confidence interval level 95% 表示置信区间水平为95%

而esmm在提高满意度（辅助任务）时，会降低参与任务（主要任务）的指标。