【推荐】排序模型的调优

排序模型的选择

  LR，GBDT，LR+GBDT，FM/FFM， 深度模型（wide & deep，DeepFM，DCN等等 ）

排序模型常见的训练方式

方法
方法1：T+1训练（固定时间滑窗内的全量数据来训练）
方法2：每天增量训练
方法3：综合方法1和方法2 即当天内做增量训练（比如小时级别的增量训练），当天结束的时候做T+1全量训练。

样本类别不均衡处理尝试

  对于搜推广领域的排序任务数据集，正负样本严重的类别不均衡，也就是说负样本数量经常是正样本数量的几百倍或者几千倍。对于这么严重的样本类别不均衡，如果不采取任何方案来缓解这个问题，对于模型学习知识是很困难的。对于排序任务来说，常见的缓解类别不均衡的方法如下：

  · 对负样本降采样： 目的是通过某种方法从海量的负样本中采样一些负样本出来，从而让负样本的比例减少。对负样本进行采样后，在计算广告领域的排序任务中，需要在最后计算排序公式的时候进行校准（校准发生在线上推理的时候，离线训练的时候不用考虑校准）。对于个性化搜索和推荐系统来说，他们只关注打分概率的相对顺序，而采样前后的打分概率的相对顺序不会改变，所以不需要校准。

  对负样本进行采样，会浪费掉很多负样本。

  · 对正样本过采样： 目的是通过某种方法把正样本的数量变多。如果把正样本过采样到和负样本差不多的量级，会导致总体训练样本量太大，训练时间相对于正样本过采样前的时间变长很多。对正样本如果进行了采样，在计算广告的排序任务中也需要对打分概率做校准，而个性化搜索和推荐系统中的排序任务不需要对打分概率做校准。

  通过简单复制正样本把正样本数量变成与负样本差不多的样本量，模型的离线效果还不错，就是训练时间相对长，比如一个epoch单机跑都要4，5个小时。正因为这个原因，我们最终没有使用这个方案。

  · 每个epoch对负样本采样出和正样本1：1的数量： 这样就不浪费负样本，epoch的数量可以根据负样本数量和训练时间来权衡。

  做法是这样的，使用tf.keras + tf.data.experimental.sample_from_datasets API 从大量的负样本采样，并与正样本拼接为最终的训练集，结果发现每个epoch后的验证集的AUC不变化。如果说模型已经充分收敛也就是loss基本不变了从而模型参数基本不变化，这个时候验证集的AUC不变化是有可能的，但是模型在刚开始的那些epoch都应该能看到不同的负样本，应该会继续学习而不会收敛，因此在开始的几个epoch验证集AUC应该是变化的。推断可能是Tensorflow/TF的坑，可能每个epoch都拟合了一样的负样本并且基本上在第一个epoch以后模型就基本收敛了。

  · 使用class weight或者sample weight： 目的是通过设置权重来让模型更关注正样本。这个方法在很多项目中都会使用，实际效果也是很不错。

  · 使用Focal loss： Focal loss可以做困难样本学习和缓解类别样本不均衡。由于时间关系，这个项目没有尝试这个方案。

欠拟合

  对于欠拟合，简单来说就是模型学习的不够充分。常见的处理方法如下：

  用更多和更好的特征：

  连续特征的特征缩放处理（深度模型对于连续特征的幅度变化很敏感，所以用深度模型建模的话一定要对连续特征做特征缩放处理）。特征缩放的方法有很多，常见的比如Z-score标准化，MinMax归一化，取log，平滑方法（比如贝叶斯平滑）等等。对于历史ctr这样的比率特征，在排序任务中经常会考虑对该特征做平滑，目的是为了让那些历史ctr相等但是曝光次数多且点击次数也多的item经过平滑后得到的值与那些长尾的item区别开来（比如7天内点击1次，曝光2次的item与7天内点击50次，曝光100次的item，虽然他们的点击率相同，但是他们的受欢迎度差别很大，因此这个时候直接用7天内的ctr作为特征对他们来说没有辨识度，这个时候做ctr平滑就很有意义）。

  还可以根据业务语义逐渐加入更多的设备侧和广告侧的交叉特征。在项目中我们也尝试了这个方法，欠拟合得到进一步的缓解。

  增加模型复杂度/容量：

  在当前使用的wide & deep排序模型的情况下，增加模型容量可以通过下面两种方式，方法1是把全连接层层数变多或者每层的神经元数量变多，方法2是把embedding向量的长度变大。业界一般做排序模型用到的全连接层常见都是3层，这个项目也是用的3层，我们尝试了把每层的神经元变多。另外，看到很多文章对于排序模型中用到的itemid/usrid embedding table的embedding向量的维度一般都是设置为8或者10（算是一个经验值）。

  除了上面提到的这些缓解欠拟合的方法，调整学习率和batch size大小，以及样本类别不均衡的处理方法都可能缓解欠拟合。因此可以看到，缓解欠拟合的组合因素有很多。建议的方式是每次调试只是改变一个因素来进行训练后效果对比。特征缩放肯定是要先做的，除了学习率，batch size以及样本类别不均衡处理这三个因素外，我们可以循序渐进的尝试下面的方法来缓解欠拟合：挖掘一些好的特征（不包含交叉特征，比如一些历史统计特征），接着增加模型复杂度（主要是增加层数或者神经元个数），最后逐渐增加有意义的交叉特征。

过拟合

  过拟合指的是模型在训练集上的效果/表现不错，但是在验证集上的表现与训练集上的差距很大。在实际生产项目中，我们更关心模型在训练集上效果不错，在验证集上的效果也不错，在这样的情况下即使过拟合我们也不关心，比如训练集上的AUC是0.95，验证集上的AUC是0.8，那这种情况是属于过拟合了，但是验证集的AUC也足够高了，所以这个情况我们能接受；如果是训练集上的AUC是0.95，验证集上的AUC是0.6，这种过拟合就是我们需要关心的了。欠拟合到过拟合，有时候就是一瞬间的事情（比如特征一下子加多了就容易从欠拟合变成过拟合）。对于使用深度模型做排序任务的场景，过拟合常见的处理方式如下：

  收集更多的数据 ： 目的是让模型能更多的见到不同的数据分布，从而学习到不同的知识。比如T+1训练中的T常见的是7天的数据作为训练集（当然这个T取多少和训练集中的正样本量有多少有很大关系），在我们这个项目中，T取的是30天的数据，因此能获得更多的样本尤其是正样本。

  减少模型复杂度/容量： 也就是使用小一点的神经网络，包括小一点的embedding table，目的是让神经网络和embedding table的容量变小。在实际的项目中，见到过把itemid/userid embedding table的embedding向量的长度设置为几百几千的，不建议这样，太容易过拟合了，就像前面提到的，设置为8左右就是一个不错的起点。注意这里的embedding指的是input embedding，而关于output embedding以及文本embedding向量长度的选择可以参考我的github中的文章推荐系统概览。

  使用BatchNormalization （简称BN，本质是对神经元的激活值进行整形，它在Deep Learning中非常有用，建议尽量用）：使用BN的话，batch size不能太小，而batch size的调整一般伴随着同方向的learning rate的调整（也就是把batch size调大的话，learning rate可以适当调大一点点）。虽然BN主要是在CNN卷积层用的比较多，但是MLP层也可以用，RNN的话要用LayerNormalization（简称LN）。在当前项目中，使用BN后的离线效果提升很明显。

  使用Early stopping早停： 监控模型在验证集的metric，并early stopping早停。Early stopping并不是必须的，如果设定模型固定跑的epoch数量，之后选择一个表现最好的epoch的checkpoint也是可以的，这个情况下就不需要early stopping。

  正则化方法： 在深度学习中，常用的正则化方法是Dropout，L1/L2正则，Label标签平滑等。当前项目使用了dropout和L1/L2正则。Dropout的比率以及L1/L2正则的超参数在调试的时候，都要小步调整，大幅调整很容易一下子就从过拟合到了欠拟合了。

  使用更少的特征： 在这个项目中，一下子增加了几种交叉特征后，模型从欠拟合到了过拟合。然后在去掉了几个交叉特征之后，过拟合得到缓解。因此加入新的特征要一点点加，小步走。

  在使用深度模型发生过拟合的时候，首先要检查验证集的数据分布（比如每个连续特征的统计分布，每个离散特征的覆盖度，和训练集中的数据分布做一下对比）。如果训练集和验证集的数据分布相差很多，考虑如何重新构造训练集和验证集；否则，建议尝试按照如下的顺序来缓解（每做完一步就训练看效果，如果验证集的效果能接受了，就先打住；否则继续下一步）：使用BN（基本上是标配）——使用更少的特征（如果特征本身就不多，可以跳过；主要关注交叉特征是否很多）——收集更多的数据（如果正样本量已经足够多，可以跳过这步）——使用正则化方法——减少模型复杂度/容量（尤其要注意embedding table中embedding向量的长度）

其他问题

  数据集变了，模型的离线评估AUC变化很大：

  数据集变大可能会导致容量小的模型效果变差，发生欠拟合。对于CTR/CVR任务，训练流程跑通以后，用固定滑窗的数据集来训练调试模型；而一般固定滑窗内的数据集的量级差不多。数据集的清洗和预处理每天都要保证一致性的行为，否则出问题调试很花时间。

  要尽量保证特征的线上线下一致性。

  同样的数据集和同样的模型，两个实验对比，发现对验证集的评估指标AUC有差别：

  ML带入的随机性很多，所以最好在上下文尽量一致的情况下对比，包括超参数的设置，训练任务的相关参数和随机种子fix（这个非常重要，包括python random seed和tensorflow.random rseed都需要fix）。

  经常发现在分布式训练中模型的评估指标比单机训练的评估指标要差：

  这个是很常见的。使用分布式训练甚至只是单机多卡的时候，学习率可能不适合还用单机单卡训练的学习率，适当需要调整。对于horovod分布式训练方式，一般来说，把学习率变大一点就好，不能完全按照horovod官网建议的那样即用worker数量乘以之前单机单卡的学习率作为调整后的学习率（这个可能会得到很大的学习率，从而导致模型学习效果不好）。对于parameter server分布式训练的异步梯度更新方式，可能需要把学习率调小，为了让最慢那个stale model replica的更新对整体的影响小一些。

  特征的覆盖度问题：

  如果某些离散特征的特征值的样本出现频率很低比如少于10次，那么可以考虑特征向上合并或者把那些小类别统一归并为”Other”。