Optimizer 梯度下降优化算法

1. 前言当前使用的许多优化算法是对梯度下降法的衍生和优化。在微积分中对多元函数的参数求偏导数把求得的各个参数的导数以向量的形式写出来就是梯度。梯度就是函数变化最快的地方。梯度下降是迭代法的一种在求解机器学习算法的模型参数时即无约束问题时梯度下降是最常采用的方法之一。这里定义一个通用的思路框架方便我们后面理解各算法之间的关系和改进。首先定义待优化参数目标函数学习率为然后我们进行迭代优化假设当前的epoch为t则有计算目标函数关于当前参数的梯度根据历史梯度计算一阶动量和二阶动量计算当前时刻的下降梯度根据下降梯度进行更新其中为下一个时刻的参数为当前时刻t参数后面的描述我们都将结合这个框架来进行。这里提一下一些概念鞍点一个光滑函数的鞍点邻域的曲线曲面或超曲面都位于这点的切线的不同边。例如这个二维图形像个马鞍在x-轴方向往上曲在y-轴方向往下曲鞍点就是 (0, 0)。指数加权平均、偏差修正可参见这篇文章2. 梯度下降 (GD)在GD中没有动量的概念也就是说在上述框架中则我们在当前时刻需要下降的梯度就是则使用梯度下降法更新参数为假设当前样本为每当样本输入时参数即进行更新梯度下降算法中模型参数的更新调整与代价函数关于模型参数的梯度有关即沿着梯度的方向不断减小模型参数从而最小化代价函数。基本策略可以理解为“在有限视距内寻找最快路径下山”因此每走一步参考当前位置最陡的方向即梯度进而迈出下一步更形象的如下图标准的梯度下降主要有两个缺点训练速度慢在应用于大型数据集中每输入一个样本都要更新一次参数且每次迭代都要遍历所有的样本会使得训练过程及其缓慢需要花费很长时间才能得到收敛解。容易陷入局部最优解由于是在有限视距内寻找下山的反向当陷入平坦的洼地会误以为到达了山地的最低点从而不会继续往下走。所谓的局部最优解就是鞍点落入鞍点梯度为0使得模型参数不在继续更新。3. 批量梯度下降 (BGD)BGD相对于标准GD进行了改进改进的地方通过它的名字应该也能看出来也就是不再是想标准GD一样对每个样本输入都进行参数更新而是针对一个批量的数据输入进行参数更新。我们假设批量训练样本总数为n样本为则在第i对样本上损失函数关于参数的梯度为则使用BGD更新参数为从上面的公式我们可以看到BGD其实是在一个批量的样本数据中求取该批量样本梯度的均值来更新参数即每次权值调整发生在批量样本输入之后而不是每输入一个样本就更新一次模型参数这样就会大大加快训练速度但是还是不够我们接着往下看。4. 随机梯度下降 (SGD)随机梯度下降法不像BGD每一次参数更新需要计算整个数据样本集的梯度而是每次参数更新时仅仅选取一个样本计算其梯度参数更新公式为公式看起来和上面标准GD一样但是注意了这里的样本是从批量中随机选取一个而标准GD是所有的输入样本都进行计算。可以看到BGD和SGD是两个极端SGD由于每次参数更新仅仅需要计算一个样本的梯度训练速度很快即使在样本量很大的情况下可能只需要其中一部分样本就能迭代到最优解由于每次迭代并不是都向着整体最优化方向导致梯度下降的波动非常大如下图更容易从一个局部最优跳到另一个局部最优准确度下降。论文中提到当缓慢降低学习率时SGD会显示与BGD相同的收敛行为几乎一定会收敛到局部非凸优化或全局最小值凸优化。SGD的优点虽然看起来SGD波动非常大会走很多弯路但是对梯度的要求很低计算梯度快而且对于引入噪声大量的理论和实践工作证明只要噪声不是特别大SGD都能很好地收敛。应用大型数据集时训练速度很快。比如每次从百万数据样本中取几百个数据点算一个SGD梯度更新一下模型参数。相比于标准梯度下降法的遍历全部样本每输入一个样本更新一次参数要快得多。SGD的缺点SGD在随机选择梯度的同时会引入噪声使得权值更新的方向不一定正确次要。SGD也没能单独克服局部最优解的问题主要。5. 小批量梯度下降MBGD也叫作SGD小批量梯度下降法就是结合BGD和SGD的折中对于含有n个训练样本的数据集每次参数更新选择一个大小为 m(mn) 的 mini-batch 数据样本计算其梯度其参数更新公式如下小批量梯度下降法即保证了训练的速度又能保证最后收敛的准确率目前的SGD默认是小批量梯度下降算法。常用的小批量尺寸范围在50到256之间但可能因不同的应用而异。MBGD的缺点Mini-batch gradient descent 不能保证很好的收敛性learning rate 如果选择的太小收敛速度会很慢如果太大loss function 就会在极小值处不停地震荡甚至偏离有一种措施是先设定大一点的学习率当两次迭代之间的变化低于某个阈值后就减小 learning rate不过这个阈值的设定需要提前写好这样的话就不能够适应数据集的特点。对于非凸函数还要避免陷于局部极小值处或者鞍点处因为鞍点所有维度的梯度都接近于0SGD 很容易被困在这里会在鞍点或者局部最小点震荡跳动因为在此点处如果是BGD的训练集全集带入则优化会停止不动如果是mini-batch或者SGD每次找到的梯度都是不同的就会发生震荡来回跳动。SGD对所有参数更新时应用同样的 learning rate如果我们的数据是稀疏的我们更希望对出现频率低的特征进行大一点的更新且learning rate会随着更新的次数逐渐变小。6. 动量momentum算法思想参数更新时在一定程度上保留之前更新的方向同时又利用当前batch的梯度微调最终的更新方向简言之就是通过积累之前的动量来加速当前的梯度。从这里开始我们引入一阶动量的概念在mini-batch SGD的基础之上也就是说在最开始说的框架中而不变参数更新公式如下一阶动量是各个时刻梯度方向的指数移动平均值约等于最近个时刻的梯度向量和的平均值移动平均是啥看最上面的文章。也就是说t时刻的下降方向不仅由当前点的梯度方向决定而且由此前累积的下降方向决定。的经验值为0.9这就意味着下降方向主要是此前累积的下降方向并略微偏向当前时刻的下降方向。在梯度方向改变时momentum能够降低参数更新速度从而减少震荡在梯度方向相同时momentum可以加速参数更新从而加速收敛如下图动量主要解决SGD的两个问题随机梯度的方法引入的噪声Hessian矩阵病态问题可以理解为SGD在收敛过程中和正确梯度相比来回摆动比较大的问题。7. Nesterov加速梯度NAG (Nesterov accelerated gradient) 算法是Momentum动量算法的变种。momentum保留了上一时刻的梯度对其没有进行任何改变NAG是momentum的改进在梯度更新时做一个矫正具体做法就是在当前的梯度上添加上一时刻的动量梯度改变为参数更新公式如下加上nesterov项后梯度在大的跳跃后进行计算对当前梯度进行校正。下图是momentum和nesterrov的对比表述图如下Nesterov动量梯度的计算在模型参数施加当前速度之后因此可以理解为往标准动量中添加了一个校正因子。在凸批量梯度的情况下Nesterov动量将额外误差收敛率从k步后改进到然而在随机梯度情况下Nesterov动量对收敛率的作用却不是很大。Momentum和Nexterov都是为了使梯度更新更灵活。但是人工设计的学习率总是有些生硬下面介绍几种自适应学习率的方法。8. AdagradAdagrad其实是对学习率进行了一个约束对于经常更新的参数我们已经积累了大量关于它的知识不希望被单个样本影响太大希望学习速率慢一些对于偶尔更新的参数我们了解的信息太少希望能从每个偶然出现的样本身上多学一些即学习速率大一些。而该方法中开始使用二阶动量才意味着“自适应学习率”优化算法时代的到来。我们前面都没有好好的讨论二阶动量二阶动量是个啥它是用来度量历史更新频率的二阶动量是迄今为止所有梯度值的平方和即在最上面的框架中在这里也就是说我们的学习率现在是一般为了避免分母为0会在分母上加一个小的平滑项从这里我们就会发现是恒大于0的而且参数更新越频繁二阶动量越大学习率就越小这一方法在稀疏数据场景下表现非常好参数更新公式如下细心的小伙伴应该会发现Adagrad还是存在一个很明显的缺点仍需要手工设置一个全局学习率如果设置过大的话会使regularizer过于敏感对梯度的调节太大中后期分母上梯度累加的平方和会越来越大使得参数更新量趋近于0使得训练提前结束无法学习9. Adadelta由于AdaGrad调整学习率变化过于激进我们考虑一个改变二阶动量计算方法的策略不累积全部历史梯度而只关注过去一段时间窗口的下降梯度即Adadelta只累加固定大小的项并且也不直接存储这些项仅仅是近似计算对应的平均值指数移动平均值这就避免了二阶动量持续累积、导致训练过程提前结束的问题了参数更新公式如下观察上面的参数更新公式我们发现还是依赖于全局学习率但是原作者在此基础之上做出了一定的处理上式经过牛顿迭代法之后得到Adadelta最终迭代公式如下式其中此时可以看出Adadelta已经不依赖全局learning rate了Adadelta有如下特点训练初中期加速效果不错很快训练后期反复在局部最小值附近抖动10. RMSpropRMSProp算法修改了AdaGrad的梯度平方和累加为指数加权的移动平均使得其在非凸设定下效果更好。设定参数全局初始率默认设为0.001decay rate默认设置为0.9一个极小的常量通常为参数更新公式如下其中其实RMSprop依然依赖于全局学习率RMSprop算是Adagrad的一种发展和Adadelta的变体效果趋于二者之间适合处理非平稳目标包括季节性和周期性——对于RNN效果很好11. 自适应却动量估计 (Adam)其实有了前面的方法Adam和Nadam的出现就很理所当然的了因为它们结合了前面方法的一阶动量和二阶动量。我们看到SGD-M和NAG在SGD基础上增加了一阶动量AdaGrad和AdaDelta在SGD基础上增加了二阶动量参数更新公式如下按照最开始总结的计算框架通常情况下默认值为、和Adam通常被认为对超参数的选择相当鲁棒特点如下Adam梯度经过偏置校正后每一次迭代学习率都有一个固定范围使得参数比较平稳结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点为不同的参数计算不同的自适应学习率也适用于大多非凸优化问题——适用于大数据集和高维空间。12. AdaMaxAdamax是Adam的一种变体此方法对学习率的上限提供了一个更简单的范围即使用无穷范式参数更新公式如下通常情况下默认值为、和13. Nadam其实如果说要集成所有方法的优点于一身的话Nadam应该就是了Adam遗漏了啥没错就是Nesterov项我们在Adam的基础上加上Nesterov项就是Nadam了参数更新公式如下可以看出Nadam对学习率有更强的约束同时对梯度的更新也有更直接的影响。一般而言在使用带动量的RMSprop或Adam的问题上使用Nadam可以取得更好的结果。来张直观的动态图展示上述优化算法的效果下图描述了在一个曲面上6种优化器的表现下图在一个存在鞍点的曲面比较6中优化器的性能表现下图图比较了6种优化器收敛到目标点五角星的运行过程14. 总结那种优化器最好该选择哪种优化算法目前还没能够达达成共识。Schaul et al (2014) 展示了许多优化算法在大量学习任务上极具价值的比较。虽然结果表明具有自适应学习率的优化器表现的很鲁棒不分伯仲但是没有哪种算法能够脱颖而出。目前最流行并且使用很高的优化器算法包括SGD、具有动量的SGD、RMSprop、具有动量的RMSProp、AdaDelta和Adam。在实际应用中选择哪种优化器应结合具体问题同时也优化器的选择也取决于使用者对优化器的熟悉程度比如参数的调节等等。对于稀疏数据尽量使用学习率可自适应的优化方法不用手动调节而且最好采用默认值SGD通常训练时间更长但是在好的初始化和学习率调度方案的情况下结果更可靠如果在意更快的收敛并且需要训练较深较复杂的网络时推荐使用学习率自适应的优化方法。AdadeltaRMSpropAdam是比较相近的算法在相似的情况下表现差不多。在想使用带动量的RMSprop或者Adam的地方大多可以使用Nadam取得更好的效果如果验证损失较长时间没有得到改善可以停止训练。添加梯度噪声高斯分布到参数更新可使网络对不良初始化更加健壮并有助于训练特别深而复杂的网络。参考文献收藏 | 各种 Optimizer 梯度下降优化算法回顾和总结