Adadelta一个拒绝手动设置学习率的优化算法

为什么需要 Adadelta在深度学习的优化算法演化史中每一个新方法的诞生都是为了修补前一个的伤口。Adadelta出现于 2012 年作者 Matthew Zeiler 发表在 arXiv 的一篇论文里它的诞生动机非常明确——修复Adagrad的两个致命缺陷。Adagrad 的核心思想是对每个参数维护一个历史梯度平方的累积用它来自适应地缩放学习率。频繁更新的参数获得更小的学习率稀疏参数获得更大的学习率——这在 NLP 等稀疏场景中表现优秀。Adagrad 的问题在于梯度平方是单调累积的学习率只减不增训练到后期几乎停滞。更深一层Adagrad 仍然需要手动设置全局学习率η而这个超参数对训练结果极为敏感。Adadelta 的目标是同时解决这两个问题。算法的两个核心思想思想一用指数衰减窗口替代全量累积不积累所有历史梯度而是用**指数移动平均EMA**来近似一个滑动窗口内的梯度均方值E[g2]tρ⋅E[g2]t−1(1−ρ)⋅gt2E[g^2]_t \rho \cdot E[g^2]_{t-1} (1 - \rho) \cdot g_t^2E[g2]t​ρ⋅E[g2]t−1​(1−ρ)⋅gt2​RMS[g]tE[g2]tε\text{RMS}[g]_t \sqrt{E[g^2]_t \varepsilon}RMS[g]t​E[g2]t​ε​衰减系数ρ通常取 0.95决定了历史记忆的长度。当ρ 0.95时大约 20 步之前的梯度信息权重已衰减到不足 35%有效抑制了历史梯度的过度积累。下图展示了 Adagrad 与 Adadelta 对历史梯度权重分配的本质差异图1每行代表过去第 t 步的梯度对当前 E[g²] 的贡献权重。Adagrad 所有历史步贡献接近均等Adadelta 近期步权重远高于远古步实现了自然的遗忘。思想二用参数更新量的 RMS 替代全局学习率这是 Adadelta 最精妙的地方。Zeiler 做了一个单位分析Units Analysis量单位参数x[units]损失Lscalar梯度g ∂L/∂x1/[units]普通更新η·g1/[units]与 x 不匹配Adadelta 更新RMS[Δx]/RMS[g]·g[units]单位自洽 ✓因此用历史参数更新量的均方根来替代全局学习率Δxt−RMS[Δx]t−1RMS[g]t⋅gt\Delta x_t -\frac{\text{RMS}[\Delta x]_{t-1}}{\text{RMS}[g]_t} \cdot g_tΔxt​−RMS[g]t​RMS[Δx]t−1​​⋅gt​E[Δx2]tρ⋅E[Δx2]t−1(1−ρ)⋅Δxt2E[\Delta x^2]_t \rho \cdot E[\Delta x^2]_{t-1} (1-\rho) \cdot \Delta x_t^2E[Δx2]t​ρ⋅E[Δx2]t−1​(1−ρ)⋅Δxt2​这样算法完全不需要手动指定学习率。完整算法流程每一次迭代Adadelta 按以下五步执行图2五个步骤的依赖关系一目了然。步骤③是核心分子分母都是 RMS 形式保证了单位自洽。用 Python 伪代码表示如下# 初始化一次性E_g2zeros_like(x)# 梯度均方的 EMAE_dx2zeros_like(x)# 更新量均方的 EMAeps1e-6# 每步迭代gcompute_gradient(x)# ① 计算梯度E_g2rho*E_g2(1-rho)*g**2# ② 更新梯度 EMARMS_gsqrt(E_g2eps)# ③ 计算梯度 RMSdelta_x-sqrt(E_dx2eps)/RMS_g*g# ④ 计算更新量无需学习率E_dx2rho*E_dx2(1-rho)*delta_x**2# ⑤ 更新更新量 EMAxxdelta_x# ⑥ 应用在椭圆形损失面上的收敛行为一个经典测试场景是椭圆形碗形损失函数L(x,y)(x/3)2y2L(x, y) (x/3)^2 y^2L(x,y)(x/3)2y2。这个函数在 x 轴方向宽在 y 轴方向窄代表参数曲率各向异性的真实情况SGD在宽方向步子过大会沿 y 轴方向剧烈震荡Adagrad初期表现适当但随着梯度平方累积后期几乎停滞Adadelta自动适配各维度曲率稳定收敛。图3起点均为 (−4, 1.5)★ 表示最终位置■ 表示起点。红色 SGD 路径震荡明显蓝色 Adagrad 中途近乎停止绿色 Adadelta 沿较直路径稳步收敛至最优点。超参数详解Adadelta 只有两个超参数且均不敏感这是其最大优势之一超参数典型值作用敏感度ρ(rho)0.90 ~ 0.95指数衰减系数控制历史梯度的记忆长度。越大窗口越长越平滑。低ε(epsilon)1e-6 ~ 1e-8防止分母为零的数值稳定项。对结果影响极小。极低学习率—无需设置这正是 Adadelta 的核心创新。不存在ρ的物理含义在ρ 0.95时有效历史窗口长度约为1/(1−ρ)201/(1-\rho) 201/(1−ρ)20步。100 步之前的梯度权重约为0.95100≈0.0060.95^{100} \approx 0.0060.95100≈0.006近乎被遗忘。下图展示了不同ρ值对有效窗口和权重衰减速度的影响图4左ρ 越大有效窗口 1/(1−ρ) 越长算法记忆越长右不同 ρ 下历史梯度权重的衰减速率对比。与其他优化器的横向比较算法需要学习率历史梯度适用场景主要缺陷SGD✗ 必须设置无通用配合 momentum调参困难各向异性差Adagrad✗ 必须设置全量累积稀疏特征NLP学习率单调递减RMSProp✗ 必须设置指数衰减RNN / 非平稳仍需手设学习率Adadelta✓ 无需设置指数衰减通用免调参后期收敛精度弱于 AdamAdam✗ 必须设置一阶 二阶矩当前最广泛使用泛化有时弱于 SGDmomentum算法演化脉络Adagrad → Adadelta → RMSProp → Adam每一步都是对前者缺陷的精确回应。在 PyTorch 中使用PyTorch 内置了 Adadelta接口极为简洁importtorch.optimasoptim optimizeroptim.Adadelta(model.parameters(),rho0.9,# 衰减系数默认 0.9eps1e-6,# 数值稳定项默认 1e-6weight_decay0# L2 正则项可选)# 训练循环与普通优化器完全一致forbatchindataloader:optimizer.zero_grad()losscriterion(model(batch[0]),batch[1])loss.backward()optimizer.step()实用建议在需要快速验证一个新架构时Adadelta 是非常好的选择——你不需要花时间调学习率可以把精力放在模型设计上。当模型验证可行后再切换到 Adam 或 AdamW 做精调往往能获得更好的最终精度。总结Adadelta 是深度学习优化算法演进链条中的一个重要节点它提出了两个至今仍影响深远的思想指数衰减均方替代全量累积——被 RMSProp 和 Adam 继承成为现代自适应优化器的标配单位自洽的无学习率更新——一个极为优雅的理论贡献从根本上消除了对全局学习率的依赖。虽然在今天的工程实践中Adam 已经取代了 Adadelta 的位置但理解 Adadelta 对于深刻掌握自适应学习率的本质非常有价值。理解它就理解了 Adam 为何有效的一半。算法的演化是一部解题史每个优化器都是对上一个缺陷的精确回应。参考资料Zeiler, M. D. (2012).ADADELTA: An Adaptive Learning Rate Method. arXiv:1212.5701Duchi, J., Hazan, E., Singer, Y. (2011).Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. JMLR.Ruder, S. (2016).An overview of gradient descent optimization algorithms. arXiv:1609.04747深度学习优化算法系列 · 标签Adadelta梯度下降自适应学习率PyTorch