【漫话机器学习系列】064.梯度下降小口诀（Gradient Descent rule of thume）

梯度下降小口诀

为了帮助记忆梯度下降的核心原理和关键注意事项，可以用以下简单口诀来总结：

---

1. 基本原理

• 损失递减，梯度为引：目标是让损失函数减少，依靠梯度指引方向。
• 负梯度，反向最短：沿着负梯度方向走是最快的下降路径。

---

2. 学习率选择

• 学习率，大不过天：学习率不能过大，否则容易跳过最优解。
• 学习率，小不能挪：学习率太小，会导致收敛速度太慢。

---

3. 防止问题

• 梯度消失，用 ReLU：为了解决梯度消失问题，可以使用合适的激活函数（如 ReLU）。
• 梯度爆炸，加归一：梯度爆炸时，可通过梯度裁剪或归一化处理。

---

4. 优化策略

• 批量小，收敛快：小批量（Mini-Batch）训练可以加速收敛。
• 动量法，加速度：动量优化能加速梯度下降并减少震荡。
• Adam 优，快又稳：使用 Adam 优化器，适应性强，收敛效果好。

---

5. 实践检查

• 损失降，效果见：实时监控损失值，确保其逐步下降。
• 迭代停，早收敛：引入提前停止机制，避免过拟合。

---

口诀示例

“梯度为引，反向最短，步步递减到低谷；步长调好，归一保稳，优化选择稳又快。”

通过掌握这些口诀，能帮助开发者更好地理解梯度下降的工作原理并有效避免常见问题。