机器学习周报（RNN的梯度消失和LSTM缓解梯度消失公式推导）

摘要

在深度学习领域，循环神经网络（Recurrent Neural Network, RNN）被广泛应用于处理序列数据，特别是在自然语言处理、时间序列预测等任务中。然而，传统的RNN在长序列数据学习过程中容易出现梯度消失和梯度爆炸问题，使得模型难以捕捉长时间依赖性。梯度消失问题源于RNN的反向传播算法中，多次矩阵相乘导致梯度指数级衰减，从而影响模型性能。为解决这一问题，长短期记忆网络（Long Short-Term Memory, LSTM）应运而生。LSTM通过设计特殊的门结构（输入门、遗忘门和输出门）以及引入细胞状态的传播，有效缓解了梯度消失现象。本文推导了RNN梯度消失的数学公式，并详细说明了LSTM如何利用门结构保持梯度稳定性，从而捕捉长时间依赖。

Abstract

Recurrent Neural Networks (RNNs) are widely used in deep learning for handling sequential data, particularly in tasks such as natural language processing and time series forecasting. However, traditional RNNs often encounter the vanishing and exploding gradient problem when learning from long sequences, which hinders their ability to capture long-term dependencies. The vanishing gradient problem arises in RNNs due to multiple matrix multiplications during backpropagation, causing exponential decay of gradients and impacting model performance. To address this issue, Long Short-Term Memory (LSTM) networks were developed. LSTM alleviates gradient vanishing by introducing specially designed gate structures—input gate, forget gate, and output gate—along with a cell state that propagates through time. This paper derives the mathematical basis for the vanishing gradient in RNNs and explains how LSTM leverages gate structures to maintain gradient stability, enabling the model to capture long-term dependencies effectively.

1 RNN的梯度消失问题

• RNN的缺点

当序列太长时，容易产生梯度消失，参数更新只能捕捉到局部以来关系，没法再捕捉序列之间长期的关联或依赖关系。

如图为RNN连接，输入x，输出o（简单线性输出），权重w，s为生成状态。

根据前向传播可得：

假设使用平方误差作为损失函数，对单个时间点进行求梯度，假设再t=3时刻，损失函数为$L_3=\frac{1}{2}(Y_3-O_3{)}^2$,然后根据网络参数Wx，Ws，Wo，b1，b2等求梯度。

• $W_o$求梯度得：

• $W_x$求梯度得：

具体求解过程：首先，所求目标为$L_3$对$W_x$的偏导，通过链式法则进行展开。对比前向传播公式图可知，$O_3$中并不能直接对$W_x$求偏导，而是包含在$S_3$中，所以要展开成如下形式。

但在$S_3$中又包含$S_2$，$S_2$中包含$W_x$和$S_1$，$S_1$中又包含$W_x$，嵌套了很多层，为了方便表示，我们用${\theta }_3$来表示$S_3$括号中的内容。进一步简化可得：

由$S_3$演变为$S_2$，同理可递推求出$\frac{\partial S_2}{\partial W_x}$和$\frac{\partial S_1}{\partial W_x}$

梯度的更新同时依赖于x3，x2,x1包括其梯度值。

此为t=3时刻的梯度公式，推广至任意时刻的梯度公式为：

此式括号中的项为求导的连乘，此处求出的导数是介于0-1之间的，有一定的机率导致梯度消失（但非主要原因）。
造成梯度消失和梯度爆炸的主要原因是最后一项：当$W_s$很小的时候，它的k-1的次方会无限接近于0，而当$W_s$大于1时，它的k-1次方会很大。

如下为t=20时梯度更新计算的结果：

从式中可以看出，t=3的节点由于连乘过多导致梯度消失(t=3时的信息，$x_3$所乘的$W_s^{17}$由于$W_s$介于0，1之间，已经非常接近于0)，无法将信息传给t=20，因此t=20的更新无法引入t=3时的信息，认为t=20节点跟t=3的节点无关联。

对于梯度爆炸和梯度消失，可以通过梯度修剪来解决。相对于梯度爆炸，梯度消失更难解决。而LSTM很好的解决了这些问题。

2 LSTM缓解梯度消失

此过程为公式推导（以求$W_{xf}$为例）

故得$\frac{\partial L_1}{\partial W_{xf}}$

其中$\frac{\partial C_t}{\partial C_{t-1}}$

通过调节$W_{hf}$，$W_{hi}$，$W_{hg}$的值，可以灵活控制$C_t$对$C_{t-1}$的偏导值，当要从n时刻长期记忆某个东西到m时刻时，该路径上的${\prod }_{t=n}^m\frac{\partial C_t}{\partial C_{t-1}}$$\approx$ 1×1×1…×1=1从而大大缓解了梯度消失。

总结

传统RNN在处理长序列数据时，由于重复矩阵相乘使梯度呈指数级衰减，导致梯度消失问题。为此，RNN模型难以学习序列中远距离位置的依赖信息。通过对RNN的梯度推导可以看出，当模型深度较大时，梯度逐渐趋向于零，最终导致模型无法学习有效特征。LSTM网络通过引入细胞状态和多个门控机制来缓解这一问题。细胞状态在序列传递中起到信息通路的作用，门控机制则控制信息的增删过程，使得梯度的传递得以有效保留。通过这样的设计，LSTM能够在长序列任务中稳定地传递梯度，从而有效捕捉长时间依赖关系。