长短期记忆网络LSTM

视频链接

1.LSTM与RNN的区别

RNN想把所有信息都记住，不管是有用的信息还是没用的信息，并且有梯度爆炸或者梯度消失的问题
而LSTM设计了一个记忆细胞，具备选择记忆功能，可以选择记忆重要信息，过滤掉噪声信息，减轻记忆负担。

2. 前向传播的过程

2.1对比RNN

2.2 单元结构

符号解释：
$C_{t-1}$表示t-1时刻的记忆细胞
$h_{t-1}$表示t-1时刻的隐藏层状态
$sigmoid$门单元
$f_t$遗忘门
$i_t$更新门
$o_t$输出门

在LSTM的每个时间步里面，都有一个记忆cell，这个东西给予了LSTM选择记忆功能，使得LSTM有能力自由选择每个时间步里面记忆的内容

2.3 结合例子理解LSTM单元结构

场景：期末考试周（高数→线性代数）
输入$X_t$：线性代数
输出$h_t$：高分
遗忘门：遗忘高数积累的记忆$C_{t-1}$
更新门：选择性的提取有用的线性代数知识，然后结合高数保留下来的数学运算能力
输出门：把没考的知识丢掉
$tanh$：把记忆的知识$C_t$转为答题解题的能力

4. LSTM如何缓解梯度消失

4.1 RNN梯度消失回顾

4.2LSTM反向传播

假设：$t=3$，即从左到右的输出分别是$y_1$、$y_2$、$y_3$