RNN、LSTM 与 Bi-LSTM

一. RNN

循环神经网络（Recurrent Neural Network, RNN）是深度学习领域一类具有内部自连接的神经网络能够学习复杂的矢量到矢量的映射。
最大特点：前面的序列数据可以用作后面的结果预测中。
一个简单的循环神经网络结构，其结构包含三部分，分别为输入层、隐藏层和输出层。

1. 这是一个神经元：
   
   输入x、a，经过变换，我们可以得到 y= K1x+K2a+b
2. 如果在多一点呢？？
   
   如此，我们可以得到a1、y1；ai、yi。
3. 那如何简便代表呢？？
   
   现在你就学会了RNN结构。

普通的RNN有以下局限性：

• 前面序列信息在传递到后部的同时，信息权重下降，导致重要信息丢失。
• 求解过程中梯度消失/爆炸

梯度消失：
是指在深度神经网络中，当进行反向传播算法计算梯度时，梯度值随着网络层数的增加而迅速减小，最终变得非常接近于零。
这意味着网络的权重更新非常小，导致学习过程几乎停滞。影响：1. ）学习速度慢：由于梯度非常小，权重更新几乎停滞，网络很难学习到有效的特征。2. ）难以训练深层网络：深层网络更容易受到梯度消失的影响，因为每一层的梯度都会乘以前一层的梯度，这会导致最终的梯度非常小。梯度爆炸：
是指在深度神经网络中，梯度在反向传播过程中随着网络层数的增加而迅速增大，最终导致数值溢出或非常大的梯度值，
使得权重更新过大，网络权重变得不稳定。影响：1. ）权重更新过大：梯度值过大导致权重更新过大，这可能会使网络权重迅速偏离最优值，导致学习过程不稳定。2. ）数值稳定性问题：梯度值过大可能导致数值溢出，即计算机无法表示的数值，这会直接导致训练过程失败。

我们引入了新的LSTM网络

二. LSTM

三. Bi-LSTM