常用时序模型

常用时序模型

RNN (Recurrent Neural Network):

• 基本概念: RNN是一种可以处理序列数据的神经网络。它在每一时间步都接收一个新的输入，并将前一个时间步的隐藏状态作为额外的输入。
• 问题: 它的主要问题是在处理长序列时遇到的梯度消失和梯度爆炸。这使得RNN难以捕获长期依赖关系。

GRU (Gated Recurrent Unit):

• 基本概念: GRU是RNN的一种变体，它引入了重置门和更新门来控制信息的流动。
• 门机制:
  • 重置门: 决定了如何将新的输入与前一个隐藏状态组合。
  • 更新门: 决定了隐藏状态应该在多大程度上保留之前的值。
• 优点: GRU可以在某种程度上缓解RNN的梯度消失问题，使其能够捕获更长的依赖关系。

LSTM (Long Short-Term Memory):

• 基本概念: LSTM也是RNN的一种变体，专门设计来避免长期依赖问题。
• 门机制:
  • 遗忘门: 决定了单元状态应该在多大程度上忘记之前的值。
  • 输入门: 决定了如何更新单元状态。
  • 输出门: 根据单元状态决定隐藏状态的值。
• 优点: 与GRU相比，LSTM有更多的参数和更复杂的结构，但在某些任务中它