深度学习GRU模型原理

一、介绍

门控循环单元（Gated Recurrent Unit, GRU） 是一种改进的循环神经网络（RNN），专为解决传统RNN的长期依赖问题（梯度消失/爆炸）而设计。其核心是通过门控机制动态控制信息的流动。与LSTM相比：

1. 引入更新门和重置门，替代LSTM的复杂三门结构
2. 参数更少，计算效率更高，但性能与LSTM相当

二、公式详解 

1.更新门

用于控制历史信息保留和新信息吸收程度，将前一刻隐藏状态ht-1和当前输入xt拼接，然后乘以更新门权重Wz，加上偏置值，最后把这些放到sigmoid函数中。

当Zt靠近1的时候，就保留历史状态；靠近0的时候就采用新状态（候选隐藏状态）。

2.重置门

重置门决定丢弃多少历史数据。

• 关键作用：
  • 若rt​≈1，保留完整历史信息用于生成h~t
  • 若rt​≈0，候选状态h~th~t​将忽略ht−1​，仅依赖当前输入xt

3.候选隐藏状态 

生成潜在的新状态，结合重置门过滤后的历史信息。

• rt​⊙ht−1​：重置门对历史信息的选择性过滤
• tanh⁡：将输出压缩到[−1,1]，增强非线性表达能力

rt⊙ht−1的整体含义是：通过重置门rt对上一个隐藏状态ht−1进行调节，选择性地遗忘或保留部分信息。具体来说，如果rt中的某个元素接近0，对应的ht−1中的信息会被抑制；如果接近1，则保留该部分信息。

4.最终隐藏状态 

混合旧状态与候选状态，完成信息更新

• zt​决定了新旧状态的加权平均比例
• 若zt=0.2，则保留80%旧状态，添加20%新候选状态

三、与LSTM对比