补充：关于GRU的详细运作原理以及特殊的优化思路

1. GRU的基本结构和运作原理

1.1 GRU的基本概念

Gated Recurrent Unit (GRU) 是一种简化版的循环神经网络 (RNN)，它通过引入门控机制来解决长期依赖问题，同时减少参数数量以降低计算复杂度。

1.2 GRU的结构详解

GRU 包含两个门控机制：更新门 (update gate) 和重置门 (reset gate)。

• 重置门 (r_t): 控制当前时刻的输入与前一时刻的状态如何混合。
• 更新门 (z_t): 控制多少旧状态信息被保留到下一个状态。

这些门控信号是通过 sigmoid 函数生成的，值域在 [0, 1] 之间。

1.3 公式详解

1. 重置门: $r_t=\sigma (W_r{x}_t+U_r{h}_{t-1}+b_r)$
2. 更新门: $z_t=\sigma (W_z{x}_t+U_z{h}_{t-1}+b_z)$
3. 候选隐藏状态: h ~ t = tanh ⁡ ( W h x t + U h ( r t ∘ h t − 1 ) + b h ) \tilde{h}_t = \tanh(W_h x_t + U_h (r_t \circ h_{t-1}) + b_h) h~t​=tanh(W