GRU神经网络理解

全文参考以下B站视频及《神经网络与深度学习》邱锡鹏，侧重对GPU模型的理解，初学者入门自用记录，有问题请指正【重温经典】GRU循环神经网络 —— LSTM的轻量级版本，大白话讲解_哔哩哔哩_bilibili

更新门、重置门、学习与输出

注：一般来说， 是在时间步 t 上的数值特征集合，比如股价预测模型中， 是时刻股价

这里为了理解，假设是已有课程的学习笔记，表明我们要学习机器学习这一课程

= 【高数，线代，概率论，音乐欣赏，Python编程】

 = 【机器学习】

1.重置门：控制筛选，判断哪些是对于机器学习有用的笔记，参与本轮学习

高数、线代、概率论、Python编程与机器学习相关性较强，而音乐欣赏与之无关

故 = 【0.5,0.9,0.6,0,1.0】，这个向量表示对机器学习的有用程度，之后与相乘进行筛选

2.更新门：哪些内容是有用的需要保留到未来

= 【高数，线代，概率论，音乐欣赏，Python编程

 = 【1,1,1,0,1】

我的理解（不知道对不对）：重置门和更新门的计算方式类似，但神经网络训练参数不同。用处也不同，重置门用于参与本轮的学习，更新门用于判断哪些信息需要保留到未来。

3.学习

（1）与对应相乘，即

 = 【0.5,0.9,0.6,0,1.0】

= 【高数，线代，概率论，音乐欣赏，Python编程】

 = 【0.5高数，0.9线代，0.6概率论，0，Python编程】

（2）加入，即

【0.5高数，0.9线代，0.6概率论，机器学习，Python编程】

（3）tanh相当于对以上笔记进行学习，学习的结果笔记用表示

 = 【微积分，矩阵乘法，假设检验，决策树，Python】

4.输出

对于学习后的结果与之前的笔记具有重复性，所以需要删除重复内容。删除的依据就是，即删除已确定有用的笔记。再与确定有用的笔记进行向量拼接。

=【高数，线代，概率论，音乐欣赏，Python编程】

 = 【1,1,1,0,1】

 = 【高数，线代，概率论，0，Python编程】

 = 【微积分，矩阵乘法，假设检验，决策树，Python】

 = 【0,0,0,1,0】

 =  【0,0,0，决策树，0】

向量拼接

最终结果=【高数，线代，概率论，决策树，Python】