RNN神经网络初探

1. 神经网络与未来智能

2. 回顾数据维度和神经网络

循环神经网络，主要用来处理时序的数据，它对每个词的顺序是有要求的。

循环神经网络如何保存记忆功能？

当前样本只有 3 个特征，即 $x_1$、 $x_2$、 $x_3$、

上图中，第一个神经元 $h_0$，一次只读了一个词 $x_1$。由于是第一个，那么 $h_0$ 可以理解为应该是 0，然后求 $h_1$

然后中间的图，读取第二个词 $x_2$，

在第三个神经元中可以看出，output=fn(w3x3+u3h2)，可以看出，神经元 $h_2$，不仅受当前特征 $x_3$ 的影响，还受第一个特征 $x_1$ 和第二个特征 $x_2$ 的影响，这就是我们所说的 记忆功能。

动图如下：