当前位置：首页 > news >正文

循环神经网络三

news 文章来源：https://blog.csdn.net/m0_73426548/article/details/141054523 2025/5/18 4:06:33

一.介绍

在普通的神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，单在一定程度上也减弱了神经网络模型的能力。特别是在现实生活中，网络的输出不仅和当前时刻的输入相关，也过去一段时间的输出相关。此外，普通网络难以处理时序任务，比如语言，视频，文本等等，时序数据的长度一般是不固定的，而前馈神经网络要求和输出的维数都是固定的，不能任意改变。所以处理这一类时序相关的问题时，需要一种能力更强的模型

循环神经网络（Recurrent Neural Network，RNN ）是一类具有短期记忆的神经网络。在循环神经网络中，神经元不仅可以接收其他神经元的信息，还可以接收自身的信息，形成具有环路的网络结构。

可以看到RNN比传统的审计网络多了一个循环，这个循环表示在下一个时间步上会返回作为输入的一部分，把RNN时间点展开就是：

就是在t_0时刻x_0输入后返回h_0的同时将h_0当成输入和下一个时间点的x_1一起输入，如此反复

或者是：当x_t-1输入后返回的结果h_t-1和x_t一起当作输入后通过tanh计算后输出h_t同时向下一个时间点输入h_t

在不同的时间步中，RNN的输入都与之前的时间状态有关，t_n时刻网络的输出和之前的所有历史共同作用的结果。

图1：固定长度的输入和输出，比如图像分类

图2：序列输入，输入一个数据，逐渐分析结果，比如图像转文字

图3：数列输入，输入一些数据，总结后得出结果，比如文本分类

图4：异步的序列输入和输出，比如文本翻译

图5：同步的序列输入和输出，比如根据视频的每一帧来对视频分类

二.LSTM

1.LSTM的基础介绍

假如现在有一个文本预测，比如天上的云朵漂浮在__，通过间隔不愿的位置可以预测到答案是天上。但是对于有些句子，答案可能在很远的位置，间隔非常大，随着间隔的增大对于RNN来说，效果就不怎么好了。而LSTM（Long Short-Term Memory）可以解决这个问题，LSTM是RNN的一种特殊类型，可以长期依赖信息，而RNN只能短期的依赖。