【论文笔记合集】LSTNet之循环跳跃连接

本文作者： slience_me

---

LSTNet 循环跳跃连接

文章仅作为个人笔记
论文链接

文章原文

LSTNet [25] introduces convolutional neural networks (CNNs) with recurrent-skip
connections to capture the short-term and long-term temporal patterns.
LSTNet [25]引入了具有循环跳跃连接的卷积神经网络（CNN）来捕获短期和长期的时间模式。

这句话提到了LSTNet，它是一种用于时间序列预测的方法。LSTNet引入了卷积神经网络（CNNs）和递归跳跃连接（recurrent-skip connections），以捕捉时间序列数据中的短期和长期时间模式。

具体来说，LSTNet使用了卷积神经网络来处理时间序列数据，这使得模型能够有效地捕捉数据中的局部模式和趋势。卷积层在时间维度上进行滑动窗口的操作，从而可以识别数据中的局部特征。

此外，LSTNet还引入了递归跳跃连接，这是一种从当前时间步向前或向后跳跃的连接方式，以便模型可以在预测时考虑到更长的时间跨度。这种连接方式有助于模型捕捉到时间序列中的长期依赖关系和趋势。

通过结合卷积神经网络和递归跳跃连接，LSTNet能够有效地捕捉时间序列数据中的短期和长期时间模式，从而提高了模型的预测性能。

---

递归跳跃连接是一种连接方式，它在神经网络中的不同层之间建立起直接的跳跃连接，从而使得信息能够更快速地传递和跨越多个时间步。这种连接方式有助于捕捉到时间序列中的长期依赖关系和趋势。

举个例子，假设我们有一个时间序列预测的神经网络模型，其中包含了多个循环层（recurrent layers）。每个循环层都会接收上一个时间步的隐藏状态，并根据当前时间步的输入和上一个时间步的隐藏状态来生成当前时间步的输出和隐藏状态。

在这种情况下，递归跳跃连接可以是指在不同循环层之间建立直接的连接，使得信息可以更快速地跨越多个时间步。例如，第一个循环层的隐藏状态可以直接传递到第三个循环层，而不是只传递到下一个循环层。这样，模型就可以在更远的时间步上考虑到更长期的依赖关系，而不受中间循环层的限制。

递归跳跃连接的存在可以提高模型对时间序列数据的理解和预测能力，特别是在处理长期依赖关系和趋势方面。