多特征变量序列预测(四) Transformer-BiLSTM风速预测模型

往期精彩内容：

时序预测：LSTM、ARIMA、Holt-Winters、SARIMA模型的分析与比较

全是干货 | 数据集、学习资料、建模资源分享！

EMD、EEMD、FEEMD、CEEMD、CEEMDAN的区别、原理和Python实现（一）EMD-CSDN博客

EMD、EEMD、FEEMD、CEEMD、CEEMDAN的区别、原理和Python实现（二）EEMD

EMD、EEMD、FEEMD、CEEMD、CEEMDAN的区别、原理和Python实现（三）FEEMD-CSDN博客

EMD、EEMD、FEEMD、CEEMD、CEEMDAN的区别、原理和Python实现（四）CEEMD-CSDN博客

EMD变体分解效果最好算法——CEEMDAN（五）-CSDN博客

拒绝信息泄露！VMD滚动分解 + Informer-BiLSTM并行预测模型-CSDN博客

风速预测（一）数据集介绍和预处理_风速数据在哪里下载-CSDN博客

风速预测（二）基于Pytorch的EMD-LSTM模型-CSDN博客

风速预测（三）EMD-LSTM-Attention模型-CSDN博客

风速预测（四）基于Pytorch的EMD-Transformer模型-CSDN博客

风速预测（五）基于Pytorch的EMD-CNN-LSTM模型-CSDN博客

风速预测（六）基于Pytorch的EMD-CNN-GRU并行模型-CSDN博客

单步预测-风速预测模型代码全家桶-CSDN博客

CEEMDAN +组合预测模型(BiLSTM-Attention + ARIMA)-CSDN博客

CEEMDAN +组合预测模型(Transformer - BiLSTM + ARIMA)-CSDN博客

CEEMDAN +组合预测模型(CNN-LSTM + ARIMA)-CSDN博客

CEEMDAN +组合预测模型(CNN-Transformer + ARIMA)-CSDN博客

多特征变量序列预测(一)——CNN-LSTM风速预测模型-CSDN博客

多特征变量序列预测(二)——CNN-LSTM-Attention风速预测模型-CSDN博客

多特征变量序列预测(三)——CNN-Transformer风速预测模型-CSDN博客

前言

本文基于前期介绍的风速数据（文末附数据集），介绍一种多特征变量序列预测模型Transformer + BiLSTM，以提高时间序列数据的预测性能。该数据集一共有天气、温度、湿度、气压、风速等九个变量，通过滑动窗口制作数据集，利用多变量来预测风速。

风速数据集的详细介绍可以参考下文：

风速预测（一）数据集介绍和预处理_垂直风速气象数据源-CSDN博客

1 多特征变量数据集制作与预处理

1.1 导入数据

1.2 数据集制作与预处理

先划分数据集，按照9：1划分训练集和测试集

制作数据集

2 基于Pytorch的Transformer + BiLSTM 预测模型

2.1 定义Transformer + BiLSTM预测模型

注意：输入风速数据形状为 [256, 7, 8]， batch_size=256，7代表序列长度（滑动窗口取值）,  维度8维代表挑选的8个变量。

2.2 设置参数，训练模型

50个epoch，MSE 为0.00084517，多变量特征Transformer-BiLSTM预测效果良好，适当调整模型参数，还可以进一步提高模型预测表现。

注意调整参数：

• 可以适当增加Transformer层数和隐藏层的维度，微调学习率；

• 调整BiLSTM层数和维度数，增加更多的 epoch （注意防止过拟合）

• 可以改变滑动窗口长度（设置合适的窗口长度）

3 模型评估与可视化

3.1 结果可视化

3.2 模型评估

4 代码、数据整理如下：