当前位置: 首页 > news >正文

牛了,LSTM+Transformer王炸结合创新,荣登Nature,精度高达95.65%

【LSTM结合Transformer】的研究方向探索了如何利用Transformer模型处理序列数据的能力以及LSTM在捕捉时间序列依赖性方面的优势。这一方向的意义在于通过融合两种模型的特点,提高了对复杂时空数据的预测准确性,尤其是在智能电网攻击检测、多变量时间序列预测和时空预测等领域。研究结果表明,这种混合模型能够有效地捕捉数据中的时空特征,增强了模型对长期依赖关系的学习能力,并在多个数据集上实现了性能上的提升。近年来,无数的研究者们对LSTM结合Transformer这个领域的进行了大量研究,并产出了大量的学术成果。

这种策略结合了两者的优势,在各种序列分析任务中实现了更精确的预测、更好的性能表现、更高的训练效率。比如登上Nature子刊的最新混合架构,以及精度高达95.65%的BiLSTM-Transformer。

为了帮助大家全面掌握【LSTM结合Transformer】的方法并寻找创新点,本文总结了最近两年【LSTM结合Transformer】相关的16篇前沿研究成果,这些论文、来源、论文的代码都整理好了,希望能给各位的学术研究提供新的思路。

需要的同学扫码添加我

回复“LSTM16”即可全部领取

图片

1、XTM: A Novel Transformer and LSTM-Based Model for Detection and Localization of Formally Verified FDI Attack in Smart Grid

方法:

- 该论文提出了一种名为XTM的新型混合深度学习模型,用于实时检测和定位智能电网中的虚假数据注入(FDI)攻击。

- XTM模型结合了变换器(Transformer)和长短期记忆网络(LSTM),是首个在该研究领域探索变换器性能的混合深度学习模型。

- 论文首先引入了一种新的阈值选择方案,以检测FDI的存在,取代了传统的坏数据检测(BDD)算法。

- 接着,使用多标签分类方法定位攻击的确切入侵点。

- 为了操纵数据集,使用了基于正式验证的约束满足攻击向量模型。

- 在IEEE-14总线系统中,考虑了电力系统的时序特性,使用小时和分钟级的传感器数据来训练和评估所提出的模型,实现了接近100%的检测准确率。

- 还评估了位置检测模块的行准确率(RACC),对于小时和分钟级数据集,值分别为92.99%和99.99%。

创新点

- 混合模型架构:XTM是首个将变换器和LSTM结合用于FDI攻击检测的模型,利用了变换器在处理序列数据方面的优势。

- 实时监测与预测:XTM能够实时预测传感器测量值,独立于系统参数,使其能够有效地作为电网入侵时的FDI攻击缓解工具。

- 阈值选择方案:提出了一种新的阈值选择方案,提高了对FDI攻击存在性的检测准确性,取代了传统的BDD方法。

- 多标签分类定位:使用多标签分类方法来确定攻击的确切位置,这种方法在检测攻击位置方面提供了更高的灵活性和准确性。

- 数据集和攻击向量的公开:论文提供了详细的数据集和攻击向量描述,并将它们公开在GitHub上,促进了研究社区的进一步研究和模型验证。

- 高准确率:在IEEE-14总线系统上进行的测试显示,XTM模型在检测FDI攻击及其位置方面,相比文献中提到的其他深度学习方法,展现出了更高的性能。

- 考虑时序特性:模型训练和评估考虑了电力系统的小时级和分钟级数据,增强了模型对实时数据的适应性和准确性。

图片

2、SwinLSTM: Improving Spatiotemporal Prediction Accuracy using Swin Transformer and LSTM

方法:

- 该论文提出了一种新的循环单元SwinLSTM,用于提高时空预测的准确性。

- SwinLSTM结合了Swin Transformer模块和简化版的LSTM,替代了ConvLSTM中的卷积结构,引入自注意力机制。

- 论文构建了一个以SwinLSTM单元为核心的网络架构,用于时空预测任务。

- 该架构首先将输入图像分割成一系列图像块,然后将这些图像块展平并输入到嵌入层。

- SwinLSTM层接收嵌入后的图像块或前一层(Patch Merging或Patch Expanding)转换后的隐藏状态,并结合前一时间步的细胞和隐藏状态来提取时空表示。

- 最后,重建层将时空表示解码生成下一帧。

创新点

- SwinLSTM单元:提出了一种新的循环单元,有效结合了Swin Transformer的全局空间建模能力和LSTM的时间序列建模能力。

- 自注意力机制:使用自注意力机制代替传统的卷积操作,以捕获全局空间依赖性,这在传统的CNN中是难以实现的。

- 架构设计:构建了一个以SwinLSTM单元为核心的预测网络,该网络能够同时有效地模拟空间和时间依赖性。

- 无特定技巧:SwinLSTM在没有使用特定技巧的情况下,超越了现有的最先进方法,这表明了其方法的通用性和有效性。

- 跨数据集验证:在多个数据集(Moving MNIST、Human3.6m、TaxiBJ和KTH)上进行了实验验证,证明了SwinLSTM的优越性能和泛化能力。

- 性能提升:与ConvLSTM相比,SwinLSTM在预测精度上表现出显著提升,这强调了学习全局空间依赖性对于捕获时空依赖性的重要性。

图片

需要的同学扫码添加我

回复“LSTM16”即可全部领取

图片

3、TCLN: A Transformer-based Conv-LSTM network for multivariate time series forecasting

方法

- 该论文提出了一种基于Transformer、卷积神经网络(CNN)和长短期记忆网络(LSTM)的新型模型,用于解决多变量时间序列预测(MTSF)问题

- 模型首先通过提出的多核CNN模块提取空间特征向量

- 然后,通过包含Transformer编码器层和LSTM网络的编码器层来充分提取时间信息,同时获得潜在的时空相关性

- 为了提取更多的特征信息,模型堆叠了多个编码器层。

- 最后,输出通过由ReLU激活函数和线性层组成的解码器层进行解码。

- 为了提高模型的鲁棒性,还集成了一个自回归模型。

新点:

- 多核CNN模块:与传统卷积层相比,多核CNN模块具有更深的感受野,能够提取变量间的更多空间信息。

- 编码器层的结合:Transformer编码器层与LSTM网络的结合,不仅能够处理长序列输入,还能从输入顺序的角度有效获取时间信息。

- 堆叠编码器层:通过堆叠多个编码器层,模型能够更充分地提取特征信息。

- 自回归模型集成:自回归模型的加入,增强了模型对目标变量过去序列线性相关的提取能力,提升了预测精度。

- 多变量时间序列预测:模型针对多变量时间序列预测任务进行了特别设计,能够处理复杂的非线性关系和长期依赖问题。

- 多数据集验证:在包括经济、气候、能源和工业产品产量的四个数据集上验证了模型性能,证明了模型的泛化能力。

- 长时域预测能力:模型在长时域预测任务上表现出色,能够满足实际应用中对长期预测的需求。

图片

需要的同学扫码添加我

回复“LSTM16”即可全部领取

图片

相关文章:

牛了,LSTM+Transformer王炸结合创新,荣登Nature,精度高达95.65%

【LSTM结合Transformer】的研究方向探索了如何利用Transformer模型处理序列数据的能力以及LSTM在捕捉时间序列依赖性方面的优势。这一方向的意义在于通过融合两种模型的特点,提高了对复杂时空数据的预测准确性,尤其是在智能电网攻击检测、多变量时间序列…...

Java面试题:通过实例说明工厂模式和抽象工厂模式的用法,以及它们在解耦中的作用

工厂模式和抽象工厂模式是创建型设计模式中的两种,主要用于对象的创建,并且通过将对象的创建过程封装起来,来实现代码的解耦和灵活性。下面通过具体实例来说明这两种模式的用法及其在解耦中的作用。 工厂模式(Factory Method Pat…...

成都欣丰洪泰文化传媒有限公司电商服务的创新者

在数字化浪潮席卷全球的今天,电商行业正以前所未有的速度蓬勃发展。作为这一领域的佼佼者,成都欣丰洪泰文化传媒有限公司凭借其对电商服务的深度理解和精准把握,成功在竞争激烈的市场中脱颖而出,成为行业内的佼佼者。 一、公司简…...

学习笔记——动态路由——RIP(距离矢量协议)

一、距离矢量协议 1、距离矢量协议 矢量行为:协议收到一个路由之后,查看是否可以加入到本地的路由表中,如果可以加入,则可以传递,如果不可以加入,则无法传递。 距离矢量路由协议 RIP基于距离矢量算法(又…...

【python】OpenCV—Segmentation

文章目录 cv2.kmeans牛刀小试 cv2.kmeans cv2.kmeans 是 OpenCV 库中用于执行 K-Means 聚类算法的函数。以下是根据参考文章整理的 cv2.kmeans 函数的中文文档: 一、函数功能 cv2.kmeans 用于执行 K-Means 聚类算法,将一组数据点划分到 K 个簇中&…...

python-题库篇-Python语言特性

文章目录 Python语言特性1 Python的函数参数传递2 Python中的元类(metaclass)3 staticmethod和classmethod4 类变量和实例变量5 Python自省6 字典推导式7 Python中单下划线和双下划线8 字符串格式化:%和.format9 迭代器和生成器10 *args and **kwargs11 面向切面编程AOP和装饰器…...

WEB界面上使用ChatGPT

(作者:陈玓玏) 开源项目,欢迎star哦,https://github.com/tencentmusic/cube-studio 随着大模型不断发展,现在无论写代码,做设计,甚至老师备课、评卷都可以通过AI大模型来实现了&…...

【Matlab】CNN-LSTM分类 卷积神经网络-长短期记忆神经网络组合模型(附代码)

资源下载: https://download.csdn.net/download/vvoennvv/89466499 分类算法资源合集:https://download.csdn.net/download/vvoennvv/89466519 目录 Matlab SVM支持向量机分类算法 Matlab RF随机森林分类算法 Matlab RBF径向基神经网络分类算法 Ma…...

性能工具之 MySQL OLTP Sysbench BenchMark 测试示例

文章目录 一、前言二、测试环境1、服务器配置2、测试拓扑 三、测试工具安装四、测试步骤1、导入数据2、压测数据3、清理数据 五、结果解析六、最后 一、前言 做为一名性能工程师掌握对 MySQL 的性能测试是非常必要的,本文基于 Sysbench 对MySQL OLTP(联…...

【QT】QCustomPlot库中iSelectPlottables的使用

QCP::iSelectPlottables 是 QCustomPlot 库中的一个枚举值,用于控制选择交互。QCustomPlot 是一个用于创建绘图和数据可视化的Qt库。 QCP::iSelectPlottables 允许用户选择图表中的绘图对象(如图形、曲线、柱状图等)。 应用场景 QCP::iSele…...

字节跳动联手博通:5nm AI芯片诞生了?

字节跳动联手博通:5nm AI芯片诞生了? 前言 就在6月24日,字节跳动正在与美国博通合作开发一款5纳米工艺的专用集成电路(ASIC) AI处理器。这款芯片旨在降低采购成本并确保高端AI芯片的稳定供应。 根据报道,尽管芯片设计工作进展顺利…...

【数据结构与算法】动态查找表(二叉排序树,二叉平衡树)详解

二叉排序树的数据结构。 struct TreeNode {ElemType data;TreeNode *left, *right; }; using BiTree TreeNode *;结构体包含三个成员: data 是一个 ElemType 类型的变量,用于存储二叉搜索树节点的数据。left 是一个指向 TreeNode 类型的指针&#xff…...

PyTorch中“No module named ‘torch._six‘“的报错场景及处理方法

🎬 鸽芷咕:个人主页 🔥 个人专栏: 《C干货基地》《粉丝福利》 ⛺️生活的理想,就是为了理想的生活! 引入 在使用PyTorch时,您可能会遇到"No module named ‘torch._six’"的错误。这通常是因为PyTorch的某些…...

Spring Boot 集成 MinIO 实现文件上传

Spring Boot 集成 MinIO 实现文件上传 一、 Minio 服务准备 MinIO的搭建过程参考 Docker 搭建 MinIO 对象存储。 登录MinIO控制台&#xff0c;新建一个 Bucket&#xff0c;修改 Bucket 权限为公开。 二、MinIO 集成 添加 MinIO 依赖 <!-- https://mvnrepository.com/ar…...

目标跟踪——KCF源码用python实现

from numpy.fft import fft2, ifft2, fftshift import cv2 import numpy as npclass HOG:def __init__(self, winSize):""":param winSize: 检测窗口的大小"""self.winSize winSizeself.blockSize (8, 8)self.blockStride (4, 4)self.cellSiz…...

前端 转换笔记

<!DOCTYPE html> <html> <head> <meta charset"utf-8" /> <title>转换</title> <style> .box{ /* 盒子摆在body的正中间 */ position: absolut…...

个人开发笔记

开发笔记 开发常见问题Vue开发中页面flex滚动布局&#xff0c;内容置顶问题功能快捷键 开发常见问题 Vue开发中页面flex滚动布局&#xff0c;内容置顶问题 直接操作路由&#xff1a; const router createRouter({routes: routes,history: createWebHashHistory(),scrollBeha…...

pdf压缩,pdf压缩在线,pdf文件太大怎么变小

在数字化时代&#xff0c;PDF文档因其跨平台、保持原样、易于阅读和打印等特点&#xff0c;成为了我们日常工作和生活中不可或缺的一部分。然而&#xff0c;随着PDF文件的不断累积&#xff0c;存储空间逐渐变得紧张&#xff0c;特别是在处理大量大型PDF文件时&#xff0c;如何有…...

Go 如何使用指针灵活操作内存

&#x1f49d;&#x1f49d;&#x1f49d;欢迎莅临我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:「stormsha的主页」…...

【面试干货】Java中的++操作符与线程安全性

【面试干货】Java中的操作符与线程安全性 1、什么是线程安全性&#xff1f;2、 操作符的工作原理3、 操作符与线程安全性4、如何确保线程安全&#xff1f;5、 结论 &#x1f496;The Begin&#x1f496;点点关注&#xff0c;收藏不迷路&#x1f496; 在Java编程中&#xff0c;操…...

模型参数、模型存储精度、参数与显存

模型参数量衡量单位 M&#xff1a;百万&#xff08;Million&#xff09; B&#xff1a;十亿&#xff08;Billion&#xff09; 1 B 1000 M 1B 1000M 1B1000M 参数存储精度 模型参数是固定的&#xff0c;但是一个参数所表示多少字节不一定&#xff0c;需要看这个参数以什么…...

python/java环境配置

环境变量放一起 python&#xff1a; 1.首先下载Python Python下载地址&#xff1a;Download Python | Python.org downloads ---windows -- 64 2.安装Python 下面两个&#xff0c;然后自定义&#xff0c;全选 可以把前4个选上 3.环境配置 1&#xff09;搜高级系统设置 2…...

macOS多出来了:Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用

文章目录 问题现象问题原因解决办法 问题现象 macOS启动台&#xff08;Launchpad&#xff09;多出来了&#xff1a;Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用。 问题原因 很明显&#xff0c;都是Google家的办公全家桶。这些应用并不是通过独立安装的…...

Java 加密常用的各种算法及其选择

在数字化时代&#xff0c;数据安全至关重要&#xff0c;Java 作为广泛应用的编程语言&#xff0c;提供了丰富的加密算法来保障数据的保密性、完整性和真实性。了解这些常用加密算法及其适用场景&#xff0c;有助于开发者在不同的业务需求中做出正确的选择。​ 一、对称加密算法…...

Matlab | matlab常用命令总结

常用命令 一、 基础操作与环境二、 矩阵与数组操作(核心)三、 绘图与可视化四、 编程与控制流五、 符号计算 (Symbolic Math Toolbox)六、 文件与数据 I/O七、 常用函数类别重要提示这是一份 MATLAB 常用命令和功能的总结,涵盖了基础操作、矩阵运算、绘图、编程和文件处理等…...

Python如何给视频添加音频和字幕

在Python中&#xff0c;给视频添加音频和字幕可以使用电影文件处理库MoviePy和字幕处理库Subtitles。下面将详细介绍如何使用这些库来实现视频的音频和字幕添加&#xff0c;包括必要的代码示例和详细解释。 环境准备 在开始之前&#xff0c;需要安装以下Python库&#xff1a;…...

HTML前端开发:JavaScript 常用事件详解

作为前端开发的核心&#xff0c;JavaScript 事件是用户与网页交互的基础。以下是常见事件的详细说明和用法示例&#xff1a; 1. onclick - 点击事件 当元素被单击时触发&#xff08;左键点击&#xff09; button.onclick function() {alert("按钮被点击了&#xff01;&…...

JDK 17 新特性

#JDK 17 新特性 /**************** 文本块 *****************/ python/scala中早就支持&#xff0c;不稀奇 String json “”" { “name”: “Java”, “version”: 17 } “”"; /**************** Switch 语句 -> 表达式 *****************/ 挺好的&#xff…...

【Redis】笔记|第8节|大厂高并发缓存架构实战与优化

缓存架构 代码结构 代码详情 功能点&#xff1a; 多级缓存&#xff0c;先查本地缓存&#xff0c;再查Redis&#xff0c;最后才查数据库热点数据重建逻辑使用分布式锁&#xff0c;二次查询更新缓存采用读写锁提升性能采用Redis的发布订阅机制通知所有实例更新本地缓存适用读多…...

MySQL 主从同步异常处理

阅读原文&#xff1a;https://www.xiaozaoshu.top/articles/mysql-m-s-update-pk MySQL 做双主&#xff0c;遇到的这个错误&#xff1a; Could not execute Update_rows event on table ... Error_code: 1032是 MySQL 主从复制时的经典错误之一&#xff0c;通常表示&#xff…...