当前位置: 首页 > news >正文

【论文阅读】基于深度学习的时序预测——Pyraformer

系列文章链接
论文一:2020 Informer:长时序数据预测
论文二:2021 Autoformer:长序列数据预测
论文三:2022 FEDformer:长序列数据预测
论文四:2022 Non-Stationary Transformers:非平稳性时序预测
论文五:2022 Pyraformer:基于金字塔图结构的时序预测
论文六:2023 Crossformer:多变量时序预测
论文七:2023 LTSF-Linear:质疑transformer能力的线性预测模型

论文链接:Pyraformer.pdf
github链接:https://github.com/ant-research/Pyraformer
参考解读:https://zhuanlan.zhihu.com/p/467765457

本文是上海交通大学的团队发表的,背景仍然是如何降低计算复杂度&更好地进行长期依赖性关系的表征。本文的创新点主要提现在以下几点:
在这里插入图片描述

  1. 金字塔注意力机制(Pyramidal Attention Module):不同于原始的注意力机制,本文采用形似金字塔的图结构对时序数据进行转换,采用这样的结构转换就可以提取当前数据和邻近点位的周期内(尺度内)特性以及长期点位之间的周期间(尺度间)的特性,并且可以提取多层级的多分辨率的特性。对于每个节点而言,可以表示为一个由父节点、自身以及子节点组成的集合:在这里插入图片描述
    在这里插入图片描述
    那对于每个节点而言,不需要对每个点位都去计算对应的注意力,只需要在对应关系内的节点进行运算,降低了计算复杂度;但是在实际计算过程中由于框架(tensorflow和pytorch)的限制,计算复杂度并没有达到预期的 O ( L ) O(L) O(L),本文针对此进行了技巧设计以减少计算和内存成本;
    在这里插入图片描述
  2. 粗尺度构造模块:对于每个层级的节点而言,从子节点出发,从下至上引入粗尺度的初始化卷积。整个模块的设计是为了降低参数量&计算复杂度(类似残差结构),具体解释写的比较模糊,可以参考代码实现;
    在这里插入图片描述

相关文章:

【论文阅读】基于深度学习的时序预测——Pyraformer

系列文章链接 论文一:2020 Informer:长时序数据预测 论文二:2021 Autoformer:长序列数据预测 论文三:2022 FEDformer:长序列数据预测 论文四:2022 Non-Stationary Transformers:非平…...

玩转IndexedDB,比localStorage、cookie还要强大的网页端本地缓存

随着浏览器的功能不断增强,越来越多的网站开始考虑,将大量数据储存在客户端,这样可以减少从服务器获取数据,直接从本地获取数据。 现有的浏览器数据储存方案,都不适合储存大量数据:Cookie 的大小不超过 4K…...

RedisDesktopManager连不上redis问题解决(小白版)

常见问题就是 redis.conf配置文件 a.将port 127.0.0.1这一行注释掉 b.protected-mode保护模式改为no 这个可以看到很多博主都说了,相信都搜到这里来了你们都弄了,我就不详细说了 防火墙开放端口 我说明我自己的问题以及解决方法 1、执行telnet 虚拟…...

蓝帽杯 取证2022

网站取证 网站取证_1 下载附件 并解压 得到了一个文件以及一个压缩包 解压压缩包 用火绒查病毒 发现后门 打开文件路径之后 发现了一句话木马 解出flag 网站取证_2 让找数据库链接的明文密码 打开www文件找找 查看数据库配置文件/application/database.php(CodeI…...

MyBatis and or使用列表控制or条件

背景&#xff1a;最近项目需要&#xff0c;师傅可以查找订单&#xff0c;而师傅是指定可以服务2到3个区域&#xff0c;故需要使用到and, or条件的组合&#xff0c;以下记一下代码。 最重要的代码是&#xff1a; 1、构建List<Consumer<LambdaQueryWrapper<T>>&g…...

C语言刷题训练【第11天】

大家好&#xff0c;我是纪宁。 今天是C语言笔试刷题训练的第11天&#xff0c;加油&#xff01; 文章目录 1、声明以下变量&#xff0c;则表达式: ch/i (f*d – i) 的结果类型为&#xff08; &#xff09;2、关于代码的说法正确的是&#xff08; &#xff09;3、已知有如下各变…...

正则表达式的使用

1、正则表达式-教程 正则表达式&#xff1a;文本模式&#xff0c;包括普通字符&#xff08;例如&#xff0c;a到z之间的字母&#xff09;和特殊字符&#xff08;称为元字符&#xff09;。 正则表达式使用单个字符串来描述&#xff0c;匹配一系列匹配某个句法规则的字符串。 2、…...

PHP 求解两字符串所有公共子序列及最长公共子序列 支持多字节字符串

/*** 获取两字符串所有公共子序列【不连续的】 例&#xff1a;abc ac > ac** param string $str1 字符串1* param string $str2 字符串2** return array*/ function public_sequence(string $str1, string $str2): array {$data [[-1, -1, , 0, ]]; // 子序列容器【横坐标 …...

linux内核bitmap之setbit汇编实现

内核版本&#xff1a;kernel 0.12 首先看一段代码&#xff0c;下面这段代码来自内核版本0.12的mm/swap.c中&#xff1a; // mm/swap.c #define bitop(name,op) \static inline int name(char * addr,unsigned int nr) \ { \int __res; \__asm__ __volatile__("bt" …...

Golang设计模式

Golang设计模式 Golang设计模式简介Golang工厂设计模式Golang单例设计模式Golang抽象工厂设计模式Golang建造者模式 (Builder Pattern)Golang 原型模式(Prototype Pattern)Golang适配器模式Golang 桥接模式&#xff08;Bridge Pattern&#xff09;Golang装饰器模式(Decorator …...

leetcode151. 反转字符串中的单词

题目&#xff1a;leetcode151. 反转字符串中的单词 描述&#xff1a; 给你一个字符串 s &#xff0c;请你反转字符串中 单词 的顺序。 单词 是由非空格字符组成的字符串。s 中使用至少一个空格将字符串中的 单词 分隔开。 返回 单词 顺序颠倒且 单词 之间用单个空格连接的结…...

【BASH】回顾与知识点梳理(十七)

【BASH】回顾与知识点梳理 十七 十七. 什么是 Shell scripts17.1 干嘛学习 shell scripts自动化管理的重要依据追踪与管理系统的重要工作简单入侵检测功能连续指令单一化简易的数据处理跨平台支持与学习历程较短 17.2 第一支 script 的撰写与执行撰写第一支 script 17.3 撰写 s…...

时序预测-Informer简介

文章目录 Informer介绍1. Transformer存在的问题2. Informer研究背景3. Informer 整体架构3.1 ProbSparse Self-attention3.2 Self-attention Distilling3.3 Generative Style Decoder 4. Informer的实验性能5. 相关资料 Informer介绍 1. Transformer存在的问题 Informer实质…...

2023牛客第七场补题报告C F L M

2023牛客第七场补题报告C F L M C-Beautiful Sequence_2023牛客暑期多校训练营7 (nowcoder.com) 思路 观察到数组一定是递增的&#xff0c;所以从最高位往下考虑每位的1最多只有一个&#xff0c;然后按位枚举贪心即可。 代码 #include <bits/stdc.h> using namespac…...

Android使用kotlin+协程+room数据库的简单应用

前言&#xff1a;一般主线程&#xff08;UI线程&#xff09;中是不能执行创建数据这些操作的&#xff0c;因为等待时间长。所以协程就是为了解决这个问题出现。 第一步&#xff1a;在模块级的build.gradle中引入 id com.android.application// roomid kotlin-androidid kotlin…...

Kubernetes pod调度约束[亲和性 污点] 生命阶段 排障手段

调度约束 Kubernetes 是通过 List-Watch 的机制进行每个组件的协作&#xff0c;保持数据同步的&#xff0c;每个组件之间的设计实现了解耦。 用户是通过 kubectl 根据配置文件&#xff0c;向 APIServer 发送命令&#xff0c;在 Node 节点上面建立 Pod 和 Container。 APIServer…...

Matlab实现模拟退火算法(附上多个完整源码)

模拟退火算法&#xff08;Simulated Annealing&#xff09;是一种全局优化算法&#xff0c;其基本思想是通过模拟物理退火过程来寻找最优解。该算法可以应用于各种优化问题&#xff0c;如函数优化、组合优化、图形优化等。 文章目录 步骤简单案例完整仿真源码下载 步骤 在Mat…...

前后端分离------后端创建笔记(03)前后端对接(上)

本文章转载于【SpringBootVue】全网最简单但实用的前后端分离项目实战笔记 - 前端_大菜007的博客-CSDN博客 仅用于学习和讨论&#xff0c;如有侵权请联系 源码&#xff1a;https://gitee.com/green_vegetables/x-admin-project.git 素材&#xff1a;https://pan.baidu.com/s/…...

stable diffusion安装包和超火使用文档及提示词,数字人网址

一&#xff1a;文生图、图生图 1&#xff1a;stable diffusion&#xff1a;对喜欢二次元、美女小姐姐、大眼萌妹的人及其友好哈哈(o^^o) 1&#xff09;&#xff1a;关于安装包和模型包&#xff1a; 链接&#xff1a;https://pan.baidu.com/s/11_kguofh76gwhTBPUipepw 提取码…...

训练营:贪心篇

贪心就是&#xff1a;局部最优 1、455. 分发饼干 按照饼干分&#xff0c;从大到小&#xff0c;最大的给胃口最大能满足的 def findContentChildren455(g, s):g sorted(g,reverseTrue)s sorted(s,reverseTrue)j0c 0i0while(i<len(s) and j<len(g)):if s[i]>g[j]:c…...

洁净车间PLC数据采集远程监控系统方案

为了维持洁净厂房内的温度、湿度及洁净度等&#xff0c;需要在车间部署多个高精度的温湿度传感器以及监控空气风管的风机、风阀&#xff0c;和监控冷热源管道循环水的压力传感器、电动调节阀等&#xff0c;由PLC控制冷热源机组运行状态&#xff0c;进而为车间洁净度进行自动化管…...

STM32F429外设时钟分配详解:为什么你的定时器速度总是不对?

STM32F429定时器时钟配置实战&#xff1a;破解速度偏差的底层逻辑 第一次在项目中遇到定时器速度异常时&#xff0c;我盯着示波器上飘忽不定的PWM波形百思不得其解——明明代码里的分频系数计算无误&#xff0c;为什么实际输出频率总是偏离预期&#xff1f;这个困扰无数STM32开…...

TranslucentTB:轻量级Windows任务栏透明化工具的深度解析与场景化应用

TranslucentTB&#xff1a;轻量级Windows任务栏透明化工具的深度解析与场景化应用 【免费下载链接】TranslucentTB A lightweight utility that makes the Windows taskbar translucent/transparent. 项目地址: https://gitcode.com/gh_mirrors/tr/TranslucentTB Transl…...

AI时代,网络安全为何是人类最后壁垒?网安专业究竟有多重要?

网络安全专业&#xff1a;AI时代唯一被AI“反向增强”的人类堡垒 核心论断&#xff1a;网络安全不是AI的替代对象&#xff0c;而是AI的校准器、约束阀与免疫系统。当AI在其他领域扮演“执行者”&#xff0c;它在网络空间中必须是“被监管者”——而监管它的&#xff0c;只能是具…...

MCP服务器架构设计图首次公开:含时序一致性保障机制、跨域设备注册拓扑、双向心跳状态机(2024 Q2最新LTS版)

第一章&#xff1a;MCP服务器架构设计图概览与核心设计哲学MCP&#xff08;Modular Control Plane&#xff09;服务器并非传统单体控制平面的简单重构&#xff0c;而是一种以“可插拔、可观测、可演进”为根基的分布式控制面架构。其设计图呈现清晰的分层结构&#xff1a;底层为…...

从经验到智能:TVA时代企业质检员的角色转型

随着工业4.0的推进&#xff0c;汽车零部件生产逐渐向智能化、自动化转型&#xff0c;智能体视觉检测系统&#xff08;TVA&#xff09;的广泛应用&#xff0c;彻底改变了传统焊接点检测的模式&#xff0c;也对质检员的角色与能力提出了新的要求。传统模式下&#xff0c;质检员的…...

GLM-. 全面支持与 Gemini CLI 集成:HagiCode 的多模型进化之路闲

1. 流图&#xff1a;数据的河流 如果把传统的堆叠面积图想象成一块块整齐堆叠的积木&#xff0c;那么流图就像一条蜿蜒流淌的河流&#xff0c;河道的宽窄变化自然流畅&#xff0c;波峰波谷过渡平滑。 它特别适合展示多个类别数据随时间的变化趋势&#xff0c;尤其是当你想强调…...

Vyper智能合约调试终极指南:5个高效故障排查技巧

Vyper智能合约调试终极指南&#xff1a;5个高效故障排查技巧 【免费下载链接】vyper Pythonic Smart Contract Language for the EVM 项目地址: https://gitcode.com/gh_mirrors/vy/vyper Vyper作为面向EVM的Pythonic智能合约语言&#xff0c;以其简洁安全的语法设计受到…...

SDD基于规范编程-OpenSpec及SuperPowers把

智能体时代的代码范式转移与 C# 的战略转型 传统的 C# 开发模式&#xff0c;即所谓的“工程导向型”开发&#xff0c;要求开发者创建一个复杂的项目结构&#xff0c;包括项目文件&#xff08;.csproj&#xff09;、解决方案文件&#xff08;.sln&#xff09;、属性设置以及依赖…...

如何高效使用UsbDk驱动开发套件:Windows USB设备控制的专业实战指南

如何高效使用UsbDk驱动开发套件&#xff1a;Windows USB设备控制的专业实战指南 【免费下载链接】UsbDk Usb Drivers Development Kit for Windows 项目地址: https://gitcode.com/gh_mirrors/us/UsbDk UsbDk&#xff08;USB Development Kit&#xff09;是一款专为Wind…...