当前位置： 首页 > news >正文

sparse transformer 常见稀疏注意力

news 2026/4/9 10:40:45

参考：
https://zhuanlan.zhihu.com/p/259591644

主要就是降低transformer自注意力模块的复杂度
复杂度主要就是 Q · K^T影响的，稀疏注意力就是在Q点乘K的转置这模块做文章
在这里插入图片描述

下列式一些sparse transformer稀疏注意力方法

a、transformer原始的 ， Q · K^T，其中 K^T 表示 K 的转置
b、每个token与前后三个做自注意力计算
c、膨胀注意力（dilated attention）：每个token与前后三个做自注意力计算，但这三个有间隔，就是比如第一个token看右面3,5，7
d、全局token是第一二个token看所有的token，3及后面的token只看· K^T 矩阵的1、2token；sliding划窗见b
在这里插入图片描述

a、全局token是第一二个token看所有的token，3及后面的token只看· K^T 矩阵的1、2token
b、划窗
c、见上面c
d、random
e、Q矩阵的123token 看 · K^T123token；Q矩阵的456token 看 · K^T456token 。。。。
在这里插入图片描述

相关文章：

sparse transformer 常见稀疏注意力

参考： https://zhuanlan.zhihu.com/p/259591644 主要就是降低transformer自注意力模块的复杂度 复杂度主要就是 Q K^T影响的，稀疏注意力就是在Q点乘K的转置这模块做文章 下列式一些sparse transformer稀疏注意力方法 a、transformer原始的 &#xff0…...

编程日记 2024/3/4 2:58:19

力扣 第 125 场双周赛 解题报告 | 珂学家 | 树形DP + 组合数学

前言 整体评价 T4感觉有简单的方法&#xff0c;无奈树形DP一条路上走到黑了&#xff0c;这场还是有难度的。 T1. 超过阈值的最少操作数 I 思路: 模拟 class Solution {public int minOperations(int[] nums, int k) {return (int)Arrays.stream(nums).filter(x -> x <…...

编程日记 2024/3/4 2:55:16

基于springboot+vue的人格障碍诊断系统

博主主页&#xff1a;猫头鹰源码 博主简介&#xff1a;Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战&#xff0c;欢迎高校老师\讲师\同行交流合作 ​主要内容&#xff1a;毕业设计(Javaweb项目|小程序|Pyt…...

编程日记 2024/3/4 2:54:14

Go-知识struct

Go-知识struct 1. struct 的定义1.1 定义字段1.2 定义方法 2. struct的复用3. 方法受体4. 字段标签4.1 Tag是Struct的一部分4.2 Tag 的约定4.3 Tag 的获取 githupio地址&#xff1a;https://a18792721831.github.io/ 1. struct 的定义 Go 语言的struct与Java中的class类似&am…...

编程日记 2024/3/4 2:53:12

SpringMVC 学习（十一）之数据校验

目录 1 数据校验介绍 2 普通校验 3 分组校验 4 参考文档 1 数据校验介绍 在实际的项目中&#xff0c;一般会有两种校验数据的方式&#xff1a;客户端校验和服务端校验 客户端校验&#xff1a;这种校验一般是在前端页面使用 JS 代码进行校验&#xff0c;主要是验证输入数据…...

编程日记 2024/3/4 2:52:11

软考55-上午题-【数据库】-数据库设计步骤1

一、数据库设计的步骤 新奥尔良法&#xff0c;四个主要阶段&#xff1a; 1、用户需求分析&#xff1a;手机用户需求&#xff0c;确定系统边界&#xff1b; 2、概念设计&#xff08;概念结构设计&#xff09;&#xff1a;是抽象概念模型&#xff0c;较理想的是采用E-R方法。 …...

编程日记 2024/3/4 2:50:09

速盾：使用cdn后速度慢是怎么回事？

CDN&#xff08;内容分发网络&#xff09;是一种通过将网站的静态内容分布到全球各地的服务器&#xff0c;从而提供更快速度和更好用户体验的技术。然而&#xff0c;有时候用户会遇到使用CDN后速度变慢的问题&#xff0c;下面将探讨几种可能的原因。 服务器选择错误: CDN服务通…...

编程日记 2024/3/4 2:49:06

考研复试类比社团招新，无所谓“公平”，导师选谁都是他的权力

这篇文章是抖音和b站上上传的同名视频的原文稿件&#xff0c;感兴趣的csdn用户可以关注我的抖音和b站账号&#xff08;GeekPower极客力量&#xff09;。同时这篇文章也为视频观众提供方便&#xff0c;可以更加冷静地分析和思考。文章同时在知乎发表。 我考研一战的时候计算机考…...

编程日记 2024/3/4 2:47:04

阿里面试，有点焦虑。。

恭喜发现宝藏&#xff01;搜索公众号【TechGuide】回复公司名&#xff0c;解锁更多新鲜好文和互联网大厂的笔经面经&#xff0c;目前已更新至美团、字节… 作者TechGuide【全网同名】 聊聊春招 春招来了&#xff0c;有些24届校招生可能还在做最后的努力&#xff0c;有些25届的…...

编程日记 2024/3/4 2:44:00

24计算机考研调剂 | 石家庄铁道大学

01石家庄铁道大学 智慧交通研究室招少量调剂学术型硕士&#xff08;数一英一320分以上工科专业&#xff09; 考研调剂招生信息 学校:石家庄铁道大学 专业:工学->计算机科学与技术->计算机应用技术 工学->测绘科学与技术->地图制图学与地理信息工程 工学->交…...

编程日记 2024/3/4 2:41:57

勇敢尝鲜之Springboot3大坑-集成Mybatisplus报错：ddlApplicationRunner

&#x1f339;作者主页&#xff1a;青花锁 &#x1f339;简介&#xff1a;Java领域优质创作者&#x1f3c6;、Java微服务架构公号作者&#x1f604; &#x1f339;简历模板、学习资料、面试题库、技术互助 &#x1f339;文末获取联系方式 &#x1f4dd; 往期热门专栏回顾 专栏…...

编程日记 2024/3/4 2:39:56

linux高级编程：线程（二）、进程间的通信方式

线程&#xff1a; 回顾线程&#xff08;一&#xff09;&#xff1a; 1.线程间通信问题 线程间共享同一个资源&#xff08;临界资源&#xff09; 互斥&#xff1a; 排他性访问 linux系统 -- 提供了Posix标准的函数库 -- 互斥量&#xff08;互斥锁&#xff09; 原子操作&#x…...

编程日记 2024/3/4 2:37:54

Unity 佳能SDK 及数据获取

1. 填写信息跟官方申请SDK，大概1-2个工作日会邮件回复你 佳能（中国）- 佳定制（佳能影像产品）,SDK,EDSDK,CCAPI,软件开发包下载 2. 将SDK这两个文件放到 Unity Plugins文件夹 3. 把CameraControl 下面只要是绿色的 .cs 文件都复制到Unity 中...

编程日记 2024/3/4 2:35:52

Unity（第二十三部）导航

你可以使用 unity官方提供的 unity导航组件或第三方 unity导航组件&#xff0c;以实现游戏中角色或其他物体的导航。 unity导航组件通常具有多种导航模式&#xff0c;如飞行模式、步行模式、车辆模式等&#xff0c;可以根据不同的需求选择合适的模式。同时&#xff0c;unity导…...

编程日记 2024/3/4 2:31:47

根据建表sql语句生成go的struct代码工具

sql2struct 一个根据"CREATE TABLE"建表语句生成对应的Go语言结构体的工具&#xff0c;暂只支持 MySQL 表。 开发目的 在 github 中找到一些 sql2struct&#xff0c;但要么是 chrome 插件&#xff0c;要么是在线工具&#xff0c;要么是需要连接 MySQL&#xff0c;…...

编程日记 2024/3/4 2:28:44

Qt 自定义长条进度条（类似播放器进度条）

1.运行界面 2.步骤 其实很简单。 2.1绘制底图圆角矩形 2.2绘制播放进度圆角矩形 参考&#xff1a;painter绘图 3.源码 #pragma once#include <QWidget> #include <QLabel> #include <QHBoxLayout> #include <QMouseEvent> #include <QDebug&g…...

编程日记 2024/3/4 2:27:43

休息日的思考与额外题——双指针、原地哈希day28

文章目录 前言一、11. 盛最多水的容器二、41. 缺失的第一个正数三、42. 接雨水总结 前言 一个本硕双非的小菜鸡&#xff0c;备战24年秋招&#xff0c;计划二刷完卡子哥的刷题计划&#xff0c;加油&#xff01; 二刷决定精刷了&#xff0c;于是参加了卡子哥的刷题班&#xff0c…...

编程日记 2024/3/4 2:26:40

数据修改

Oracle 目录 数据修改 将员工编号的 7369 的员工工资修改为 810&#xff0c;佣金改为 100 将工资最低的员工工资修改为公司的平均工资 将所有在 1981 年雇佣的员工的雇佣日期修改为今天&#xff0c;工资增长 20% 数据的更新操作 Oracle从入门到总裁:https://blog.csdn.n…...

编程日记 2024/3/4 2:23:35

Android JNI复杂用法，回调，C++中调用Java方法

Android JNI复杂用法&#xff0c;回调&#xff0c;C中调用Java方法 一、前言 Android JNI的 普通用法估计很多人都会&#xff0c;但是C中调用Java方法很多人不熟悉&#xff0c;并且网上很多介绍都是片段的。 虽然C/C调用Java不常用&#xff0c;但是掌握多一点还是有好处的。…...

编程日记 2024/3/4 2:22:33

C++从零开始的打怪升级之路(day41)

这是关于一个普通双非本科大一学生的C的学习记录贴 在此前&#xff0c;我学了一点点C语言还有简单的数据结构&#xff0c;如果有小伙伴想和我一起学习的&#xff0c;可以私信我交流分享学习资料 那么开启正题 今天分享的是关于继承的知识点 1.派生类的默认成员函数 首先我…...

编程日记 2024/3/4 2:15:24

OpenClaw多模型对比：千问3.5-9B与其他开源模型性能实测

OpenClaw多模型对比&#xff1a;千问3.5-9B与其他开源模型性能实测 1. 为什么需要多模型对比 去年冬天&#xff0c;当我第一次在本地部署OpenClaw时&#xff0c;最让我头疼的问题不是安装配置&#xff0c;而是选择哪个大模型作为后端。官方文档列出了十几种兼容模型&#xff…...

编程新知 2026/4/9 10:31:52

DeepSeek-V3算法优化实战：降低推理延迟的10种方法

DeepSeek-V3算法优化实战&#xff1a;降低推理延迟的10种方法 1. 引言 在人工智能应用快速发展的今天&#xff0c;模型推理速度往往成为决定用户体验的关键因素。DeepSeek-V3作为先进的大语言模型&#xff0c;虽然在生成质量上表现出色&#xff0c;但在实际部署中常常面临推理…...

编程新知 2026/4/9 9:31:42

5个AI Skill实测：影视内容创作全流程自动化

为什么AI助手的能力上限取决于你装了什么Skill养虾必装的5个Skill&#xff0c;影视博主效率翻倍你的小龙虾&#xff08;OpenClaw/CodeBuddy/Windsurf&#xff09;装了几个Skill&#xff1f;很多人养虾只用来写代码、查资料&#xff0c;但其实用小龙虾做内容创作、数据分析、批量…...

编程新知 2026/4/9 8:21:56

Git新手必看：5个最常用命令搞定代码拉取与分支管理（附Gerrit实战）

Git新手必看&#xff1a;5个最常用命令搞定代码拉取与分支管理&#xff08;附Gerrit实战&#xff09; 第一次接触Git时&#xff0c;面对满屏的命令行参数和陌生的概念&#xff0c;很多开发者都会感到手足无措。记得我刚入职时&#xff0c;为了提交一行代码修改&#xff0c;整整…...

编程新知 2026/4/9 8:07:47

[ISP] CIE-XYZ色彩空间的现代应用与优化

1. CIE-XYZ色彩空间的诞生与核心原理 1931年国际照明委员会&#xff08;CIE&#xff09;做了一件改变色彩科学史的事——他们用汞灯发出的三个特定波长光线&#xff08;700nm红、546.1nm绿、435.8nm蓝&#xff09;作为基准&#xff0c;通过大量人眼视觉实验绘制出了著名的CIE-…...

编程新知 2026/4/9 8:03:44

intv_ai_mk11效果展示：对复杂问题（如‘Transformer与CNN在NLP任务中差异’）的分层解析能力

intv_ai_mk11效果展示&#xff1a;对复杂问题的分层解析能力 1. 引言&#xff1a;AI对话机器人的进阶能力 在众多AI对话系统中&#xff0c;intv_ai_mk11展现出了独特的优势——它不仅能回答简单问题&#xff0c;更能对复杂技术概念进行结构化解析。今天我们将重点展示它在处理…...

编程新知 2026/4/9 7:00:28

MIT AI工具一分钟预览高度逼真3D打印成品外观，所见即所得

从电影道具到医疗设备&#xff0c;3D打印正在快速改变我们制造功能原型的方式。然而&#xff0c;大多数打印软件生成的预览只关注结构路径&#xff0c;忽略了颜色、光泽、纹理等外观要素&#xff0c;导致用户常常需要反复试印。根据3D科学谷的市场观察&#xff0c;MIT和普林斯顿…...

编程新知 2026/4/9 4:57:31

用普中开发板A234和Proteus 8.16，手把手复刻一个课堂/竞赛用的八路抢答器（附完整代码和避坑点）

用普中开发板A234和Proteus 8.16打造竞赛级八路抢答器实战指南 在电子设计竞赛、课堂互动或社团活动中&#xff0c;一个稳定可靠的抢答器往往是点燃现场气氛的关键设备。市面上虽然有不少成品抢答器&#xff0c;但价格昂贵且功能固定&#xff0c;难以满足个性化需求。而基于51单…...

编程新知 2026/4/9 4:43:05

如何用双路PWM实现16bit DAC输出？MCU音频信号处理实战

如何用双路PWM实现16bit DAC输出&#xff1f;MCU音频信号处理实战 在嵌入式音频开发中&#xff0c;高精度DAC输出往往是提升音质的关键。但当你手头的MCU主频有限&#xff0c;内置DAC分辨率不足时&#xff0c;如何突破硬件限制&#xff1f;本文将带你深入双路PWM分频叠加技术的…...

编程新知 2026/4/9 4:04:19

各种 32 位单片机（MCU），本质上是围绕不同 CPU 内核、由不同厂商设计的 32 位微控制器家族，最主流的是基于 ARM Cortex‑M 内核的各类兼容 / 派生系列，其次是少数自研内核架构。

一、按内核架构&#xff1a;两大阵营1. ARM Cortex‑M 内核&#xff08;绝对主流&#xff0c;占 90% 以上市场&#xff09;所有基于 ARM 公司授权的 Cortex‑M 系列处理器内核 的 MCU。内核谱系&#xff08;从低到高&#xff09;&#xff1a;Cortex‑M0 / M0&#xff1a;入门、…...

编程新知 2026/4/9 2:10:08