sparse transformer 常见稀疏注意力
参考：
https://zhuanlan.zhihu.com/p/259591644
主要就是降低transformer自注意力模块的复杂度
复杂度主要就是 Q · K^T影响的，稀疏注意力就是在Q点乘K的转置这模块做文章
下列式一些sparse transformer稀疏注意力方法
a、transformer原始的 ， Q · K^T，其中 K^T 表示 K 的转置
b、每个token与前后三个做自注意力计算
c、膨胀注意力（dilated attention）：每个token与前后三个做自注意力计算，但这三个有间隔，就是比如第一个token看右面3,5，7
d、全局token是第一二个token看所有的token，3及后面的token只看· K^T 矩阵的1、2token；sliding划窗见b
a、全局token是第一二个token看所有的token，3及后面的token只看· K^T 矩阵的1、2token
b、划窗
c、见上面c
d、random
e、Q矩阵的123token 看 · K^T123token；Q矩阵的456token 看 · K^T456token 。。。。
相关文章：
sparse transformer 常见稀疏注意力
参考： https://zhuanlan.zhihu.com/p/259591644 主要就是降低transformer自注意力模块的复杂度 复杂度主要就是 Q K^T影响的，稀疏注意力就是在Q点乘K的转置这模块做文章 下列式一些sparse transformer稀疏注意力方法 a、transformer原始的 ࿰…...
力扣 第 125 场双周赛 解题报告 | 珂学家 | 树形DP + 组合数学
前言 整体评价 T4感觉有简单的方法，无奈树形DP一条路上走到黑了，这场还是有难度的。 T1. 超过阈值的最少操作数 I 思路: 模拟 class Solution {public int minOperations(int[] nums, int k) {return (int)Arrays.stream(nums).filter(x -> x <…...
基于springboot+vue的人格障碍诊断系统
博主主页：猫头鹰源码 博主简介：Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战，欢迎高校老师\讲师\同行交流合作 主要内容：毕业设计(Javaweb项目|小程序|Pyt…...
Go-知识struct
Go-知识struct 1. struct 的定义1.1 定义字段1.2 定义方法 2. struct的复用3. 方法受体4. 字段标签4.1 Tag是Struct的一部分4.2 Tag 的约定4.3 Tag 的获取 githupio地址：https://a18792721831.github.io/ 1. struct 的定义 Go 语言的struct与Java中的class类似&am…...
SpringMVC 学习（十一）之数据校验
目录 1 数据校验介绍 2 普通校验 3 分组校验 4 参考文档 1 数据校验介绍 在实际的项目中，一般会有两种校验数据的方式：客户端校验和服务端校验 客户端校验：这种校验一般是在前端页面使用 JS 代码进行校验，主要是验证输入数据…...
软考55-上午题-【数据库】-数据库设计步骤1
一、数据库设计的步骤 新奥尔良法，四个主要阶段： 1、用户需求分析：手机用户需求，确定系统边界； 2、概念设计（概念结构设计）：是抽象概念模型，较理想的是采用E-R方法。 …...
速盾：使用cdn后速度慢是怎么回事？
CDN（内容分发网络）是一种通过将网站的静态内容分布到全球各地的服务器，从而提供更快速度和更好用户体验的技术。然而，有时候用户会遇到使用CDN后速度变慢的问题，下面将探讨几种可能的原因。 服务器选择错误: CDN服务通…...
考研复试类比社团招新，无所谓“公平”，导师选谁都是他的权力
这篇文章是抖音和b站上上传的同名视频的原文稿件，感兴趣的csdn用户可以关注我的抖音和b站账号（GeekPower极客力量）。同时这篇文章也为视频观众提供方便，可以更加冷静地分析和思考。文章同时在知乎发表。 我考研一战的时候计算机考…...
阿里面试，有点焦虑。。
恭喜发现宝藏！搜索公众号【TechGuide】回复公司名，解锁更多新鲜好文和互联网大厂的笔经面经，目前已更新至美团、字节… 作者TechGuide【全网同名】 聊聊春招 春招来了，有些24届校招生可能还在做最后的努力，有些25届的…...
24计算机考研调剂 | 石家庄铁道大学
01石家庄铁道大学 智慧交通研究室招少量调剂学术型硕士（数一英一320分以上工科专业） 考研调剂招生信息 学校:石家庄铁道大学 专业:工学->计算机科学与技术->计算机应用技术 工学->测绘科学与技术->地图制图学与地理信息工程 工学->交…...
勇敢尝鲜之Springboot3大坑-集成Mybatisplus报错：ddlApplicationRunner
🌹作者主页：青花锁 🌹简介：Java领域优质创作者🏆、Java微服务架构公号作者😄 🌹简历模板、学习资料、面试题库、技术互助 🌹文末获取联系方式 📝 往期热门专栏回顾 专栏…...
linux高级编程：线程（二）、进程间的通信方式
线程： 回顾线程（一）： 1.线程间通信问题 线程间共享同一个资源（临界资源） 互斥： 排他性访问 linux系统 -- 提供了Posix标准的函数库 -- 互斥量（互斥锁） 原子操作&#x…...
Unity 佳能SDK 及数据获取
1. 填写信息跟官方申请SDK，大概1-2个工作日会邮件回复你 佳能（中国）- 佳定制（佳能影像产品）,SDK,EDSDK,CCAPI,软件开发包下载 2. 将SDK这两个文件放到 Unity Plugins文件夹 3. 把CameraControl 下面只要是绿色的 .cs 文件都复制到Unity 中...
Unity（第二十三部）导航
你可以使用 unity官方提供的 unity导航组件或第三方 unity导航组件，以实现游戏中角色或其他物体的导航。 unity导航组件通常具有多种导航模式，如飞行模式、步行模式、车辆模式等，可以根据不同的需求选择合适的模式。同时，unity导…...
根据建表sql语句生成go的struct代码工具
sql2struct 一个根据"CREATE TABLE"建表语句生成对应的Go语言结构体的工具，暂只支持 MySQL 表。 开发目的 在 github 中找到一些 sql2struct，但要么是 chrome 插件，要么是在线工具，要么是需要连接 MySQL，…...
Qt 自定义长条进度条（类似播放器进度条）
1.运行界面 2.步骤 其实很简单。 2.1绘制底图圆角矩形 2.2绘制播放进度圆角矩形 参考：painter绘图 3.源码 #pragma once#include <QWidget> #include <QLabel> #include <QHBoxLayout> #include <QMouseEvent> #include <QDebug&g…...
休息日的思考与额外题——双指针、原地哈希day28
文章目录 前言一、11. 盛最多水的容器二、41. 缺失的第一个正数三、42. 接雨水总结 前言 一个本硕双非的小菜鸡，备战24年秋招，计划二刷完卡子哥的刷题计划，加油！ 二刷决定精刷了，于是参加了卡子哥的刷题班，…...
数据修改
Oracle 目录 数据修改 将员工编号的 7369 的员工工资修改为 810，佣金改为 100 将工资最低的员工工资修改为公司的平均工资 将所有在 1981 年雇佣的员工的雇佣日期修改为今天，工资增长 20% 数据的更新操作 Oracle从入门到总裁:https://blog.csdn.n…...
Android JNI复杂用法，回调，C++中调用Java方法
Android JNI复杂用法，回调，C中调用Java方法 一、前言 Android JNI的 普通用法估计很多人都会，但是C中调用Java方法很多人不熟悉，并且网上很多介绍都是片段的。 虽然C/C调用Java不常用，但是掌握多一点还是有好处的。…...
)
C++从零开始的打怪升级之路(day41)
这是关于一个普通双非本科大一学生的C的学习记录贴 在此前，我学了一点点C语言还有简单的数据结构，如果有小伙伴想和我一起学习的，可以私信我交流分享学习资料 那么开启正题 今天分享的是关于继承的知识点 1.派生类的默认成员函数 首先我…...
网络六边形受到攻击
大家读完觉得有帮助记得关注和点赞！！！ 抽象 现代智能交通系统 （ITS） 的一个关键要求是能够以安全、可靠和匿名的方式从互联车辆和移动设备收集地理参考数据。Nexagon 协议建立在 IETF 定位器/ID 分离协议 （…...
挑战杯推荐项目
“人工智能”创意赛 - 智能艺术创作助手：借助大模型技术，开发能根据用户输入的主题、风格等要求，生成绘画、音乐、文学作品等多种形式艺术创作灵感或初稿的应用，帮助艺术家和创意爱好者激发创意、提高创作效率。 - 个性化梦境…...
树莓派超全系列教程文档--(61)树莓派摄像头高级使用方法
树莓派摄像头高级使用方法 配置通过调谐文件来调整相机行为 使用多个摄像头安装 libcam 和 rpicam-apps依赖关系开发包 文章来源： http://raspberry.dns8844.cn/documentation 原文网址 配置 大多数用例自动工作，无需更改相机配置。但是，一…...
盘古信息PCB行业解决方案：以全域场景重构，激活智造新未来
一、破局：PCB行业的时代之问 在数字经济蓬勃发展的浪潮中，PCB（印制电路板）作为 “电子产品之母”，其重要性愈发凸显。随着 5G、人工智能等新兴技术的加速渗透，PCB行业面临着前所未有的挑战与机遇。产品迭代…...
多模态商品数据接口：融合图像、语音与文字的下一代商品详情体验
一、多模态商品数据接口的技术架构 （一）多模态数据融合引擎 跨模态语义对齐 通过Transformer架构实现图像、语音、文字的语义关联。例如，当用户上传一张“蓝色连衣裙”的图片时，接口可自动提取图像中的颜色（RGB值&…...
Vue2 第一节_Vue2上手_插值表达式{{}}_访问数据和修改数据_Vue开发者工具
文章目录 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染2. 插值表达式{{}}3. 访问数据和修改数据4. vue响应式5. Vue开发者工具--方便调试 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染 准备容器引包创建Vue实例 new Vue()指定配置项 ->渲染数据 准备一个容器,例如: …...
如何在看板中有效管理突发紧急任务
在看板中有效管理突发紧急任务需要：设立专门的紧急任务通道、重新调整任务优先级、保持适度的WIP（Work-in-Progress）弹性、优化任务处理流程、提高团队应对突发情况的敏捷性。其中，设立专门的紧急任务通道尤为重要，这能…...
Robots.txt 文件
什么是robots.txt？ robots.txt 是一个位于网站根目录下的文本文件（如：https://example.com/robots.txt），它用于指导网络爬虫（如搜索引擎的蜘蛛程序）如何抓取该网站的内容。这个文件遵循 Robots…...
12.找到字符串中所有字母异位词
🧠 题目解析 题目描述： 给定两个字符串 s 和 p，找出 s 中所有 p 的字母异位词的起始索引。 返回的答案以数组形式表示。 字母异位词定义： 若两个字符串包含的字符种类和出现次数完全相同，顺序无所谓，则互为…...
NLP学习路线图（二十三）：长短期记忆网络（LSTM）
在自然语言处理（NLP）领域，我们时刻面临着处理序列数据的核心挑战。无论是理解句子的结构、分析文本的情感，还是实现语言的翻译，都需要模型能够捕捉词语之间依时序产生的复杂依赖关系。传统的神经网络结构在处理这种序列依赖时显得力不从心，而循环神经网络（RNN） 曾被视为…...