sparse transformer 常见稀疏注意力
参考：
https://zhuanlan.zhihu.com/p/259591644
主要就是降低transformer自注意力模块的复杂度
复杂度主要就是 Q · K^T影响的，稀疏注意力就是在Q点乘K的转置这模块做文章
下列式一些sparse transformer稀疏注意力方法
a、transformer原始的 ， Q · K^T，其中 K^T 表示 K 的转置
b、每个token与前后三个做自注意力计算
c、膨胀注意力（dilated attention）：每个token与前后三个做自注意力计算，但这三个有间隔，就是比如第一个token看右面3,5，7
d、全局token是第一二个token看所有的token，3及后面的token只看· K^T 矩阵的1、2token；sliding划窗见b
a、全局token是第一二个token看所有的token，3及后面的token只看· K^T 矩阵的1、2token
b、划窗
c、见上面c
d、random
e、Q矩阵的123token 看 · K^T123token；Q矩阵的456token 看 · K^T456token 。。。。
相关文章：
sparse transformer 常见稀疏注意力
参考： https://zhuanlan.zhihu.com/p/259591644 主要就是降低transformer自注意力模块的复杂度 复杂度主要就是 Q K^T影响的，稀疏注意力就是在Q点乘K的转置这模块做文章 下列式一些sparse transformer稀疏注意力方法 a、transformer原始的 ࿰…...
力扣 第 125 场双周赛 解题报告 | 珂学家 | 树形DP + 组合数学
前言 整体评价 T4感觉有简单的方法，无奈树形DP一条路上走到黑了，这场还是有难度的。 T1. 超过阈值的最少操作数 I 思路: 模拟 class Solution {public int minOperations(int[] nums, int k) {return (int)Arrays.stream(nums).filter(x -> x <…...
基于springboot+vue的人格障碍诊断系统
博主主页：猫头鹰源码 博主简介：Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战，欢迎高校老师\讲师\同行交流合作 主要内容：毕业设计(Javaweb项目|小程序|Pyt…...
Go-知识struct
Go-知识struct 1. struct 的定义1.1 定义字段1.2 定义方法 2. struct的复用3. 方法受体4. 字段标签4.1 Tag是Struct的一部分4.2 Tag 的约定4.3 Tag 的获取 githupio地址：https://a18792721831.github.io/ 1. struct 的定义 Go 语言的struct与Java中的class类似&am…...
SpringMVC 学习（十一）之数据校验
目录 1 数据校验介绍 2 普通校验 3 分组校验 4 参考文档 1 数据校验介绍 在实际的项目中，一般会有两种校验数据的方式：客户端校验和服务端校验 客户端校验：这种校验一般是在前端页面使用 JS 代码进行校验，主要是验证输入数据…...
软考55-上午题-【数据库】-数据库设计步骤1
一、数据库设计的步骤 新奥尔良法，四个主要阶段： 1、用户需求分析：手机用户需求，确定系统边界； 2、概念设计（概念结构设计）：是抽象概念模型，较理想的是采用E-R方法。 …...
速盾：使用cdn后速度慢是怎么回事？
CDN（内容分发网络）是一种通过将网站的静态内容分布到全球各地的服务器，从而提供更快速度和更好用户体验的技术。然而，有时候用户会遇到使用CDN后速度变慢的问题，下面将探讨几种可能的原因。 服务器选择错误: CDN服务通…...
考研复试类比社团招新，无所谓“公平”，导师选谁都是他的权力
这篇文章是抖音和b站上上传的同名视频的原文稿件，感兴趣的csdn用户可以关注我的抖音和b站账号（GeekPower极客力量）。同时这篇文章也为视频观众提供方便，可以更加冷静地分析和思考。文章同时在知乎发表。 我考研一战的时候计算机考…...
阿里面试，有点焦虑。。
恭喜发现宝藏！搜索公众号【TechGuide】回复公司名，解锁更多新鲜好文和互联网大厂的笔经面经，目前已更新至美团、字节… 作者TechGuide【全网同名】 聊聊春招 春招来了，有些24届校招生可能还在做最后的努力，有些25届的…...
24计算机考研调剂 | 石家庄铁道大学
01石家庄铁道大学 智慧交通研究室招少量调剂学术型硕士（数一英一320分以上工科专业） 考研调剂招生信息 学校:石家庄铁道大学 专业:工学->计算机科学与技术->计算机应用技术 工学->测绘科学与技术->地图制图学与地理信息工程 工学->交…...
勇敢尝鲜之Springboot3大坑-集成Mybatisplus报错：ddlApplicationRunner
🌹作者主页：青花锁 🌹简介：Java领域优质创作者🏆、Java微服务架构公号作者😄 🌹简历模板、学习资料、面试题库、技术互助 🌹文末获取联系方式 📝 往期热门专栏回顾 专栏…...
linux高级编程：线程（二）、进程间的通信方式
线程： 回顾线程（一）： 1.线程间通信问题 线程间共享同一个资源（临界资源） 互斥： 排他性访问 linux系统 -- 提供了Posix标准的函数库 -- 互斥量（互斥锁） 原子操作&#x…...
Unity 佳能SDK 及数据获取
1. 填写信息跟官方申请SDK，大概1-2个工作日会邮件回复你 佳能（中国）- 佳定制（佳能影像产品）,SDK,EDSDK,CCAPI,软件开发包下载 2. 将SDK这两个文件放到 Unity Plugins文件夹 3. 把CameraControl 下面只要是绿色的 .cs 文件都复制到Unity 中...
Unity（第二十三部）导航
你可以使用 unity官方提供的 unity导航组件或第三方 unity导航组件，以实现游戏中角色或其他物体的导航。 unity导航组件通常具有多种导航模式，如飞行模式、步行模式、车辆模式等，可以根据不同的需求选择合适的模式。同时，unity导…...
根据建表sql语句生成go的struct代码工具
sql2struct 一个根据"CREATE TABLE"建表语句生成对应的Go语言结构体的工具，暂只支持 MySQL 表。 开发目的 在 github 中找到一些 sql2struct，但要么是 chrome 插件，要么是在线工具，要么是需要连接 MySQL，…...
Qt 自定义长条进度条（类似播放器进度条）
1.运行界面 2.步骤 其实很简单。 2.1绘制底图圆角矩形 2.2绘制播放进度圆角矩形 参考：painter绘图 3.源码 #pragma once#include <QWidget> #include <QLabel> #include <QHBoxLayout> #include <QMouseEvent> #include <QDebug&g…...
休息日的思考与额外题——双指针、原地哈希day28
文章目录 前言一、11. 盛最多水的容器二、41. 缺失的第一个正数三、42. 接雨水总结 前言 一个本硕双非的小菜鸡，备战24年秋招，计划二刷完卡子哥的刷题计划，加油！ 二刷决定精刷了，于是参加了卡子哥的刷题班，…...
数据修改
Oracle 目录 数据修改 将员工编号的 7369 的员工工资修改为 810，佣金改为 100 将工资最低的员工工资修改为公司的平均工资 将所有在 1981 年雇佣的员工的雇佣日期修改为今天，工资增长 20% 数据的更新操作 Oracle从入门到总裁:https://blog.csdn.n…...
Android JNI复杂用法，回调，C++中调用Java方法
Android JNI复杂用法，回调，C中调用Java方法 一、前言 Android JNI的 普通用法估计很多人都会，但是C中调用Java方法很多人不熟悉，并且网上很多介绍都是片段的。 虽然C/C调用Java不常用，但是掌握多一点还是有好处的。…...
)
C++从零开始的打怪升级之路(day41)
这是关于一个普通双非本科大一学生的C的学习记录贴 在此前，我学了一点点C语言还有简单的数据结构，如果有小伙伴想和我一起学习的，可以私信我交流分享学习资料 那么开启正题 今天分享的是关于继承的知识点 1.派生类的默认成员函数 首先我…...
SpringBoot-17-MyBatis动态SQL标签之常用标签
文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…...
龙虎榜——20250610
上证指数放量收阴线，个股多数下跌，盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型，指数短线有调整的需求，大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的：御银股份、雄帝科技 驱动…...
day52 ResNet18 CBAM
在深度学习的旅程中，我们不断探索如何提升模型的性能。今天，我将分享我在 ResNet18 模型中插入 CBAM（Convolutional Block Attention Module）模块，并采用分阶段微调策略的实践过程。通过这个过程，我不仅提升…...
Java如何权衡是使用无序的数组还是有序的数组
在 Java 中，选择有序数组还是无序数组取决于具体场景的性能需求与操作特点。以下是关键权衡因素及决策指南： ⚖️ 核心权衡维度 维度有序数组无序数组查询性能二分查找 O(log n) ✅线性扫描 O(n) ❌插入/删除需移位维护顺序 O(n) ❌直接操作尾部 O(1) ✅内存开销与无序数组相…...
【7色560页】职场可视化逻辑图高级数据分析PPT模版
7种色调职场工作汇报PPT，橙蓝、黑红、红蓝、蓝橙灰、浅蓝、浅绿、深蓝七种色调模版 【7色560页】职场可视化逻辑图高级数据分析PPT模版：职场可视化逻辑图分析PPT模版https://pan.quark.cn/s/78aeabbd92d1...
GruntJS-前端自动化任务运行器从入门到实战
Grunt 完全指南：从入门到实战 一、Grunt 是什么？ Grunt是一个基于 Node.js 的前端自动化任务运行器，主要用于自动化执行项目开发中重复性高的任务，例如文件压缩、代码编译、语法检查、单元测试、文件合并等。通过配置简洁的任务…...
08. C#入门系列【类的基本概念】：开启编程世界的奇妙冒险
C#入门系列【类的基本概念】：开启编程世界的奇妙冒险 嘿，各位编程小白探险家！欢迎来到 C# 的奇幻大陆！今天咱们要深入探索这片大陆上至关重要的 “建筑”—— 类！别害怕，跟着我，保准让你轻松搞…...
Spring AOP代理对象生成原理
代理对象生成的关键类是【AnnotationAwareAspectJAutoProxyCreator】，这个类继承了【BeanPostProcessor】是一个后置处理器 在bean对象生命周期中初始化时执行【org.springframework.beans.factory.config.BeanPostProcessor#postProcessAfterInitialization】方法时…...
Vue3 PC端 UI组件库我更推荐Naive UI
一、Vue3生态现状与UI库选择的重要性 随着Vue3的稳定发布和Composition API的广泛采用，前端开发者面临着UI组件库的重新选择。一个好的UI库不仅能提升开发效率，还能确保项目的长期可维护性。本文将对比三大主流Vue3 UI库（Naive UI、Element …...
goreplay
1.github地址 https://github.com/buger/goreplay 2.简单介绍 GoReplay 是一个开源的网络监控工具，可以记录用户的实时流量并将其用于镜像、负载测试、监控和详细分析。 3.出现背景 随着应用程序的增长，测试它所需的工作量也会呈指数级增长。GoRepl…...