当前位置： 首页 > news >正文

09.自注意力机制

news 2026/5/28 4:53:28

文章目录

  • 输入
  • 输出
  • 运行
  • 如何运行
    • 解决关联性
    • attention score
    • 额外的
    • Q K V
  • Multi-head self-attention
  • Positional Encoding
  • Truncated Self-attention
  • 影像处理
  • vs CNN
  • vs RNN
  • 图上的应用

输入

在这里插入图片描述

输出

在这里插入图片描述

运行

在这里插入图片描述
链接（Attention Is All You Need）

如何运行

在这里插入图片描述

解决关联性

在这里插入图片描述

attention score

也可以不用softmax，relu也行。
在这里插入图片描述

额外的

在这里插入图片描述

Q K V

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Multi-head self-attention

在这里插入图片描述
在这里插入图片描述

Positional Encoding

在这里插入图片描述
https://arxiv.org/abs/2003.09229

在这里插入图片描述

Truncated Self-attention

只看一个小范围。
在这里插入图片描述

影像处理

在这里插入图片描述

vs CNN

在这里插入图片描述
在这里插入图片描述

vs RNN

在这里插入图片描述

图上的应用

在这里插入图片描述

相关文章：

09.自注意力机制

文章目录 输入输出运行如何运行解决关联性attention score额外的Q K V Multi-head self-attentionPositional EncodingTruncated Self-attention影像处理vs CNNvs RNN图上的应用 输入 输出 运行 链接（Attention Is All You Need） 如何运行 解决关联性 a…...

编程日记 2024/5/26 3:25:35

时政｜杂粮产业

政策支持 《新一轮千亿斤粮食产能提升行动方案（2024—2030年）》明确，按照“巩固提升口粮、主攻玉米大豆、兼顾薯类杂粮”的思路，因地制宜发展马铃薯、杂粮杂豆等品种，根据市场需求优产稳供。 产地发展 河北省石家庄…...

编程日记 2024/5/26 3:24:33

docker 安装 私有云盘 nextcloud

拉取镜像 # 拉取镜像 sudo docker pull nextcloud运行nextcloud 容器 # 内存足够可以不进行内存 --memory512m --memory-swap6g # 桥接网络 --network suixinnet --network-alias nextcloud \ sudo docker run -itd --name nextcloud --restartalways \ -p 9999:80 \ -v /m…...

编程日记 2024/5/26 3:23:32

第十一届蓝桥杯物联网试题（国赛）

国赛题目看着简单其实还是挺复杂的，所以说不能掉以轻心，目前遇到的问日主要有以下几点： 本次题主要注重的是信息交互，与A板通信的有电脑主机和B板，所以处理好这里面的交互过程很重要 国赛中避免不了会收到其他选手的…...

编程日记 2024/5/26 3:22:31

算法金 | Dask，一个超强的 python 库

本文来源公众号“算法金”，仅用于学术分享，侵权删，干货满满。 原文链接：Dask，一个超强的 python 库 1 Dask 概览 在数据科学和大数据处理的领域，高效处理海量数据一直是一项挑战。 为了应对这一挑战&am…...

编程日记 2024/5/26 3:20:30

Java 说唱歌手

Yo yo yo，欢迎来到Java地带，技术的盛宴开启， 从JDK到JVM，我们构建的是数字世界的奇迹。 Spring Boot启动，微服务架构轻盈起舞， IoC解耦依赖，AOP切面如丝般顺滑。 Maven管理依赖，Gra…...

编程日记 2024/5/26 3:18:28

面试-软件工程与设计模式相关，Spring简介

面试-软件工程与设计模式相关，Spring简介 1.编程思想1.1 面向过程编程1.2 面向对象编程1.2.1 面向对象编程三大特征 1.3 面向切面编程1.3.1 原理1.3.2 大白话？1.3.3 名词解释1.3.4 实现 2. 耦合与内聚2.1 耦合性2.2 内聚性 3. 设计模式3.1 设计模型七大原…...

编程日记 2024/5/26 3:17:27

IDEA中一些常见操作【持续更新】

文章目录 前言善用debugidea中debug按钮不显示自动定位文件【始终选择打开的文件】idea注释不顶格【不在行首】快速定位类的位置【找文件非常快】创建文件添加作者及时间信息快速跳转到文件顶端 底端 前言 因为这些操作偶尔操作一次，不用刻意记忆，有个印…...

编程日记 2024/5/26 3:16:26

java继承使用细节二

构造器 主类是无参构造器时会默认调用 public graduate() {// TODO Auto-generated constructor stub也就是说我这里要用构造器会直接调用父类。它是默认看不到的 ，System.out.println("graduate");} 但当主类是有参构造器如 public father_(int s,doubl…...

编程日记 2024/5/26 3:15:24

c++11 标准模板（STL）本地化库 - 平面类别（std::numpunct_byname） 表示系统提供的具名本地环境的 std::numpunct

本地化库 本地环境设施包含字符分类和字符串校对、数值、货币及日期/时间格式化和分析，以及消息取得的国际化支持。本地环境设置控制流 I/O 、正则表达式库和 C 标准库的其他组件的行为。 平面类别 表示系统提供的具名本地环境的 std::numpunct std::numpunct_byn…...

编程日记 2024/5/26 3:14:23

XILINX FPGA DDR 学习笔记(一)

DDR 内存的本质是数据的存储器，首先回到数据的存储上，数据在最底层的表现是地址。为了给每个数据进行存放并且在需要的时候读取这个数据，需要对数据在哪这个抽象的概念进行表述，我们科技树发展过程中把数据在哪用地址表示。一个数…...

编程日记 2024/5/26 3:13:22

vue源码2

vue之mustache库的机理其实是将模板字符串转化为tokens 然后再将 tokens 转化为 dom字符串&#xff0c;如下图 对于一般的将模板字符串转化为dom字符串&#xff0c;这样不能实现复杂的功能 let data {name:小王,age:18 } let templateStr <h1>我叫{{name}},我今年{{ag…...

编程日记 2024/5/26 3:12:21

Android四大组件 Broadcast广播机制

一　概述 广播 (Broadcast) 机制用于进程或线程间通信&#xff0c;广播分为广播发送和广播接收两个过程&#xff0c;其中广播接收者 BroadcastReceiver 是 Android 四大组件之一。BroadcastReceiver 分为两类&#xff1a; 静态广播接收者&#xff1a;通过 AndroidManifest.xm…...

编程日记 2024/5/26 3:09:19

redisson 使用fastJson2序列化

前因&#xff1a;一个项目&#xff1a;有人用redisTemplete存数据&#xff08;使用了fastjson2&#xff09;&#xff0c;使用redisson取的时候就会报错。要让redisTemplete与redisson序列化一致 一、自定义序列化器 import com.alibaba.fastjson2.JSON; import com.alibaba.fa…...

编程日记 2024/5/26 3:08:16

Python数据分析常用函数

Python基础 数字处理函数 Python提供了用于数字处理的内置函数和内置模块(math)&#xff0c;使用内置模块&#xff0c;需要先导入 import math。 内置函数math模块abs(-5)返回绝对值math.ceil(2.3)返回不小于x的最小整数divmod(9,4)返回商和余数math.floor(2.3)返回不大于x的…...

编程日记 2024/5/26 3:07:15

C++ 数据结构算法 学习笔记(32) -五大排序算法

C 数据结构算法 学习笔记(32) -五大排序算法 选择算法 如下若有多个女生的身高需要做排序: 常规思维: 第一步先找出所有候选美女中身高最高的&#xff0c;与最后一个数交换 第二步再找出除最后一位美女外其它美女中的最高者&#xff0c;与倒数第二个美女交换位置 再找出除最…...

编程日记 2024/5/26 3:04:12

从入门到精通：详解Linux进程管理

前言 在这篇文章中&#xff0c;我将带领大家深入学习和理解Linux系统中的进程管理。无论你是初学者还是有一定经验的开发者&#xff0c;相信这篇文章都会对你有所帮助。我们将详细讲解冯诺依曼体系结构、操作系统概念、进程管理、进程调度、进程状态、环境变量、内存管理以及其…...

编程日记 2024/5/26 3:02:11

【Linux】如何在 Linux 系统中使用 envsubst 来处理 Nginx 配置模板

一、创建 nginx.template 模板文件 vim nginx.template复制下面文件内容 server { listen ${BY_PORT}; server_name ${BY_HOST}; location /sys/ { proxy_pass http://${BY_GRAFANA_HOST}:${BY_GRAFANA_PORT}/; } # 其他配置... }这个模板中包含了几个环境变量&#…...

编程日记 2024/5/26 3:00:08

【LeetCode】438.找到字符串中所有字母异位词

找到字符串中所有字母异位词 题目描述&#xff1a; 给定两个字符串 s 和 p&#xff0c;找到 s 中所有 p 的 异位词 的子串&#xff0c;返回这些子串的起始索引。不考虑答案输出的顺序。 异位词 指由相同字母重排列形成的字符串&#xff08;包括相同的字符串&#xff09;。 示…...

编程日记 2024/5/26 2:58:06

力扣96. 不同的二叉搜索树

Problem: 96. 不同的二叉搜索树 文章目录 题目描述思路复杂度Code 题目描述 思路 一个数字做根节点的话可能的结果为&#xff1a;其左边数字做子树的组合数字乘以其右边数字做子树的个数之积 1.创建备忘录memo&#xff1b; 2.递归分别求取当前数字左边和右边数字做子树的数量&…...

编程日记 2024/5/26 2:57:05

Spring Cloud AWS 实战教程：构建高可用 SQS 消息队列应用 [特殊字符]

Spring Cloud AWS 实战教程&#xff1a;构建高可用 SQS 消息队列应用 &#x1f680; 【免费下载链接】spring-cloud-aws The New Home for Spring Cloud AWS 项目地址: https://gitcode.com/gh_mirrors/sp/spring-cloud-aws Spring Cloud AWS 是一个强大的开源框架&…...

编程新知 2026/5/26 4:32:22

VMware ESXi 9.1.0.0集成NVME+网卡驱动版发布｜新特性+驱动集成+部署升级+FAQ全指南

一、ESXi 9.1.0.0 正式版核心新特性 VMware ESXi 9.1.0.0&#xff08;2026 年 5 月发布&#xff09;是 vSphere 9.1 核心组件&#xff0c;聚焦硬件兼容扩展、性能跃升、安全加固、运维简化四大方向&#xff0c;重点强化 NVMe 存储与网卡生态适配&#xff0c;以下为关键更新&am…...

编程新知 2026/5/26 0:24:13

保姆级避坑指南：在Ubuntu 22.04上搞定ROS2 Humble、PX4与Gazebo的联合仿真（附Empy版本降级）

保姆级避坑指南&#xff1a;Ubuntu 22.04下ROS2 Humble与PX4联合仿真的21个关键陷阱当你在Ubuntu 22.04上第一次尝试搭建ROS2 Humble、PX4与Gazebo的联合仿真环境时&#xff0c;可能会遇到比预期更多的挑战。这不是一个简单的"复制粘贴命令就能完成"的任务——版本冲…...

编程新知 2026/5/25 23:12:51

Matlab，plot绘图如何添加边框

matlab生成的图——编辑(E)——坐标区属性(A)——框样式——Box&#xff0c;勾选效果&#xff1a;...

编程新知 2026/5/25 21:23:42

特定任务需求场景下的过约束并联机构构型设计与控制方法【附代码】

✨ 长期致力于曲面加工、构型综合、运动学和动力学建模、性能评价、多目标优化、滑模控制、鲁棒控制、视觉传感技术研究工作&#xff0c;擅长数据搜集与处理、建模仿真、程序编写、仿真设计。 ✅ 专业定制毕设、代码 ✅ 如需沟通交流&#xff0c;点击《获取方式》 &#xff08;…...

编程新知 2026/5/25 21:05:31

从NLP到RAG：AI标书生成系统的技术架构与落地路径深度剖析

引言2026年2月&#xff0c;国家发改委等八部门联合印发《关于加快招标投标领域人工智能推广应用的实施意见》&#xff0c;明确到2026年底招标文件检测、智能辅助评标、围串标识别等重点场景在部分省市实现全覆盖。同一时期&#xff0c;《招标投标法》修订草案经国务院常务会议原…...

编程新知 2026/5/25 19:34:11

告别Windows卡顿！在VMware里给Kubuntu 22.04 LTS分区和安装的保姆级避坑指南

告别Windows卡顿&#xff01;在VMware里给Kubuntu 22.04 LTS分区和安装的保姆级避坑指南你是否已经厌倦了Windows系统越来越慢的启动速度、频繁的后台更新和资源占用&#xff1f;当你的电脑开始频繁卡顿&#xff0c;或许该考虑给系统来一次"减负"了。Kubuntu 22.04 L…...

编程新知 2026/5/27 6:01:52

NBT数据可视化编辑解决方案：NBTExplorer技术解析与应用指南

NBT数据可视化编辑解决方案&#xff1a;NBTExplorer技术解析与应用指南 【免费下载链接】NBTExplorer A graphical NBT editor for all Minecraft NBT data sources 项目地址: https://gitcode.com/gh_mirrors/nb/NBTExplorer NBTExplorer是一款面向Minecraft数据管理的…...

编程新知 2026/5/25 15:41:42

原来专业的赛事专用匹克球厂家有这么多门道？

引言在匹克球运动蓬勃发展的当下&#xff0c;专业赛事专用匹克球的选择至关重要。很多人可能不知道&#xff0c;看似普通的赛事专用匹克球背后&#xff0c;其实隐藏着诸多门道。接下来&#xff0c;我们就一起深入探究专业赛事专用匹克球厂家的秘密。核心技术与材料的门道专业赛…...

编程新知 2026/5/25 15:28:08

监控摄像头小众场景爆发，融合类产品成新蓝海

随着户外运动热潮的持续和物联网技术的全面落地&#xff0c;打猎相机市场在2025年迎来了真正的爆发期&#xff0c;并在2026年继续向智能化、网联化深度演进。根据最新的行业监测数据&#xff0c;2025年全球消费类IPC&#xff08;网络摄像机&#xff09;出货量突破1.92亿台&…...

编程新知 2026/5/25 14:15:23