当前位置： 首页 > news >正文

Transformer学习笔记1

news 2026/3/30 18:34:28

Transformer学习笔记1

翻译中，每个词翻译时更看重哪个原词？
在这里插入图片描述
在这里插入图片描述## 注意力机制的一般性原理

在这里插入图片描述

典型的注意力机制

hard

one-hot形式，但是太过专一

soft

都分布，但是太过泛滥
在这里插入图片描述
在这里插入图片描述

local attention

在这里插入图片描述

自注意力机制：self-attention

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
**加粗样式**

多头注意力

在这里插入图片描述

Transformer论文

全并行，因此需要位置编码注入
Layernorm
在这里插入图片描述

相关文章：

Transformer学习笔记1

Transformer学习笔记1 翻译中，每个词翻译时更看重哪个原词？ ## 注意力机制的一般性原理 典型的注意力机制 hard one-hot形式，但是太过专一 soft 都分布，但是太过泛滥 local attention 自注意力机制：self-atte…...

编程日记 2023/3/17 22:41:35

软件测试简历个人技能和项目经验怎么写？（附项目资料）

目录 前言 个人技能 项目实战经验 项目名称：苏州银行项目（webapp） 项目描述： 项目名称：中国平安项目（webapp） 项目描述： 项目名称：苏宁易购项目（webapp&a…...

编程日记 2023/3/17 12:59:08

C语言运算符优先级和结合性一览表

所谓优先级就是当一个表达式中有多个运算符时，先计算谁，后计算谁。 运算符的优先级从高到低大致是：单目运算符、算术运算符、关系运算符、逻辑运算符、条件运算符、赋值运算符()和逗号运算符 简单记就是：！ > 算术运…...

编程日记 2023/3/17 12:59:55

Java8介绍

Java 8 Java 8 把函数式编程里的一些思想融入到 Java 的语法中，让我们可以用更少的时间写出高效的代码。 Java 8的优势： 代码行更少Lambda表达式Stream API便于并行减少空指针JVM优化兼容老版本 Lambda Lambda表达式是一段可以传递的代码&#xff0…...

编程日记 2023/3/17 13:01:47

Java 基准测试

Java 基准测试maven依赖简单使用执行多个函数BenchmarkMode(Mode.AverageTime) 运行模式OutputTimeUnit(TimeUnit.NANOSECONDS) 报告结果时间单位Warmup(iterations 5,time 1,timeUnit TimeUnit.SECONDS) 预热参数Measurement(iterations 5,time 1,timeUnit TimeUnit.SEC…...

编程日记 2023/3/17 13:04:06

普通护照出国免签及落地签国家和地区

1.互免签协议的国家（双向免签） 序号 协议国 限制条件 生效日期 1 阿联酋 停留不超过30天 2018.01.16 2 巴巴多斯 停留不超过30天 2017.06.01 3 巴哈马 停留不超过30天 2014.02.12 4 白俄罗斯 停留不超过30天 2018.8.10 5 波黑 停留不超…...

编程日记 2023/2/20 8:04:14

20230219 质心和重心的区别和性质

质心：（无需重力场的前提）所有质点的位置关于它们的质量的加权平均数。 重心：（需要重力场的前提）重力对系统中每个质点关于重心的力矩之和为零。 质心： xˉ∑i1nmixi∑i1nmi,yˉ∑i1nmiyi∑i1nmi…...

编程日记 2023/3/17 13:05:27

maven多环境配置

maven多环境配置 参考网址: https://mp.weixin.qq.com/s/-e74bd2wW_RLx7i4YF5M2w https://mp.weixin.qq.com/s/3p53kBHqys58QdMme6lR4A 项目地址 https://gitee.com/shao_ming314/maven-profile-dir 项目说明 该项目基于目录进行多环境配置 , 具体的配置文件在 src/resource…...

编程日记 2023/3/19 19:56:00

设计模式之中介模式与解释器模式详解和应用

目录1 中介模式详解1.1 中介模式的定义1.1.1 中介者模式在生活场景中应用1.1.2 中介者模式的使用场景1.2 中介模式的通用实现1.2.1 类图设计1.2.2 代码实现1.3 中介模式应用案例之聊天室1.3.1 类图设计1.3.2 代码实现1.4 中介者模式在源码中应用1.4.1 jdk中Timer类1.5 中介者模…...

编程日记 2023/3/21 23:54:01

2023年全国最新交安安全员精选真题及答案1

百分百题库提供交安安全员考试试题、交安安全员考试预测题、交安安全员考试真题、交安安全员证考试题库等，提供在线做题刷题，在线模拟考试，助你考试轻松过关。 一、单选题： 1.对施工组织设计中的安全技术措施或者专项施工方案是否…...

编程日记 2023/2/20 7:59:29

chrome插件开发备忘录

文章目录前言要点通信方式注意事项参考前言 第一次接触到插件开发，起因是我用了十多年的一键上传需要升级了。之前的版本来自于有道云，是通过在书签栏加一个书签，然后将上传功能注入到当前页面的方式来实现的。一直也用得挺好，挺…...

编程日记 2023/3/19 13:07:47

实例1：控制树莓派板载LED灯闪烁

实例1：控制树莓派板载LED灯闪烁 实验目的 通过背景知识学习，了解四足机器人mini pupper搭载的微型控制计算机：树莓派。通过对树莓派板载LED灯的状态读写控制，熟悉树莓派本身的操作及Linux中文件的读写。掌握常见函数time.sleep(…...

编程日记 2023/4/1 8:43:21

华为OD机试题 - 最大排列（JavaScript）

最近更新的博客 华为OD机试题 - 字符串加密（JavaScript） 华为OD机试题 - 字母消消乐（JavaScript） 华为OD机试题 - 字母计数（JavaScript） 华为OD机试题 - 整数分解（JavaScript） 华为OD机试题 - 单词反转（JavaScript） 使用说明 参加华为od机试，一定要注意不要完全背…...

编程日记 2023/3/17 13:14:41

手动创建 vue2 ssr 开发环境

本文和个人博客同步发表 更多优质文章查看个人博客 前言 手动搭建 vue ssr 一直是一些前端开发者的噩梦，因为其中牵扯到很多依赖包之间的配置以及webpack在node中的使用。就拿webpack配置来说，很多前端开发者还是喜欢用webpack-cli脚手架搭建项目。导致…...

编程日记 2023/4/1 8:43:34

RHCE-操作系统刻录工具

Windows 1.准备材料。 一个可用的windows操作系统(下载的时候用迅雷比较快) MSDN, 我告诉你 - 做一个安静的工具站 大于等于8G的U盘 想要安装的系统光盘镜像 U盘烧录工具（软碟通） UltraISO软碟通中文官方网站 - 光盘映像文件制作/编辑/转换工具 …...

编程日记 2023/4/1 8:46:29

PHP面向对象01：面向对象基础

PHP面向对象01：面向对象基础一、关键字说明二、技术实现1. 定义类2. 类成员三、 访问修饰限定符1. public2. protected3. private4. 空修饰限定符四、类内部对象五、构造和析构1. 构造方法2. 析构方法六、范围解析操作符1. 访问类常量2. 静态成员3. self关键字七、类…...

编程日记 2023/4/1 8:46:38

《爆肝整理》保姆级系列教程python接口自动化（十八）--重定向（Location）（详解）

简介 　　在实际工作中，有些接口请求完以后会重定向到别的url，而你却需要重定向前的url。URL主要是针对虚拟空间而言，因为不是自己独立管理的服务器，所以无法正常进行常规的操作。但是自己又不希望通过主域名的二级目录进行访问&…...

编程日记 2023/3/17 13:20:43

MySQL的索引、视图

什么是索引模式(schema)中的一个数据库对象 在数据库中用来加速对表的查询 通过使用快速路径访问方法快速定位数据,减少了磁盘的I/O 与表独立存放，但不能独立存在，必须属于某个表 由数据库自动维护，表被删除时，该表上的索引自动被…...

编程日记 2023/4/1 8:48:18

【JavaWeb】网络层协议——IP协议

目录 IP协议结构 IP地址管理 特殊IP 解决IP地址不够用 动态分配IP地址 NAT网络地址转换 IPV6 IP协议结构 版本：就是IP协议的版本号。目前只有 4 和 6。这里介绍的是IPV4 首部长度：单位是4字节。于TCP首部长度完全一致，也是可变的&…...

编程日记 2023/3/17 13:22:39

【Python学习笔记】41.Python3 多线程

前言 本章介绍Python的多线程。 Python3 多线程 多线程类似于同时执行多个不同程序，多线程运行有如下优点： 使用线程可以把占据长时间的程序中的任务放到后台去处理。用户界面可以更加吸引人，比如用户点击了一个按钮去触发某些事件的处理…...

编程日记 2023/3/20 2:28:08

别再让反归一化坑了你！用TensorFlow+Keras做LSTM时序预测的完整避坑指南

LSTM时序预测中的归一化陷阱：从原理到实战的完整解决方案 当你兴奋地看着训练好的LSTM模型在测试集上展现出漂亮的损失曲线，却在最后一步——将预测值还原为业务可理解的单位时栽了跟头，这种挫败感我深有体会。归一化是时序预测的标准预处理步…...

编程新知 2026/3/30 18:22:45

虚拟机异常断电后卡在initramfs阶段？手把手教你用xfs_repair修复系统分区

1. 虚拟机异常断电的常见后果 最近在调试一个基于KVM的虚拟机集群时，遇到了一个典型问题：机房突然断电后，几台虚拟机重启时卡在了initramfs阶段，屏幕上不断刷出"generating /run/initramfs/rdsosreport.txt"的提示。这种…...

编程新知 2026/3/30 18:14:39

Zemax优化别再乱点‘锤子’了！一个光学新手的真实踩坑与避坑指南

Zemax优化实战：从新手误区到高效操作的进阶指南 刚接触Zemax的光学设计师们，往往会被软件中那个神秘的"锤形优化"按钮所吸引——看似简单的点击就能自动改善设计，这种诱惑难以抗拒。但很快就会发现，盲目依赖这个功能可能…...

编程新知 2026/3/30 17:54:21

Cursor规则太多跑得慢？手把手教你优化.cursor配置，给VSCode插件‘减负’提速

Cursor性能优化实战：让智能编码助手重获流畅体验 当你的指尖在键盘上飞舞时，最令人沮丧的莫过于等待工具响应。作为深度集成AI能力的现代编码环境，Cursor在提供智能补全和代码建议的同时，也可能因为规则膨胀而逐渐变得迟缓。我曾见…...

编程新知 2026/3/30 17:52:17

Qwen3-ASR-0.6B在新闻行业的应用：采访录音快速转写

Qwen3-ASR-0.6B在新闻行业的应用：采访录音快速转写 1. 引言 新闻记者每天都要面对大量的采访录音，传统的手工转写方式耗时耗力。一段30分钟的采访录音，熟练的转录员可能需要2-3小时才能完成转写，而且还要面对口音、专业术语、背…...

编程新知 2026/3/30 12:14:10

BilibiliDown视频下载全攻略：从效率瓶颈到批量管理的进阶之路

BilibiliDown视频下载全攻略：从效率瓶颈到批量管理的进阶之路 【免费下载链接】BilibiliDown (GUI-多平台支持) B站 哔哩哔哩 视频下载器。支持稍后再看、收藏夹、UP主视频批量下载|Bilibili Video Downloader 😳 项目地址: https://gitcode.com/gh_mi…...

编程新知 2026/3/30 11:35:51

墨语灵犀效果展示：康沃尔语复兴运动口号→中文新文化运动风格译文

墨语灵犀效果展示：康沃尔语复兴运动口号→中文新文化运动风格译文 1. 翻译效果惊艳呈现 墨语灵犀作为一款融合古典美学与现代AI技术的深度翻译工具，在语言转换过程中展现出令人惊叹的文化适应能力。本次展示以康沃尔语复兴运动口号为源文本&#xff0c…...

编程新知 2026/3/30 10:42:40

告别反复插拔SD卡：迪文DGUS II屏串口下载与仿真调试全攻略（附T5L实战技巧）

告别反复插拔SD卡：迪文DGUS II屏串口下载与仿真调试全攻略（附T5L实战技巧） 在工业控制、智能家居和物联网设备的开发中，迪文DGUS II系列串口屏因其高性价比和强大的组态功能，已成为众多开发者的首选。然而，…...

编程新知 2026/3/30 9:31:51

Phan静态分析工具：10个自动化代码质量检查的终极指南

Phan静态分析工具：10个自动化代码质量检查的终极指南 【免费下载链接】phan Phan is a static analyzer for PHP. Phan prefers to avoid false-positives and attempts to prove incorrectness rather than correctness. 项目地址: https://gitcode.com/gh_mirro…...

编程新知 2026/3/30 8:31:27

51单片机+DAC0832信号发生器实战：从硬件搭建到波形调试全记录（附避坑指南）

51单片机DAC0832信号发生器实战：从硬件搭建到波形调试全记录（附避坑指南） 在电子设计领域，信号发生器是工程师和爱好者不可或缺的工具。传统商用设备虽然功能强大，但对于学习嵌入式系统和数模转换原理而言，…...

编程新知 2026/3/30 8:17:22