当前位置：首页 > news >正文

Transformer学习笔记1

news 2025/12/27 1:17:21

Transformer学习笔记1

翻译中，每个词翻译时更看重哪个原词？
在这里插入图片描述
## 注意力机制的一般性原理

在这里插入图片描述

典型的注意力机制

hard

one-hot形式，但是太过专一

soft

都分布，但是太过泛滥
在这里插入图片描述

local attention

在这里插入图片描述

自注意力机制：self-attention

在这里插入图片描述

**加粗样式**

多头注意力

在这里插入图片描述

Transformer论文

全并行，因此需要位置编码注入
Layernorm
在这里插入图片描述

Transformer学习笔记1

Transformer学习笔记1 翻译中，每个词翻译时更看重哪个原词？ ## 注意力机制的一般性原理典型的注意力机制 hard one-hot形式，但是太过专一 soft 都分布，但是太过泛滥 local attention 自注意力机制：self-atte…...

编程日记 2023/3/17 22:41:35

软件测试简历个人技能和项目经验怎么写？（附项目资料）

目录前言个人技能项目实战经验项目名称：苏州银行项目（webapp） 项目描述： 项目名称：中国平安项目（webapp） 项目描述： 项目名称：苏宁易购项目（webapp&a…...

编程日记 2023/3/17 12:59:08

C语言运算符优先级和结合性一览表

所谓优先级就是当一个表达式中有多个运算符时，先计算谁，后计算谁。运算符的优先级从高到低大致是：单目运算符、算术运算符、关系运算符、逻辑运算符、条件运算符、赋值运算符()和逗号运算符简单记就是：！ > 算术运…...

编程日记 2023/3/17 12:59:55

Java8介绍

Java 8 Java 8 把函数式编程里的一些思想融入到 Java 的语法中，让我们可以用更少的时间写出高效的代码。 Java 8的优势： 代码行更少Lambda表达式Stream API便于并行减少空指针JVM优化兼容老版本 Lambda Lambda表达式是一段可以传递的代码&#xff0…...

编程日记 2023/3/17 13:01:47

Java 基准测试maven依赖简单使用执行多个函数BenchmarkMode(Mode.AverageTime) 运行模式OutputTimeUnit(TimeUnit.NANOSECONDS) 报告结果时间单位Warmup(iterations 5,time 1,timeUnit TimeUnit.SECONDS) 预热参数Measurement(iterations 5,time 1,timeUnit TimeUnit.SEC…...

编程日记 2023/3/17 13:04:06

普通护照出国免签及落地签国家和地区

1.互免签协议的国家（双向免签） 序号协议国限制条件生效日期 1 阿联酋停留不超过30天 2018.01.16 2 巴巴多斯停留不超过30天 2017.06.01 3 巴哈马停留不超过30天 2014.02.12 4 白俄罗斯停留不超过30天 2018.8.10 5 波黑停留不超…...

编程日记 2023/2/20 8:04:14

20230219 质心和重心的区别和性质

质心：（无需重力场的前提）所有质点的位置关于它们的质量的加权平均数。重心：（需要重力场的前提）重力对系统中每个质点关于重心的力矩之和为零。质心： xˉ∑i1nmixi∑i1nmi,yˉ∑i1nmiyi∑i1nmi…...

编程日记 2023/3/17 13:05:27

maven多环境配置

maven多环境配置参考网址: https://mp.weixin.qq.com/s/-e74bd2wW_RLx7i4YF5M2w https://mp.weixin.qq.com/s/3p53kBHqys58QdMme6lR4A 项目地址 https://gitee.com/shao_ming314/maven-profile-dir 项目说明该项目基于目录进行多环境配置 , 具体的配置文件在 src/resource…...

编程日记 2023/3/19 19:56:00

设计模式之中介模式与解释器模式详解和应用

目录1 中介模式详解1.1 中介模式的定义1.1.1 中介者模式在生活场景中应用1.1.2 中介者模式的使用场景1.2 中介模式的通用实现1.2.1 类图设计1.2.2 代码实现1.3 中介模式应用案例之聊天室1.3.1 类图设计1.3.2 代码实现1.4 中介者模式在源码中应用1.4.1 jdk中Timer类1.5 中介者模…...

编程日记 2023/3/21 23:54:01

2023年全国最新交安安全员精选真题及答案1

百分百题库提供交安安全员考试试题、交安安全员考试预测题、交安安全员考试真题、交安安全员证考试题库等，提供在线做题刷题，在线模拟考试，助你考试轻松过关。一、单选题： 1.对施工组织设计中的安全技术措施或者专项施工方案是否…...

编程日记 2023/2/20 7:59:29

chrome插件开发备忘录

文章目录前言要点通信方式注意事项参考前言第一次接触到插件开发，起因是我用了十多年的一键上传需要升级了。之前的版本来自于有道云，是通过在书签栏加一个书签，然后将上传功能注入到当前页面的方式来实现的。一直也用得挺好，挺…...

编程日记 2023/3/19 13:07:47

实例1：控制树莓派板载LED灯闪烁

实例1：控制树莓派板载LED灯闪烁实验目的通过背景知识学习，了解四足机器人mini pupper搭载的微型控制计算机：树莓派。通过对树莓派板载LED灯的状态读写控制，熟悉树莓派本身的操作及Linux中文件的读写。掌握常见函数time.sleep(…...

编程日记 2023/4/1 8:43:21

华为OD机试题 - 最大排列（JavaScript）

最近更新的博客华为OD机试题 - 字符串加密（JavaScript）华为OD机试题 - 字母消消乐（JavaScript）华为OD机试题 - 字母计数（JavaScript）华为OD机试题 - 整数分解（JavaScript）华为OD机试题 - 单词反转（JavaScript）使用说明参加华为od机试，一定要注意不要完全背…...

编程日记 2023/3/17 13:14:41

手动创建 vue2 ssr 开发环境

本文和个人博客同步发表更多优质文章查看个人博客前言手动搭建 vue ssr 一直是一些前端开发者的噩梦，因为其中牵扯到很多依赖包之间的配置以及webpack在node中的使用。就拿webpack配置来说，很多前端开发者还是喜欢用webpack-cli脚手架搭建项目。导致…...

编程日记 2023/4/1 8:43:34

RHCE-操作系统刻录工具

Windows 1.准备材料。一个可用的windows操作系统(下载的时候用迅雷比较快) MSDN, 我告诉你 - 做一个安静的工具站大于等于8G的U盘想要安装的系统光盘镜像 U盘烧录工具（软碟通） UltraISO软碟通中文官方网站 - 光盘映像文件制作/编辑/转换工具 …...

编程日记 2023/4/1 8:46:29

PHP面向对象01：面向对象基础

PHP面向对象01：面向对象基础一、关键字说明二、技术实现1. 定义类2. 类成员三、访问修饰限定符1. public2. protected3. private4. 空修饰限定符四、类内部对象五、构造和析构1. 构造方法2. 析构方法六、范围解析操作符1. 访问类常量2. 静态成员3. self关键字七、类…...

编程日记 2023/4/1 8:46:38

《爆肝整理》保姆级系列教程python接口自动化（十八）--重定向（Location）（详解）

简介　　在实际工作中，有些接口请求完以后会重定向到别的url，而你却需要重定向前的url。URL主要是针对虚拟空间而言，因为不是自己独立管理的服务器，所以无法正常进行常规的操作。但是自己又不希望通过主域名的二级目录进行访问&…...

编程日记 2023/3/17 13:20:43

MySQL的索引、视图

什么是索引模式(schema)中的一个数据库对象在数据库中用来加速对表的查询通过使用快速路径访问方法快速定位数据,减少了磁盘的I/O 与表独立存放，但不能独立存在，必须属于某个表由数据库自动维护，表被删除时，该表上的索引自动被…...

编程日记 2023/4/1 8:48:18

【JavaWeb】网络层协议——IP协议

目录 IP协议结构 IP地址管理特殊IP 解决IP地址不够用动态分配IP地址 NAT网络地址转换 IPV6 IP协议结构版本：就是IP协议的版本号。目前只有 4 和 6。这里介绍的是IPV4 首部长度：单位是4字节。于TCP首部长度完全一致，也是可变的&…...

编程日记 2023/3/17 13:22:39

【Python学习笔记】41.Python3 多线程

前言本章介绍Python的多线程。 Python3 多线程多线程类似于同时执行多个不同程序，多线程运行有如下优点： 使用线程可以把占据长时间的程序中的任务放到后台去处理。用户界面可以更加吸引人，比如用户点击了一个按钮去触发某些事件的处理…...

编程日记 2023/3/20 2:28:08

地震勘探——干扰波识别、井中地震时距曲线特点

目录干扰波识别反射波地震勘探的干扰波井中地震时距曲线特点干扰波识别有效波：可以用来解决所提出的地质任务的波；干扰波：所有妨碍辨认、追踪有效波的其他波。地震勘探中，有效波和干扰波是相对的。例如，在反射波…...

编程新知 2025/12/25 12:02:23

【力扣数据库知识手册笔记】索引

索引索引的优缺点优点1. 通过创建唯一性索引，可以保证数据库表中每一行数据的唯一性。2. 可以加快数据的检索速度（创建索引的主要原因）。3. 可以加速表和表之间的连接，实现数据的参考完整性。4. 可以在查询过程中，…...

编程新知 2025/12/17 22:48:09

遍历 Map 类型集合的方法汇总

1 方法一先用方法 keySet() 获取集合中的所有键。再通过 gey(key) 方法用对应键获取值 import java.util.HashMap; import java.util.Set;public class Test {public static void main(String[] args) {HashMap hashMap new HashMap();hashMap.put("语文",99);has…...

编程新知 2025/12/18 3:35:57

CentOS下的分布式内存计算Spark环境部署

一、Spark 核心架构与应用场景 1.1 分布式计算引擎的核心优势 Spark 是基于内存的分布式计算框架，相比 MapReduce 具有以下核心优势： 内存计算：数据可常驻内存，迭代计算性能提升 10-100 倍（文档段落：3-79…...

编程新知 2025/12/26 8:10:47

全球首个30米分辨率湿地数据集(2000—2022)

数据简介今天我们分享的数据是全球30米分辨率湿地数据集，包含8种湿地亚类，该数据以0.5X0.5的瓦片存储，我们整理了所有属于中国的瓦片名称与其对应省份，方便大家研究使用。该数据集作为全球首个30米分辨率、覆盖2000–2022年时间…...

编程新知 2025/12/21 6:19:19

c++ 面试题(1)-----深度优先搜索（DFS）实现

操作系统：ubuntu22.04 IDE:Visual Studio Code 编程语言：C11 题目描述地上有一个 m 行 n 列的方格，从坐标 [0,0] 起始。一个机器人可以从某一格移动到上下左右四个格子，但不能进入行坐标和列坐标的数位之和大于 k 的格子。例…...

编程新知 2025/11/5 20:18:24

现代密码学 | 椭圆曲线密码学—附py代码

Elliptic Curve Cryptography 椭圆曲线密码学（ECC）是一种基于有限域上椭圆曲线数学特性的公钥加密技术。其核心原理涉及椭圆曲线的代数性质、离散对数问题以及有限域上的运算。椭圆曲线密码学是多种数字签名算法的基础，例如椭圆曲线数字签…...

编程新知 2025/12/14 17:07:40

微服务商城-商品微服务

数据表 CREATE TABLE product (id bigint(20) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 商品id,cateid smallint(6) UNSIGNED NOT NULL DEFAULT 0 COMMENT 类别Id,name varchar(100) NOT NULL DEFAULT COMMENT 商品名称,subtitle varchar(200) NOT NULL DEFAULT COMMENT 商…...

编程新知 2025/12/9 4:34:53