当前位置：首页 > news >正文

Transformer学习笔记1

news 2025/11/6 15:37:09

Transformer学习笔记1

翻译中，每个词翻译时更看重哪个原词？
在这里插入图片描述
## 注意力机制的一般性原理

在这里插入图片描述

典型的注意力机制

hard

one-hot形式，但是太过专一

soft

都分布，但是太过泛滥
在这里插入图片描述

local attention

在这里插入图片描述

自注意力机制：self-attention

在这里插入图片描述

**加粗样式**

多头注意力

在这里插入图片描述

Transformer论文

全并行，因此需要位置编码注入
Layernorm
在这里插入图片描述

Transformer学习笔记1

Transformer学习笔记1 翻译中，每个词翻译时更看重哪个原词？ ## 注意力机制的一般性原理典型的注意力机制 hard one-hot形式，但是太过专一 soft 都分布，但是太过泛滥 local attention 自注意力机制：self-atte…...

编程日记 2023/3/17 22:41:35

软件测试简历个人技能和项目经验怎么写？（附项目资料）

目录前言个人技能项目实战经验项目名称：苏州银行项目（webapp） 项目描述： 项目名称：中国平安项目（webapp） 项目描述： 项目名称：苏宁易购项目（webapp&a…...

编程日记 2023/3/17 12:59:08

C语言运算符优先级和结合性一览表

所谓优先级就是当一个表达式中有多个运算符时，先计算谁，后计算谁。运算符的优先级从高到低大致是：单目运算符、算术运算符、关系运算符、逻辑运算符、条件运算符、赋值运算符()和逗号运算符简单记就是：！ > 算术运…...

编程日记 2023/3/17 12:59:55

Java8介绍

Java 8 Java 8 把函数式编程里的一些思想融入到 Java 的语法中，让我们可以用更少的时间写出高效的代码。 Java 8的优势： 代码行更少Lambda表达式Stream API便于并行减少空指针JVM优化兼容老版本 Lambda Lambda表达式是一段可以传递的代码&#xff0…...

编程日记 2023/3/17 13:01:47

Java 基准测试maven依赖简单使用执行多个函数BenchmarkMode(Mode.AverageTime) 运行模式OutputTimeUnit(TimeUnit.NANOSECONDS) 报告结果时间单位Warmup(iterations 5,time 1,timeUnit TimeUnit.SECONDS) 预热参数Measurement(iterations 5,time 1,timeUnit TimeUnit.SEC…...

编程日记 2023/3/17 13:04:06

普通护照出国免签及落地签国家和地区

1.互免签协议的国家（双向免签） 序号协议国限制条件生效日期 1 阿联酋停留不超过30天 2018.01.16 2 巴巴多斯停留不超过30天 2017.06.01 3 巴哈马停留不超过30天 2014.02.12 4 白俄罗斯停留不超过30天 2018.8.10 5 波黑停留不超…...

编程日记 2023/2/20 8:04:14

20230219 质心和重心的区别和性质

质心：（无需重力场的前提）所有质点的位置关于它们的质量的加权平均数。重心：（需要重力场的前提）重力对系统中每个质点关于重心的力矩之和为零。质心： xˉ∑i1nmixi∑i1nmi,yˉ∑i1nmiyi∑i1nmi…...

编程日记 2023/3/17 13:05:27

maven多环境配置

maven多环境配置参考网址: https://mp.weixin.qq.com/s/-e74bd2wW_RLx7i4YF5M2w https://mp.weixin.qq.com/s/3p53kBHqys58QdMme6lR4A 项目地址 https://gitee.com/shao_ming314/maven-profile-dir 项目说明该项目基于目录进行多环境配置 , 具体的配置文件在 src/resource…...

编程日记 2023/3/19 19:56:00

设计模式之中介模式与解释器模式详解和应用

目录1 中介模式详解1.1 中介模式的定义1.1.1 中介者模式在生活场景中应用1.1.2 中介者模式的使用场景1.2 中介模式的通用实现1.2.1 类图设计1.2.2 代码实现1.3 中介模式应用案例之聊天室1.3.1 类图设计1.3.2 代码实现1.4 中介者模式在源码中应用1.4.1 jdk中Timer类1.5 中介者模…...

编程日记 2023/3/21 23:54:01

2023年全国最新交安安全员精选真题及答案1

百分百题库提供交安安全员考试试题、交安安全员考试预测题、交安安全员考试真题、交安安全员证考试题库等，提供在线做题刷题，在线模拟考试，助你考试轻松过关。一、单选题： 1.对施工组织设计中的安全技术措施或者专项施工方案是否…...

编程日记 2023/2/20 7:59:29

chrome插件开发备忘录

文章目录前言要点通信方式注意事项参考前言第一次接触到插件开发，起因是我用了十多年的一键上传需要升级了。之前的版本来自于有道云，是通过在书签栏加一个书签，然后将上传功能注入到当前页面的方式来实现的。一直也用得挺好，挺…...

编程日记 2023/3/19 13:07:47

实例1：控制树莓派板载LED灯闪烁

实例1：控制树莓派板载LED灯闪烁实验目的通过背景知识学习，了解四足机器人mini pupper搭载的微型控制计算机：树莓派。通过对树莓派板载LED灯的状态读写控制，熟悉树莓派本身的操作及Linux中文件的读写。掌握常见函数time.sleep(…...

编程日记 2023/4/1 8:43:21

华为OD机试题 - 最大排列（JavaScript）

最近更新的博客华为OD机试题 - 字符串加密（JavaScript）华为OD机试题 - 字母消消乐（JavaScript）华为OD机试题 - 字母计数（JavaScript）华为OD机试题 - 整数分解（JavaScript）华为OD机试题 - 单词反转（JavaScript）使用说明参加华为od机试，一定要注意不要完全背…...

编程日记 2023/3/17 13:14:41

手动创建 vue2 ssr 开发环境

本文和个人博客同步发表更多优质文章查看个人博客前言手动搭建 vue ssr 一直是一些前端开发者的噩梦，因为其中牵扯到很多依赖包之间的配置以及webpack在node中的使用。就拿webpack配置来说，很多前端开发者还是喜欢用webpack-cli脚手架搭建项目。导致…...

编程日记 2023/4/1 8:43:34

RHCE-操作系统刻录工具

Windows 1.准备材料。一个可用的windows操作系统(下载的时候用迅雷比较快) MSDN, 我告诉你 - 做一个安静的工具站大于等于8G的U盘想要安装的系统光盘镜像 U盘烧录工具（软碟通） UltraISO软碟通中文官方网站 - 光盘映像文件制作/编辑/转换工具 …...

编程日记 2023/4/1 8:46:29

PHP面向对象01：面向对象基础

PHP面向对象01：面向对象基础一、关键字说明二、技术实现1. 定义类2. 类成员三、访问修饰限定符1. public2. protected3. private4. 空修饰限定符四、类内部对象五、构造和析构1. 构造方法2. 析构方法六、范围解析操作符1. 访问类常量2. 静态成员3. self关键字七、类…...

编程日记 2023/4/1 8:46:38

《爆肝整理》保姆级系列教程python接口自动化（十八）--重定向（Location）（详解）

简介　　在实际工作中，有些接口请求完以后会重定向到别的url，而你却需要重定向前的url。URL主要是针对虚拟空间而言，因为不是自己独立管理的服务器，所以无法正常进行常规的操作。但是自己又不希望通过主域名的二级目录进行访问&…...

编程日记 2023/3/17 13:20:43

MySQL的索引、视图

什么是索引模式(schema)中的一个数据库对象在数据库中用来加速对表的查询通过使用快速路径访问方法快速定位数据,减少了磁盘的I/O 与表独立存放，但不能独立存在，必须属于某个表由数据库自动维护，表被删除时，该表上的索引自动被…...

编程日记 2023/4/1 8:48:18

【JavaWeb】网络层协议——IP协议

目录 IP协议结构 IP地址管理特殊IP 解决IP地址不够用动态分配IP地址 NAT网络地址转换 IPV6 IP协议结构版本：就是IP协议的版本号。目前只有 4 和 6。这里介绍的是IPV4 首部长度：单位是4字节。于TCP首部长度完全一致，也是可变的&…...

编程日记 2023/3/17 13:22:39

【Python学习笔记】41.Python3 多线程

前言本章介绍Python的多线程。 Python3 多线程多线程类似于同时执行多个不同程序，多线程运行有如下优点： 使用线程可以把占据长时间的程序中的任务放到后台去处理。用户界面可以更加吸引人，比如用户点击了一个按钮去触发某些事件的处理…...

编程日记 2023/3/20 2:28:08

KubeSphere 容器平台高可用：环境搭建与可视化操作指南

Linux_k8s篇欢迎来到Linux的世界，看笔记好好学多敲多打，每个人都是大神！ 题目：KubeSphere 容器平台高可用：环境搭建与可视化操作指南版本号: 1.0,0 作者: 老王要学习日期: 2025.06.05 适用环境: Ubuntu22 文档说…...

编程新知 2025/11/6 12:49:32

Docker 离线安装指南

参考文章 1、确认操作系统类型及内核版本 Docker依赖于Linux内核的一些特性，不同版本的Docker对内核版本有不同要求。例如，Docker 17.06及之后的版本通常需要Linux内核3.10及以上版本，Docker17.09及更高版本对应Linux内核4.9.x及更高版本。…...

编程新知 2025/11/5 2:40:12

51c自动驾驶~合集58

我自己的原文哦~ https://blog.51cto.com/whaosoft/13967107 #CCA-Attention 全局池化局部保留，CCA-Attention为LLM长文本建模带来突破性进展琶洲实验室、华南理工大学联合推出关键上下文感知注意力机制（CCA-Attention），…...

编程新知 2025/10/31 23:27:43

【人工智能】神经网络的优化器optimizer（二）：Adagrad自适应学习率优化器

一.自适应梯度算法Adagrad概述 Adagrad（Adaptive Gradient Algorithm）是一种自适应学习率的优化算法，由Duchi等人在2011年提出。其核心思想是针对不同参数自动调整学习率，适合处理稀疏数据和不同参数梯度差异较大的场景。Adagrad通…...

编程新知 2025/10/30 18:21:38

解决Ubuntu22.04 VMware失败的问题 ubuntu入门之二十八

现象1 打开VMware失败 Ubuntu升级之后打开VMware上报需要安装vmmon和vmnet，点击确认后如下提示最终上报fail 解决方法内核升级导致，需要在新内核下重新下载编译安装查看版本 $ vmware -v VMware Workstation 17.5.1 build-23298084$ lsb_release…...

编程新知 2025/11/3 8:27:47

鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院查看报告小程序

一、开发环境准备工具安装： 下载安装DevEco Studio 4.0（支持HarmonyOS 5）配置HarmonyOS SDK 5.0确保Node.js版本≥14 项目初始化： ohpm init harmony/hospital-report-app 二、核心功能模块实现 1. 报告列表…...

编程新知 2025/11/1 8:36:48

ServerTrust 并非唯一

NSURLAuthenticationMethodServerTrust 只是 authenticationMethod 的冰山一角要理解 NSURLAuthenticationMethodServerTrust, 首先要明白它只是 authenticationMethod 的选项之一, 并非唯一 1 先厘清概念点说明authenticationMethodURLAuthenticationChallenge.protectionS…...

编程新知 2025/11/5 5:50:50