TransFormer 视频笔记
TransFormer
- Basics
- Attention
- 单头注意力 single head attention
- Q： query 查寻矩阵 128*12288
- K key matrix 128*12288
- SoftMax 归一 
- Value matrix 12288*12288
- MLP
Basics
接受一段文本，输出一个单词。
token -> (Embeding)-> high dimensional vector. 方向对应语义
最初的向量也包含位置信息。1万多维。
Attention
除以dk 是为了数值稳定
将上下文的信息传给当前token。
attention机制给最初的generic embedding加个向量，将其移动到上下文对应的具体方向上。
Attention不仅精细化了嵌入向量的定义，还能将嵌入向量的信息传给其他的向量。
经过多层attention后，预测下一个token的计算过程完全取决于最后一个向量。
单头注意力 single head attention
Q： query 查寻矩阵 128*12288
WQ 将E(嵌入向量)映射低维空间中。Q是128*1
K key matrix 128*12288
Key矩阵同样将嵌入向量映射到低维空间中，得到第二个向量序列。当key与query的方向一致时(两个向量的点积越大越相关)，就能认为他们匹配。
SoftMax 归一 
Masking： 在训练时，不能提前知道答案，后级的信息不能传递给前级。为了避免后级token对前级的影响，将下半边矩阵设为－∞。
该pattern表明每个词与其他哪些词相关
Value matrix 12288*12288
MLP
相关文章：
TransFormer 视频笔记
TransFormer BasicsAttention单头注意力 single head attentionQ： query 查寻矩阵 128*12288K key matrix 128*12288SoftMax 归一 Value matrix 12288*12288 MLP Bas…...
前端的混合全栈之路Meteor篇（三）：发布订阅示例代码及如何将Meteor的响应数据映射到vue3的reactive系统
Meteor 3.0 是一个功能强大的全栈 JavaScript 框架，特别适合实时应用程序的开发。它的核心机制之一就包括发布-订阅（Publish-Subscribe）模型，它允许服务器端发布数据，客户端订阅并实时更新。本文将介绍如何在 Meteor 3…...
自动驾驶系列—颠覆未来驾驶：深入解析自动驾驶线控转向系统技术
🌟🌟 欢迎来到我的技术小筑，一个专为技术探索者打造的交流空间。在这里，我们不仅分享代码的智慧，还探讨技术的深度与广度。无论您是资深开发者还是技术新手，这里都有一片属于您的天空。让我们在知识的海洋中…...
Webstorm 中对 Node.js 后端项目进行断点调试
首先，肯定需要有一个启动服务器的命令脚本。 然后，写一个 debug 的配置： 然后，debug 模式 启动项目和 启动调试服务： 最后，发送请求，即可调试： 这几个关键按钮含义： 重启…...
VUE前后端分离毕业设计题目项目有哪些,VUE程序开发常见毕业论文设计推荐
目录 0 为什么选择Vue.js 1 Vue.js 的主要特点 2 前后端分离毕业设计项目推荐 3 后端推荐 4 总结 0 为什么选择Vue.js 使用Vue.js开发计算机毕业设计是一个很好的选择，因为它不仅具有现代前端框架的所有优点，还能让你专注于构建高性能、高可用性的W…...
一、Spring Boot集成Spring Security之自动装配
Spring Boot集成Spring Security之自动装配介绍 一、实现功能及软件版本说明二、创建Spring Boot项目三、查看自动装配配置类四、自动装配配置类之SecurityAutoConfiguration1、SecurityAutoConfiguration部分源码2、主要作用3、SpringBootWebSecurityConfiguration3.1、Spring…...
计数相关的题 Python 力扣
2284. 最多单词数的发件人 给你一个聊天记录，共包含 n 条信息。给你两个字符串数组 messages 和 senders ，其中 messages[i] 是 senders[i] 发出的一条 信息 。 一条 信息 是若干用单个空格连接的 单词 ，信息开头和结尾不会有多余空格。发件…...
格式的请求体数据)
Express内置的中间件(express.json和express.urlencoded)格式的请求体数据
目录 Express内置的中间件 express.json 中间件的使用 express.urlencoded 中间件的使用 express.urlencoded([options]) 解析req.body的兼容写法 Express内置的中间件 自 Express 4.16.0 版本开始，Express 内置了 3 个常用的中间件，极大的提高了 …...
cmakelist加载Qt模块
Qt编程中，cmakelist会自动添加Core，Gui，Widgets模块，有时需要添加新的Qt的模块。在命令find_package中搜索要新增的模块，在命令target_link_libraries中添加要新增的模块。 比如要使用QUiLoader类，要增加对…...
8-2.Android 任务之 CountDownTimer 编码模板（开启计时器、取消计时器）
一、CountDownTimer 1、概述 CountDownTimer 是 Android 中一个用于执行定时操作的类 CountDownTimer 主要应用于在指定时间段内完成某项任务，或者每隔一段时间触发某项任务 2、使用步骤 创建 CountDownTimer：创建 CountDownTimer 就是创建它的匿名…...
Servlet的生命周期及用户提交表单页面的实现（实验报告）
一、实验目的、要求 1. 掌握Servlet的定义，即Servlet是运行在服务器端的Java程序，用于扩展服务器的功能。 2. 学习和掌握在开发环境中搭建Servlet应用所需的工具，如Tomcat服务器、IDEA等。 二、实验内容 根据本章所学知识，实验…...
功能（基于端口）介绍及实现)
【Router】路由功能之IP过滤(IP Filter)功能（基于端口）介绍及实现
IP过滤（IP Filter） IP Filter是一种通过对网络数据包中的 IP 地址进行分析和筛选，以实现对网络流量的控制和管理的技术。 IP过滤（IP Filter）作用 安全防护 可以阻止来自特定 IP 地址或 IP 地址范围的恶意攻击、非法访问等，增强网络的安全性。 流量管理 根据不同的 IP …...
数据结构_2.2、顺序表插入删除查找
1、线性表的顺序存储表示定义： 线性表：是具有相同数据类型的n （n≥0）个数据元素的有限序列 顺序表：用顺序存储的方式实现线性表 顺序存储：把逻辑上相邻的元素存储在物理 位置上也相邻的存储单元中&#…...
嵌入式C语言自我修养：编译链接
源文件生成可执行文件的过程？ 源文件经过预处理、编译、汇编、链接生成一个可执行的目标文件。 编译器驱动程序，包括预处理器、编译器、汇编器和链接器。Linux用户可以调用GCC驱动程序来完成整个编译流程。 使用GCC驱动程序将示例程序从ASCII码源文件转换…...
Mac制作Linux操作系统启动盘
前期准备 一个 Mac 电脑 一个 U 盘（8GB 以上） 下载好 Linux 系统镜像（iso 文件） 具体步骤 挂载 U 盘 解挂 U 盘 写系统镜像到 U 盘 完成 一、挂载 U 盘 首先插入 U 盘，打开终端输入下面的命令查看 U 盘是否已经 m…...
PHP语言发展历程
PHP是一种开源的服务器端脚本语言，主要用于Web开发，最初由Rasmus Lerdorf在1994年创建。PHP的发展历程如下： PHP的起源：1994年，Rasmus Lerdorf创建了PHP的第一个版本，最初是一套用于跟踪他个人简历访问的C…...
Notepad++ 之 AndroidLogger插件
背景 最近一段时间在分析Android log 定位问题，Notepad 之前用的比较少，现在看log觉得确实好用，美中不足的是 看Android log的时候不像 logcat -v color 可以区分不同等级的颜色，于是调研了一下，发现大部分都是使用An…...
开源2+1链动模式AI智能名片O2O商城小程序源码：线下店立体连接的超强助力器
摘要：本文将为您揭示线下店立体连接的重大意义，您知道吗？线上越火，线下就得越深入经营。现代门店可不再只是卖东西的地儿，还得连接KOC呢！咱们来看看门店要做的那些超重要的事儿，还有开源21链动模…...
我为什么决定关闭ChatGPT的记忆功能？
你好，我是三桥君 几个月前，ChatGPT宣布即将推出一项名为“记忆功能”的新特性，英文名叫memory。 这个功能听起来相当吸引人，宣传口号是让GPT更加了解用户，仿佛是要为我们每个人量身打造一个专属的AI助手。 在记忆功…...
如何使用ssm实现中学生课后服务的信息管理与推荐+vue
TOC ssm766中学生课后服务的信息管理与推荐vue 第一章 绪论 1.1 选题背景 目前整个社会发展的速度，严重依赖于互联网，如果没有了互联网的存在，市场可能会一蹶不振，严重影响经济的发展水平，影响人们的生活质量。计算…...
stm32G473的flash模式是单bank还是双bank？
今天突然有人stm32G473的flash模式是单bank还是双bank？由于时间太久，我真忘记了。搜搜发现，还真有人和我一样。见下面的链接：https://shequ.stmicroelectronics.cn/forum.php?modviewthread&tid644563 根据STM32G4系列参考手…...
Lombok 的 @Data 注解失效，未生成 getter/setter 方法引发的HTTP 406 错误
HTTP 状态码 406 (Not Acceptable) 和 500 (Internal Server Error) 是两类完全不同的错误，它们的含义、原因和解决方法都有显著区别。以下是详细对比： 1. HTTP 406 (Not Acceptable) 含义： 客户端请求的内容类型与服务器支持的内容类型不匹…...
css实现圆环展示百分比，根据值动态展示所占比例
代码如下 <view class""><view class"circle-chart"><view v-if"!!num" class"pie-item" :style"{background: conic-gradient(var(--one-color) 0%,#E9E6F1 ${num}%),}"></view><view v-else …...
Java - Mysql数据类型对应
Mysql数据类型java数据类型备注整型INT/INTEGERint / java.lang.Integer–BIGINTlong/java.lang.Long–––浮点型FLOATfloat/java.lang.FloatDOUBLEdouble/java.lang.Double–DECIMAL/NUMERICjava.math.BigDecimal字符串型CHARjava.lang.String固定长度字符串VARCHARjava.lang…...
JUC笔记(上)-复习 涉及死锁 volatile synchronized CAS 原子操作
一、上下文切换 即使单核CPU也可以进行多线程执行代码，CPU会给每个线程分配CPU时间片来实现这个机制。时间片非常短，所以CPU会不断地切换线程执行，从而让我们感觉多个线程是同时执行的。时间片一般是十几毫秒(ms)。通过时间片分配算法执行。…...
QT： `long long` 类型转换为 `QString` 2025.6.5
在 Qt 中，将 long long 类型转换为 QString 可以通过以下两种常用方法实现： 方法 1：使用 QString::number() 直接调用 QString 的静态方法 number()，将数值转换为字符串： long long value 1234567890123456789LL; …...
MySQL用户和授权
开放MySQL白名单 可以通过iptables-save命令确认对应客户端ip是否可以访问MySQL服务： test: # iptables-save | grep 3306 -A mp_srv_whitelist -s 172.16.14.102/32 -p tcp -m tcp --dport 3306 -j ACCEPT -A mp_srv_whitelist -s 172.16.4.16/32 -p tcp -m tcp -…...
浪潮交换机配置track检测实现高速公路收费网络主备切换NQA
浪潮交换机track配置 项目背景高速网络拓扑网络情况分析通信线路收费网络路由 收费汇聚交换机相应配置收费汇聚track配置 项目背景 在实施省内一条高速公路时遇到的需求，本次涉及的主要是收费汇聚交换机的配置，浪潮网络设备在高速项目很少，通…...
视觉slam十四讲实践部分记录——ch2、ch3
ch2 一、使用g++编译.cpp为可执行文件并运行(P30) g++ helloSLAM.cpp ./a.out运行 二、使用cmake编译 mkdir build cd build cmake .. makeCMakeCache.txt 文件仍然指向旧的目录。这表明在源代码目录中可能还存在旧的 CMakeCache.txt 文件，或者在构建过程中仍然引用了旧的路…...
【网络安全】开源系统getshell漏洞挖掘
审计过程： 在入口文件admin/index.php中： 用户可以通过m,c,a等参数控制加载的文件和方法，在app/system/entrance.php中存在重点代码： 当M_TYPE system并且M_MODULE include时，会设置常量PATH_OWN_FILE为PATH_APP.M_T…...