TransFormer 视频笔记
TransFormer
- Basics
- Attention
- 单头注意力 single head attention
- Q： query 查寻矩阵 128*12288
- K key matrix 128*12288
- SoftMax 归一 
- Value matrix 12288*12288
- MLP
Basics
接受一段文本，输出一个单词。
token -> (Embeding)-> high dimensional vector. 方向对应语义
最初的向量也包含位置信息。1万多维。
Attention
除以dk 是为了数值稳定
将上下文的信息传给当前token。
attention机制给最初的generic embedding加个向量，将其移动到上下文对应的具体方向上。
Attention不仅精细化了嵌入向量的定义，还能将嵌入向量的信息传给其他的向量。
经过多层attention后，预测下一个token的计算过程完全取决于最后一个向量。
单头注意力 single head attention
Q： query 查寻矩阵 128*12288
WQ 将E(嵌入向量)映射低维空间中。Q是128*1
K key matrix 128*12288
Key矩阵同样将嵌入向量映射到低维空间中，得到第二个向量序列。当key与query的方向一致时(两个向量的点积越大越相关)，就能认为他们匹配。
SoftMax 归一 
Masking： 在训练时，不能提前知道答案，后级的信息不能传递给前级。为了避免后级token对前级的影响，将下半边矩阵设为－∞。
该pattern表明每个词与其他哪些词相关
Value matrix 12288*12288
MLP
相关文章：
TransFormer 视频笔记
TransFormer BasicsAttention单头注意力 single head attentionQ： query 查寻矩阵 128*12288K key matrix 128*12288SoftMax 归一 Value matrix 12288*12288 MLP Bas…...
前端的混合全栈之路Meteor篇（三）：发布订阅示例代码及如何将Meteor的响应数据映射到vue3的reactive系统
Meteor 3.0 是一个功能强大的全栈 JavaScript 框架，特别适合实时应用程序的开发。它的核心机制之一就包括发布-订阅（Publish-Subscribe）模型，它允许服务器端发布数据，客户端订阅并实时更新。本文将介绍如何在 Meteor 3…...
自动驾驶系列—颠覆未来驾驶：深入解析自动驾驶线控转向系统技术
🌟🌟 欢迎来到我的技术小筑，一个专为技术探索者打造的交流空间。在这里，我们不仅分享代码的智慧，还探讨技术的深度与广度。无论您是资深开发者还是技术新手，这里都有一片属于您的天空。让我们在知识的海洋中…...
Webstorm 中对 Node.js 后端项目进行断点调试
首先，肯定需要有一个启动服务器的命令脚本。 然后，写一个 debug 的配置： 然后，debug 模式 启动项目和 启动调试服务： 最后，发送请求，即可调试： 这几个关键按钮含义： 重启…...
VUE前后端分离毕业设计题目项目有哪些,VUE程序开发常见毕业论文设计推荐
目录 0 为什么选择Vue.js 1 Vue.js 的主要特点 2 前后端分离毕业设计项目推荐 3 后端推荐 4 总结 0 为什么选择Vue.js 使用Vue.js开发计算机毕业设计是一个很好的选择，因为它不仅具有现代前端框架的所有优点，还能让你专注于构建高性能、高可用性的W…...
一、Spring Boot集成Spring Security之自动装配
Spring Boot集成Spring Security之自动装配介绍 一、实现功能及软件版本说明二、创建Spring Boot项目三、查看自动装配配置类四、自动装配配置类之SecurityAutoConfiguration1、SecurityAutoConfiguration部分源码2、主要作用3、SpringBootWebSecurityConfiguration3.1、Spring…...
计数相关的题 Python 力扣
2284. 最多单词数的发件人 给你一个聊天记录，共包含 n 条信息。给你两个字符串数组 messages 和 senders ，其中 messages[i] 是 senders[i] 发出的一条 信息 。 一条 信息 是若干用单个空格连接的 单词 ，信息开头和结尾不会有多余空格。发件…...
格式的请求体数据)
Express内置的中间件(express.json和express.urlencoded)格式的请求体数据
目录 Express内置的中间件 express.json 中间件的使用 express.urlencoded 中间件的使用 express.urlencoded([options]) 解析req.body的兼容写法 Express内置的中间件 自 Express 4.16.0 版本开始，Express 内置了 3 个常用的中间件，极大的提高了 …...
cmakelist加载Qt模块
Qt编程中，cmakelist会自动添加Core，Gui，Widgets模块，有时需要添加新的Qt的模块。在命令find_package中搜索要新增的模块，在命令target_link_libraries中添加要新增的模块。 比如要使用QUiLoader类，要增加对…...
8-2.Android 任务之 CountDownTimer 编码模板（开启计时器、取消计时器）
一、CountDownTimer 1、概述 CountDownTimer 是 Android 中一个用于执行定时操作的类 CountDownTimer 主要应用于在指定时间段内完成某项任务，或者每隔一段时间触发某项任务 2、使用步骤 创建 CountDownTimer：创建 CountDownTimer 就是创建它的匿名…...
Servlet的生命周期及用户提交表单页面的实现（实验报告）
一、实验目的、要求 1. 掌握Servlet的定义，即Servlet是运行在服务器端的Java程序，用于扩展服务器的功能。 2. 学习和掌握在开发环境中搭建Servlet应用所需的工具，如Tomcat服务器、IDEA等。 二、实验内容 根据本章所学知识，实验…...
功能（基于端口）介绍及实现)
【Router】路由功能之IP过滤(IP Filter)功能（基于端口）介绍及实现
IP过滤（IP Filter） IP Filter是一种通过对网络数据包中的 IP 地址进行分析和筛选，以实现对网络流量的控制和管理的技术。 IP过滤（IP Filter）作用 安全防护 可以阻止来自特定 IP 地址或 IP 地址范围的恶意攻击、非法访问等，增强网络的安全性。 流量管理 根据不同的 IP …...
数据结构_2.2、顺序表插入删除查找
1、线性表的顺序存储表示定义： 线性表：是具有相同数据类型的n （n≥0）个数据元素的有限序列 顺序表：用顺序存储的方式实现线性表 顺序存储：把逻辑上相邻的元素存储在物理 位置上也相邻的存储单元中&#…...
嵌入式C语言自我修养：编译链接
源文件生成可执行文件的过程？ 源文件经过预处理、编译、汇编、链接生成一个可执行的目标文件。 编译器驱动程序，包括预处理器、编译器、汇编器和链接器。Linux用户可以调用GCC驱动程序来完成整个编译流程。 使用GCC驱动程序将示例程序从ASCII码源文件转换…...
Mac制作Linux操作系统启动盘
前期准备 一个 Mac 电脑 一个 U 盘（8GB 以上） 下载好 Linux 系统镜像（iso 文件） 具体步骤 挂载 U 盘 解挂 U 盘 写系统镜像到 U 盘 完成 一、挂载 U 盘 首先插入 U 盘，打开终端输入下面的命令查看 U 盘是否已经 m…...
PHP语言发展历程
PHP是一种开源的服务器端脚本语言，主要用于Web开发，最初由Rasmus Lerdorf在1994年创建。PHP的发展历程如下： PHP的起源：1994年，Rasmus Lerdorf创建了PHP的第一个版本，最初是一套用于跟踪他个人简历访问的C…...
Notepad++ 之 AndroidLogger插件
背景 最近一段时间在分析Android log 定位问题，Notepad 之前用的比较少，现在看log觉得确实好用，美中不足的是 看Android log的时候不像 logcat -v color 可以区分不同等级的颜色，于是调研了一下，发现大部分都是使用An…...
开源2+1链动模式AI智能名片O2O商城小程序源码：线下店立体连接的超强助力器
摘要：本文将为您揭示线下店立体连接的重大意义，您知道吗？线上越火，线下就得越深入经营。现代门店可不再只是卖东西的地儿，还得连接KOC呢！咱们来看看门店要做的那些超重要的事儿，还有开源21链动模…...
我为什么决定关闭ChatGPT的记忆功能？
你好，我是三桥君 几个月前，ChatGPT宣布即将推出一项名为“记忆功能”的新特性，英文名叫memory。 这个功能听起来相当吸引人，宣传口号是让GPT更加了解用户，仿佛是要为我们每个人量身打造一个专属的AI助手。 在记忆功…...
如何使用ssm实现中学生课后服务的信息管理与推荐+vue
TOC ssm766中学生课后服务的信息管理与推荐vue 第一章 绪论 1.1 选题背景 目前整个社会发展的速度，严重依赖于互联网，如果没有了互联网的存在，市场可能会一蹶不振，严重影响经济的发展水平，影响人们的生活质量。计算…...
Spark 之 入门讲解详细版（1）
1、简介 1.1 Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处&…...
IGP（Interior Gateway Protocol，内部网关协议）
IGP（Interior Gateway Protocol，内部网关协议） 是一种用于在一个自治系统（AS）内部传递路由信息的路由协议，主要用于在一个组织或机构的内部网络中决定数据包的最佳路径。与用于自治系统之间通信的 EGP&…...
【JVM】- 内存结构
引言 JVM：Java Virtual Machine 定义：Java虚拟机，Java二进制字节码的运行环境好处： 一次编写，到处运行自动内存管理，垃圾回收的功能数组下标越界检查（会抛异常，不会覆盖到其他代码…...
cf2117E
原题链接：https://codeforces.com/contest/2117/problem/E 题目背景： 给定两个数组a,b，可以执行多次以下操作：选择 i (1 < i < n - 1)，并设置 或，也可以在执行上述操作前执行一次删除任意 和 。求…...
Spring Boot面试题精选汇总
🤟致敬读者 🟩感谢阅读🟦笑口常开🟪生日快乐⬛早点睡觉 📘博主相关 🟧博主信息🟨博客首页🟫专栏推荐🟥活动信息 文章目录 Spring Boot面试题精选汇总⚙️ **一、核心概…...
Unit 1 深度强化学习简介
Deep RL Course ——Unit 1 Introduction 从理论和实践层面深入学习深度强化学习。学会使用知名的深度强化学习库，例如 Stable Baselines3、RL Baselines3 Zoo、Sample Factory 和 CleanRL。在独特的环境中训练智能体，比如 SnowballFight、Huggy the Do…...
css3笔记 （1） 自用
outline: none 用于移除元素获得焦点时默认的轮廓线 broder:0 用于移除边框 font-size：0 用于设置字体不显示 list-style: none 消除<li> 标签默认样式 margin: xx auto 版心居中 width:100% 通栏 vertical-align 作用于行内元素 / 表格单元格ÿ…...
大学生职业发展与就业创业指导教学评价
这里是引用 作为软工2203/2204班的学生，我们非常感谢您在《大学生职业发展与就业创业指导》课程中的悉心教导。这门课程对我们即将面临实习和就业的工科学生来说至关重要，而您认真负责的教学态度，让课程的每一部分都充满了实用价值。 尤其让我…...
)
GitHub 趋势日报 (2025年06月06日)
📊 由 TrendForge 系统生成 | 🌐 https://trendforge.devlive.org/ 🌐 本日报中的项目描述已自动翻译为中文 📈 今日获星趋势图 今日获星趋势图 590 cognee 551 onlook 399 project-based-learning 348 build-your-own-x 320 ne…...
永磁同步电机无速度算法--基于卡尔曼滤波器的滑模观测器
一、原理介绍 传统滑模观测器采用如下结构： 传统SMO中LPF会带来相位延迟和幅值衰减，并且需要额外的相位补偿。 采用扩展卡尔曼滤波器代替常用低通滤波器(LPF)，可以去除高次谐波，并且不用相位补偿就可以获得一个误差较小的转子位…...