TransFormer 视频笔记
TransFormer
- Basics
- Attention
- 单头注意力 single head attention
- Q： query 查寻矩阵 128*12288
- K key matrix 128*12288
- SoftMax 归一 
- Value matrix 12288*12288
- MLP
Basics
接受一段文本，输出一个单词。
token -> (Embeding)-> high dimensional vector. 方向对应语义
最初的向量也包含位置信息。1万多维。
Attention
除以dk 是为了数值稳定
将上下文的信息传给当前token。
attention机制给最初的generic embedding加个向量，将其移动到上下文对应的具体方向上。
Attention不仅精细化了嵌入向量的定义，还能将嵌入向量的信息传给其他的向量。
经过多层attention后，预测下一个token的计算过程完全取决于最后一个向量。
单头注意力 single head attention
Q： query 查寻矩阵 128*12288
WQ 将E(嵌入向量)映射低维空间中。Q是128*1
K key matrix 128*12288
Key矩阵同样将嵌入向量映射到低维空间中，得到第二个向量序列。当key与query的方向一致时(两个向量的点积越大越相关)，就能认为他们匹配。
SoftMax 归一 
Masking： 在训练时，不能提前知道答案，后级的信息不能传递给前级。为了避免后级token对前级的影响，将下半边矩阵设为－∞。
该pattern表明每个词与其他哪些词相关
Value matrix 12288*12288
MLP
相关文章：
TransFormer 视频笔记
TransFormer BasicsAttention单头注意力 single head attentionQ： query 查寻矩阵 128*12288K key matrix 128*12288SoftMax 归一 Value matrix 12288*12288 MLP Bas…...
前端的混合全栈之路Meteor篇（三）：发布订阅示例代码及如何将Meteor的响应数据映射到vue3的reactive系统
Meteor 3.0 是一个功能强大的全栈 JavaScript 框架，特别适合实时应用程序的开发。它的核心机制之一就包括发布-订阅（Publish-Subscribe）模型，它允许服务器端发布数据，客户端订阅并实时更新。本文将介绍如何在 Meteor 3…...
自动驾驶系列—颠覆未来驾驶：深入解析自动驾驶线控转向系统技术
🌟🌟 欢迎来到我的技术小筑，一个专为技术探索者打造的交流空间。在这里，我们不仅分享代码的智慧，还探讨技术的深度与广度。无论您是资深开发者还是技术新手，这里都有一片属于您的天空。让我们在知识的海洋中…...
Webstorm 中对 Node.js 后端项目进行断点调试
首先，肯定需要有一个启动服务器的命令脚本。 然后，写一个 debug 的配置： 然后，debug 模式 启动项目和 启动调试服务： 最后，发送请求，即可调试： 这几个关键按钮含义： 重启…...
VUE前后端分离毕业设计题目项目有哪些,VUE程序开发常见毕业论文设计推荐
目录 0 为什么选择Vue.js 1 Vue.js 的主要特点 2 前后端分离毕业设计项目推荐 3 后端推荐 4 总结 0 为什么选择Vue.js 使用Vue.js开发计算机毕业设计是一个很好的选择，因为它不仅具有现代前端框架的所有优点，还能让你专注于构建高性能、高可用性的W…...
一、Spring Boot集成Spring Security之自动装配
Spring Boot集成Spring Security之自动装配介绍 一、实现功能及软件版本说明二、创建Spring Boot项目三、查看自动装配配置类四、自动装配配置类之SecurityAutoConfiguration1、SecurityAutoConfiguration部分源码2、主要作用3、SpringBootWebSecurityConfiguration3.1、Spring…...
计数相关的题 Python 力扣
2284. 最多单词数的发件人 给你一个聊天记录，共包含 n 条信息。给你两个字符串数组 messages 和 senders ，其中 messages[i] 是 senders[i] 发出的一条 信息 。 一条 信息 是若干用单个空格连接的 单词 ，信息开头和结尾不会有多余空格。发件…...
格式的请求体数据)
Express内置的中间件(express.json和express.urlencoded)格式的请求体数据
目录 Express内置的中间件 express.json 中间件的使用 express.urlencoded 中间件的使用 express.urlencoded([options]) 解析req.body的兼容写法 Express内置的中间件 自 Express 4.16.0 版本开始，Express 内置了 3 个常用的中间件，极大的提高了 …...
cmakelist加载Qt模块
Qt编程中，cmakelist会自动添加Core，Gui，Widgets模块，有时需要添加新的Qt的模块。在命令find_package中搜索要新增的模块，在命令target_link_libraries中添加要新增的模块。 比如要使用QUiLoader类，要增加对…...
8-2.Android 任务之 CountDownTimer 编码模板（开启计时器、取消计时器）
一、CountDownTimer 1、概述 CountDownTimer 是 Android 中一个用于执行定时操作的类 CountDownTimer 主要应用于在指定时间段内完成某项任务，或者每隔一段时间触发某项任务 2、使用步骤 创建 CountDownTimer：创建 CountDownTimer 就是创建它的匿名…...
Servlet的生命周期及用户提交表单页面的实现（实验报告）
一、实验目的、要求 1. 掌握Servlet的定义，即Servlet是运行在服务器端的Java程序，用于扩展服务器的功能。 2. 学习和掌握在开发环境中搭建Servlet应用所需的工具，如Tomcat服务器、IDEA等。 二、实验内容 根据本章所学知识，实验…...
功能（基于端口）介绍及实现)
【Router】路由功能之IP过滤(IP Filter)功能（基于端口）介绍及实现
IP过滤（IP Filter） IP Filter是一种通过对网络数据包中的 IP 地址进行分析和筛选，以实现对网络流量的控制和管理的技术。 IP过滤（IP Filter）作用 安全防护 可以阻止来自特定 IP 地址或 IP 地址范围的恶意攻击、非法访问等，增强网络的安全性。 流量管理 根据不同的 IP …...
数据结构_2.2、顺序表插入删除查找
1、线性表的顺序存储表示定义： 线性表：是具有相同数据类型的n （n≥0）个数据元素的有限序列 顺序表：用顺序存储的方式实现线性表 顺序存储：把逻辑上相邻的元素存储在物理 位置上也相邻的存储单元中&#…...
嵌入式C语言自我修养：编译链接
源文件生成可执行文件的过程？ 源文件经过预处理、编译、汇编、链接生成一个可执行的目标文件。 编译器驱动程序，包括预处理器、编译器、汇编器和链接器。Linux用户可以调用GCC驱动程序来完成整个编译流程。 使用GCC驱动程序将示例程序从ASCII码源文件转换…...
Mac制作Linux操作系统启动盘
前期准备 一个 Mac 电脑 一个 U 盘（8GB 以上） 下载好 Linux 系统镜像（iso 文件） 具体步骤 挂载 U 盘 解挂 U 盘 写系统镜像到 U 盘 完成 一、挂载 U 盘 首先插入 U 盘，打开终端输入下面的命令查看 U 盘是否已经 m…...
PHP语言发展历程
PHP是一种开源的服务器端脚本语言，主要用于Web开发，最初由Rasmus Lerdorf在1994年创建。PHP的发展历程如下： PHP的起源：1994年，Rasmus Lerdorf创建了PHP的第一个版本，最初是一套用于跟踪他个人简历访问的C…...
Notepad++ 之 AndroidLogger插件
背景 最近一段时间在分析Android log 定位问题，Notepad 之前用的比较少，现在看log觉得确实好用，美中不足的是 看Android log的时候不像 logcat -v color 可以区分不同等级的颜色，于是调研了一下，发现大部分都是使用An…...
开源2+1链动模式AI智能名片O2O商城小程序源码：线下店立体连接的超强助力器
摘要：本文将为您揭示线下店立体连接的重大意义，您知道吗？线上越火，线下就得越深入经营。现代门店可不再只是卖东西的地儿，还得连接KOC呢！咱们来看看门店要做的那些超重要的事儿，还有开源21链动模…...
我为什么决定关闭ChatGPT的记忆功能？
你好，我是三桥君 几个月前，ChatGPT宣布即将推出一项名为“记忆功能”的新特性，英文名叫memory。 这个功能听起来相当吸引人，宣传口号是让GPT更加了解用户，仿佛是要为我们每个人量身打造一个专属的AI助手。 在记忆功…...
如何使用ssm实现中学生课后服务的信息管理与推荐+vue
TOC ssm766中学生课后服务的信息管理与推荐vue 第一章 绪论 1.1 选题背景 目前整个社会发展的速度，严重依赖于互联网，如果没有了互联网的存在，市场可能会一蹶不振，严重影响经济的发展水平，影响人们的生活质量。计算…...
【位运算】消失的两个数字（hard）
消失的两个数字（hard） 题⽬描述：解法（位运算）：Java 算法代码：更简便代码 题⽬链接：⾯试题 17.19. 消失的两个数字 题⽬描述： 给定⼀个数组，包含从 1 到 N 所有…...
SCAU期末笔记 - 数据分析与数据挖掘题库解析
这门怎么题库答案不全啊日 来简单学一下子来 一、选择题（可多选） 将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务?(C) A. 频繁模式挖掘 B.分类和预测 C.数据预处理 D.数据流挖掘 A. 频繁模式挖掘：专注于发现数据中…...
Leetcode 3577. Count the Number of Computer Unlocking Permutations
Leetcode 3577. Count the Number of Computer Unlocking Permutations 1. 解题思路2. 代码实现 题目链接：3577. Count the Number of Computer Unlocking Permutations 1. 解题思路 这一题其实就是一个脑筋急转弯，要想要能够将所有的电脑解锁&#x…...
macOS多出来了：Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用
文章目录 问题现象问题原因解决办法 问题现象 macOS启动台（Launchpad）多出来了：Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用。 问题原因 很明显，都是Google家的办公全家桶。这些应用并不是通过独立安装的…...
P3 QT项目----记事本（3.8）
3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...
SpringBoot+uniapp 的 Champion 俱乐部微信小程序设计与实现，论文初版实现
摘要 本论文旨在设计并实现基于 SpringBoot 和 uniapp 的 Champion 俱乐部微信小程序，以满足俱乐部线上活动推广、会员管理、社交互动等需求。通过 SpringBoot 搭建后端服务，提供稳定高效的数据处理与业务逻辑支持；利用 uniapp 实现跨平台前…...
令牌桶 滑动窗口-＞限流 分布式信号量-＞限并发的原理 lua脚本分析介绍
文章目录 前言限流限制并发的实际理解限流令牌桶代码实现结果分析令牌桶lua的模拟实现原理总结： 滑动窗口代码实现结果分析lua脚本原理解析 限并发分布式信号量代码实现结果分析lua脚本实现原理 双注解去实现限流 并发结果分析： 实际业务去理解体会统一注…...
Java面试专项一-准备篇
一、企业简历筛选规则 一般企业的简历筛选流程：首先由HR先筛选一部分简历后，在将简历给到对应的项目负责人后再进行下一步的操作。 HR如何筛选简历 例如：Boss直聘（招聘方平台） 直接按照条件进行筛选 例如：…...
Java线上CPU飙高问题排查全指南
一、引言 在Java应用的线上运行环境中，CPU飙高是一个常见且棘手的性能问题。当系统出现CPU飙高时，通常会导致应用响应缓慢，甚至服务不可用，严重影响用户体验和业务运行。因此，掌握一套科学有效的CPU飙高问题排查方法&…...
深度学习水论文：mamba＋图像增强
🧀当前视觉领域对高效长序列建模需求激增，对Mamba图像增强这方向的研究自然也逐渐火热。原因在于其高效长程建模，以及动态计算优势，在图像质量提升和细节恢复方面有难以替代的作用。 🧀因此短时间内，就有不…...