当前位置： 首页 > news >正文

TransFormer 视频笔记

news 2026/2/8 18:40:31

TransFormer

  • Basics
  • Attention
    • 单头注意力 single head attention
      • Q： query 查寻矩阵 128*12288
      • K key matrix 128*12288
      • SoftMax 归一 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/19e3cf1ea28442eca60d5fc1303921f4.png)
      • Value matrix 12288*12288
  • MLP

Basics

接受一段文本，输出一个单词。

token -> (Embeding)-> high dimensional vector. 方向对应语义
​​​​​​​​​​​​
嵌入向量
在这里插入图片描述
最初的向量也包含位置信息。1万多维。

Attention

attetnion数学含义
除以dk 是为了数值稳定

将上下文的信息传给当前token。
移动向量
attention机制给最初的generic embedding加个向量，将其移动到上下文对应的具体方向上。
Attention不仅精细化了嵌入向量的定义，还能将嵌入向量的信息传给其他的向量。
简图
经过多层attention后，预测下一个token的计算过程完全取决于最后一个向量。

单头注意力 single head attention

在这里插入图片描述

Q： query 查寻矩阵 128*12288

在这里插入图片描述
WQ 将E(嵌入向量)映射低维空间中。Q是128*1

K key matrix 128*12288

Key矩阵同样将嵌入向量映射到低维空间中，得到第二个向量序列。当key与query的方向一致时(两个向量的点积越大越相关)，就能认为他们匹配。
在这里插入图片描述
在这里插入图片描述

SoftMax 归一 在这里插入图片描述

Masking
Masking： 在训练时，不能提前知道答案，后级的信息不能传递给前级。为了避免后级token对前级的影响，将下半边矩阵设为－∞。
attention patttern
该pattern表明每个词与其他哪些词相关

Value matrix 12288*12288

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

MLP

在这里插入图片描述
在这里插入图片描述

相关文章：

TransFormer 视频笔记

TransFormer BasicsAttention单头注意力 single head attentionQ： query 查寻矩阵 128*12288K key matrix 128*12288SoftMax 归一 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/19e3cf1ea28442eca60d5fc1303921f4.png)Value matrix 12288*12288 MLP Bas…...

编程日记 2024/10/5 1:58:50

前端的混合全栈之路Meteor篇（三）：发布订阅示例代码及如何将Meteor的响应数据映射到vue3的reactive系统

Meteor 3.0 是一个功能强大的全栈 JavaScript 框架，特别适合实时应用程序的开发。它的核心机制之一就包括发布-订阅（Publish-Subscribe）模型，它允许服务器端发布数据，客户端订阅并实时更新。本文将介绍如何在 Meteor 3…...

编程日记 2024/10/5 1:57:48

自动驾驶系列—颠覆未来驾驶：深入解析自动驾驶线控转向系统技术

🌟🌟 欢迎来到我的技术小筑，一个专为技术探索者打造的交流空间。在这里，我们不仅分享代码的智慧，还探讨技术的深度与广度。无论您是资深开发者还是技术新手，这里都有一片属于您的天空。让我们在知识的海洋中…...

编程日记 2024/10/5 1:55:46

Webstorm 中对 Node.js 后端项目进行断点调试

首先，肯定需要有一个启动服务器的命令脚本。 然后，写一个 debug 的配置： 然后，debug 模式 启动项目和 启动调试服务： 最后，发送请求，即可调试： 这几个关键按钮含义： 重启…...

编程日记 2024/10/5 1:51:43

VUE前后端分离毕业设计题目项目有哪些,VUE程序开发常见毕业论文设计推荐

目录 0 为什么选择Vue.js 1 Vue.js 的主要特点 2 前后端分离毕业设计项目推荐 3 后端推荐 4 总结 0 为什么选择Vue.js 使用Vue.js开发计算机毕业设计是一个很好的选择，因为它不仅具有现代前端框架的所有优点，还能让你专注于构建高性能、高可用性的W…...

编程日记 2024/10/5 1:49:41

一、Spring Boot集成Spring Security之自动装配

Spring Boot集成Spring Security之自动装配介绍 一、实现功能及软件版本说明二、创建Spring Boot项目三、查看自动装配配置类四、自动装配配置类之SecurityAutoConfiguration1、SecurityAutoConfiguration部分源码2、主要作用3、SpringBootWebSecurityConfiguration3.1、Spring…...

编程日记 2024/10/5 1:48:40

计数相关的题 Python 力扣

2284. 最多单词数的发件人 给你一个聊天记录，共包含 n 条信息。给你两个字符串数组 messages 和 senders ，其中 messages[i] 是 senders[i] 发出的一条 信息 。 一条 信息 是若干用单个空格连接的 单词 ，信息开头和结尾不会有多余空格。发件…...

编程日记 2024/10/5 1:47:38

Express内置的中间件(express.json和express.urlencoded)格式的请求体数据

目录 Express内置的中间件 express.json 中间件的使用 express.urlencoded 中间件的使用 express.urlencoded([options]) 解析req.body的兼容写法 Express内置的中间件 自 Express 4.16.0 版本开始，Express 内置了 3 个常用的中间件，极大的提高了 …...

编程日记 2024/10/5 1:44:36

cmakelist加载Qt模块

Qt编程中，cmakelist会自动添加Core，Gui，Widgets模块，有时需要添加新的Qt的模块。在命令find_package中搜索要新增的模块，在命令target_link_libraries中添加要新增的模块。 比如要使用QUiLoader类，要增加对…...

编程日记 2024/10/5 1:43:35

8-2.Android 任务之 CountDownTimer 编码模板（开启计时器、取消计时器）

一、CountDownTimer 1、概述 CountDownTimer 是 Android 中一个用于执行定时操作的类 CountDownTimer 主要应用于在指定时间段内完成某项任务，或者每隔一段时间触发某项任务 2、使用步骤 创建 CountDownTimer：创建 CountDownTimer 就是创建它的匿名…...

编程日记 2024/10/5 1:40:32

Servlet的生命周期及用户提交表单页面的实现（实验报告）

一、实验目的、要求 1. 掌握Servlet的定义，即Servlet是运行在服务器端的Java程序，用于扩展服务器的功能。 2. 学习和掌握在开发环境中搭建Servlet应用所需的工具，如Tomcat服务器、IDEA等。 二、实验内容 根据本章所学知识，实验…...

编程日记 2024/10/5 1:38:30

【Router】路由功能之IP过滤(IP Filter)功能（基于端口）介绍及实现

IP过滤（IP Filter） IP Filter是一种通过对网络数据包中的 IP 地址进行分析和筛选，以实现对网络流量的控制和管理的技术。 IP过滤（IP Filter）作用 安全防护 可以阻止来自特定 IP 地址或 IP 地址范围的恶意攻击、非法访问等，增强网络的安全性。 流量管理 根据不同的 IP …...

编程日记 2024/10/5 1:37:29

数据结构_2.2、顺序表插入删除查找

1、线性表的顺序存储表示定义： 线性表：是具有相同数据类型的n （n≥0）个数据元素的有限序列 顺序表：用顺序存储的方式实现线性表 顺序存储：把逻辑上相邻的元素存储在物理 位置上也相邻的存储单元中&#…...

编程日记 2024/10/5 1:30:23

嵌入式C语言自我修养：编译链接

源文件生成可执行文件的过程？ 源文件经过预处理、编译、汇编、链接生成一个可执行的目标文件。 编译器驱动程序，包括预处理器、编译器、汇编器和链接器。Linux用户可以调用GCC驱动程序来完成整个编译流程。 使用GCC驱动程序将示例程序从ASCII码源文件转换…...

编程日记 2024/10/5 1:29:22

Mac制作Linux操作系统启动盘

前期准备 一个 Mac 电脑 一个 U 盘（8GB 以上） 下载好 Linux 系统镜像（iso 文件） 具体步骤 挂载 U 盘 解挂 U 盘 写系统镜像到 U 盘 完成 一、挂载 U 盘 首先插入 U 盘，打开终端输入下面的命令查看 U 盘是否已经 m…...

编程日记 2024/10/5 1:25:18

PHP语言发展历程

PHP是一种开源的服务器端脚本语言，主要用于Web开发，最初由Rasmus Lerdorf在1994年创建。PHP的发展历程如下： PHP的起源：1994年，Rasmus Lerdorf创建了PHP的第一个版本，最初是一套用于跟踪他个人简历访问的C…...

编程日记 2024/10/5 1:24:18

Notepad++ 之 AndroidLogger插件

背景 最近一段时间在分析Android log 定位问题，Notepad 之前用的比较少，现在看log觉得确实好用，美中不足的是 看Android log的时候不像 logcat -v color 可以区分不同等级的颜色，于是调研了一下，发现大部分都是使用An…...

编程日记 2024/10/5 1:23:16

开源2+1链动模式AI智能名片O2O商城小程序源码：线下店立体连接的超强助力器

摘要：本文将为您揭示线下店立体连接的重大意义，您知道吗？线上越火，线下就得越深入经营。现代门店可不再只是卖东西的地儿，还得连接KOC呢！咱们来看看门店要做的那些超重要的事儿，还有开源21链动模…...

编程日记 2024/10/5 1:22:16

我为什么决定关闭ChatGPT的记忆功能？

你好，我是三桥君 几个月前，ChatGPT宣布即将推出一项名为“记忆功能”的新特性，英文名叫memory。 这个功能听起来相当吸引人，宣传口号是让GPT更加了解用户，仿佛是要为我们每个人量身打造一个专属的AI助手。 在记忆功…...

编程日记 2024/10/5 1:21:13

如何使用ssm实现中学生课后服务的信息管理与推荐+vue

TOC ssm766中学生课后服务的信息管理与推荐vue 第一章 绪论 1.1 选题背景 目前整个社会发展的速度，严重依赖于互联网，如果没有了互联网的存在，市场可能会一蹶不振，严重影响经济的发展水平，影响人们的生活质量。计算…...

编程日记 2024/10/5 1:19:11

Flask RESTful 示例

目录 1. 环境准备2. 安装依赖3. 修改main.py4. 运行应用5. API使用示例获取所有任务获取单个任务创建新任务更新任务删除任务 中文乱码问题： 下面创建一个简单的Flask RESTful API示例。首先，我们需要创建环境，安装必要的依赖，然后…...

编程新知 2026/2/6 3:59:37

JavaScript 中的 ES|QL：利用 Apache Arrow 工具

作者：来自 Elastic Jeffrey Rengifo 学习如何将 ES|QL 与 JavaScript 的 Apache Arrow 客户端工具一起使用。 想获得 Elastic 认证吗？了解下一期 Elasticsearch Engineer 培训的时间吧！ Elasticsearch 拥有众多新功能，助你为自己…...

编程新知 2026/1/23 7:23:58

从零实现STL哈希容器：unordered_map/unordered_set封装详解

本篇文章是对C学习的STL哈希容器自主实现部分的学习分享 希望也能为你带来些帮助~ 那咱们废话不多说&#xff0c;直接开始吧&#xff01; 一、源码结构分析 1. SGISTL30实现剖析 // hash_set核心结构 template <class Value, class HashFcn, ...> class hash_set {ty…...

编程新知 2026/1/31 12:47:25

WEB3全栈开发——面试专业技能点P2智能合约开发（Solidity）

一、Solidity合约开发 下面是 Solidity 合约开发 的概念、代码示例及讲解&#xff0c;适合用作学习或写简历项目背景说明。 &#x1f9e0; 一、概念简介&#xff1a;Solidity 合约开发 Solidity 是一种专门为 以太坊&#xff08;Ethereum&#xff09;平台编写智能合约的高级编…...

编程新知 2026/1/27 9:33:09

【Java_EE】Spring MVC

目录 Spring Web MVC ​编辑注解 RestController RequestMapping RequestParam RequestParam RequestBody PathVariable RequestPart 参数传递 注意事项 ​编辑参数重命名 RequestParam ​编辑​编辑传递集合 RequestParam 传递JSON数据 ​编辑RequestBody ​…...

编程新知 2026/2/1 16:32:53

IoT/HCIP实验-3/LiteOS操作系统内核实验(任务、内存、信号量、CMSIS..)

文章目录 概述HelloWorld 工程C/C配置编译器主配置Makefile脚本烧录器主配置运行结果程序调用栈 任务管理实验实验结果osal 系统适配层osal_task_create 其他实验实验源码内存管理实验互斥锁实验信号量实验 CMISIS接口实验还是得JlINKCMSIS 简介LiteOS->CMSIS任务间消息交互…...

编程新知 2026/1/31 23:44:39

【Oracle】分区表

个人主页&#xff1a;Guiat 归属专栏&#xff1a;Oracle 文章目录 1. 分区表基础概述1.1 分区表的概念与优势1.2 分区类型概览1.3 分区表的工作原理 2. 范围分区 (RANGE Partitioning)2.1 基础范围分区2.1.1 按日期范围分区2.1.2 按数值范围分区 2.2 间隔分区 (INTERVAL Partit…...

编程新知 2026/1/20 21:59:36

DeepSeek 技术赋能无人农场协同作业：用 AI 重构农田管理 “神经网”

目录 一、引言二、DeepSeek 技术大揭秘2.1 核心架构解析2.2 关键技术剖析 三、智能农业无人农场协同作业现状3.1 发展现状概述3.2 协同作业模式介绍 四、DeepSeek 的 “农场奇妙游”4.1 数据处理与分析4.2 作物生长监测与预测4.3 病虫害防治4.4 农机协同作业调度 五、实际案例大…...

编程新知 2025/9/24 13:35:36

AirSim/Cosys-AirSim 游戏开发（四）外部固定位置监控相机

这个博客介绍了如何通过 settings.json 文件添加一个无人机外的 固定位置监控相机&#xff0c;因为在使用过程中发现 Airsim 对外部监控相机的描述模糊&#xff0c;而 Cosys-Airsim 在官方文档中没有提供外部监控相机设置&#xff0c;最后在源码示例中找到了&#xff0c;所以感…...

编程新知 2026/2/5 18:58:39

CSS | transition 和 transform的用处和区别

省流总结&#xff1a; transform用于变换/变形&#xff0c;transition是动画控制器 transform 用来对元素进行变形&#xff0c;常见的操作如下&#xff0c;它是立即生效的样式变形属性。 旋转 rotate(角度deg)、平移 translateX(像素px)、缩放 scale(倍数)、倾斜 skewX(角度…...

编程新知 2025/10/17 20:59:57