当前位置： 首页 > news >正文

TransFormer 视频笔记

news 2026/4/1 19:42:19

TransFormer

  • Basics
  • Attention
    • 单头注意力 single head attention
      • Q： query 查寻矩阵 128*12288
      • K key matrix 128*12288
      • SoftMax 归一 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/19e3cf1ea28442eca60d5fc1303921f4.png)
      • Value matrix 12288*12288
  • MLP

Basics

接受一段文本，输出一个单词。

token -> (Embeding)-> high dimensional vector. 方向对应语义
​​​​​​​​​​​​
嵌入向量
在这里插入图片描述
最初的向量也包含位置信息。1万多维。

Attention

attetnion数学含义
除以dk 是为了数值稳定

将上下文的信息传给当前token。
移动向量
attention机制给最初的generic embedding加个向量，将其移动到上下文对应的具体方向上。
Attention不仅精细化了嵌入向量的定义，还能将嵌入向量的信息传给其他的向量。
简图
经过多层attention后，预测下一个token的计算过程完全取决于最后一个向量。

单头注意力 single head attention

在这里插入图片描述

Q： query 查寻矩阵 128*12288

在这里插入图片描述
WQ 将E(嵌入向量)映射低维空间中。Q是128*1

K key matrix 128*12288

Key矩阵同样将嵌入向量映射到低维空间中，得到第二个向量序列。当key与query的方向一致时(两个向量的点积越大越相关)，就能认为他们匹配。
在这里插入图片描述
在这里插入图片描述

SoftMax 归一 在这里插入图片描述

Masking
Masking： 在训练时，不能提前知道答案，后级的信息不能传递给前级。为了避免后级token对前级的影响，将下半边矩阵设为－∞。
attention patttern
该pattern表明每个词与其他哪些词相关

Value matrix 12288*12288

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

MLP

在这里插入图片描述
在这里插入图片描述

相关文章：

TransFormer 视频笔记

TransFormer BasicsAttention单头注意力 single head attentionQ： query 查寻矩阵 128*12288K key matrix 128*12288SoftMax 归一 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/19e3cf1ea28442eca60d5fc1303921f4.png)Value matrix 12288*12288 MLP Bas…...

编程日记 2024/10/5 1:58:50

前端的混合全栈之路Meteor篇（三）：发布订阅示例代码及如何将Meteor的响应数据映射到vue3的reactive系统

Meteor 3.0 是一个功能强大的全栈 JavaScript 框架，特别适合实时应用程序的开发。它的核心机制之一就包括发布-订阅（Publish-Subscribe）模型，它允许服务器端发布数据，客户端订阅并实时更新。本文将介绍如何在 Meteor 3…...

编程日记 2024/10/5 1:57:48

自动驾驶系列—颠覆未来驾驶：深入解析自动驾驶线控转向系统技术

🌟🌟 欢迎来到我的技术小筑，一个专为技术探索者打造的交流空间。在这里，我们不仅分享代码的智慧，还探讨技术的深度与广度。无论您是资深开发者还是技术新手，这里都有一片属于您的天空。让我们在知识的海洋中…...

编程日记 2024/10/5 1:55:46

Webstorm 中对 Node.js 后端项目进行断点调试

首先，肯定需要有一个启动服务器的命令脚本。 然后，写一个 debug 的配置： 然后，debug 模式 启动项目和 启动调试服务： 最后，发送请求，即可调试： 这几个关键按钮含义： 重启…...

编程日记 2024/10/5 1:51:43

VUE前后端分离毕业设计题目项目有哪些,VUE程序开发常见毕业论文设计推荐

目录 0 为什么选择Vue.js 1 Vue.js 的主要特点 2 前后端分离毕业设计项目推荐 3 后端推荐 4 总结 0 为什么选择Vue.js 使用Vue.js开发计算机毕业设计是一个很好的选择，因为它不仅具有现代前端框架的所有优点，还能让你专注于构建高性能、高可用性的W…...

编程日记 2024/10/5 1:49:41

一、Spring Boot集成Spring Security之自动装配

Spring Boot集成Spring Security之自动装配介绍 一、实现功能及软件版本说明二、创建Spring Boot项目三、查看自动装配配置类四、自动装配配置类之SecurityAutoConfiguration1、SecurityAutoConfiguration部分源码2、主要作用3、SpringBootWebSecurityConfiguration3.1、Spring…...

编程日记 2024/10/5 1:48:40

计数相关的题 Python 力扣

2284. 最多单词数的发件人 给你一个聊天记录，共包含 n 条信息。给你两个字符串数组 messages 和 senders ，其中 messages[i] 是 senders[i] 发出的一条 信息 。 一条 信息 是若干用单个空格连接的 单词 ，信息开头和结尾不会有多余空格。发件…...

编程日记 2024/10/5 1:47:38

Express内置的中间件(express.json和express.urlencoded)格式的请求体数据

目录 Express内置的中间件 express.json 中间件的使用 express.urlencoded 中间件的使用 express.urlencoded([options]) 解析req.body的兼容写法 Express内置的中间件 自 Express 4.16.0 版本开始，Express 内置了 3 个常用的中间件，极大的提高了 …...

编程日记 2024/10/5 1:44:36

cmakelist加载Qt模块

Qt编程中，cmakelist会自动添加Core，Gui，Widgets模块，有时需要添加新的Qt的模块。在命令find_package中搜索要新增的模块，在命令target_link_libraries中添加要新增的模块。 比如要使用QUiLoader类，要增加对…...

编程日记 2024/10/5 1:43:35

8-2.Android 任务之 CountDownTimer 编码模板（开启计时器、取消计时器）

一、CountDownTimer 1、概述 CountDownTimer 是 Android 中一个用于执行定时操作的类 CountDownTimer 主要应用于在指定时间段内完成某项任务，或者每隔一段时间触发某项任务 2、使用步骤 创建 CountDownTimer：创建 CountDownTimer 就是创建它的匿名…...

编程日记 2024/10/5 1:40:32

Servlet的生命周期及用户提交表单页面的实现（实验报告）

一、实验目的、要求 1. 掌握Servlet的定义，即Servlet是运行在服务器端的Java程序，用于扩展服务器的功能。 2. 学习和掌握在开发环境中搭建Servlet应用所需的工具，如Tomcat服务器、IDEA等。 二、实验内容 根据本章所学知识，实验…...

编程日记 2024/10/5 1:38:30

【Router】路由功能之IP过滤(IP Filter)功能（基于端口）介绍及实现

IP过滤（IP Filter） IP Filter是一种通过对网络数据包中的 IP 地址进行分析和筛选，以实现对网络流量的控制和管理的技术。 IP过滤（IP Filter）作用 安全防护 可以阻止来自特定 IP 地址或 IP 地址范围的恶意攻击、非法访问等，增强网络的安全性。 流量管理 根据不同的 IP …...

编程日记 2024/10/5 1:37:29

数据结构_2.2、顺序表插入删除查找

1、线性表的顺序存储表示定义： 线性表：是具有相同数据类型的n （n≥0）个数据元素的有限序列 顺序表：用顺序存储的方式实现线性表 顺序存储：把逻辑上相邻的元素存储在物理 位置上也相邻的存储单元中&#…...

编程日记 2024/10/5 1:30:23

嵌入式C语言自我修养：编译链接

源文件生成可执行文件的过程？ 源文件经过预处理、编译、汇编、链接生成一个可执行的目标文件。 编译器驱动程序，包括预处理器、编译器、汇编器和链接器。Linux用户可以调用GCC驱动程序来完成整个编译流程。 使用GCC驱动程序将示例程序从ASCII码源文件转换…...

编程日记 2024/10/5 1:29:22

Mac制作Linux操作系统启动盘

前期准备 一个 Mac 电脑 一个 U 盘（8GB 以上） 下载好 Linux 系统镜像（iso 文件） 具体步骤 挂载 U 盘 解挂 U 盘 写系统镜像到 U 盘 完成 一、挂载 U 盘 首先插入 U 盘，打开终端输入下面的命令查看 U 盘是否已经 m…...

编程日记 2024/10/5 1:25:18

PHP语言发展历程

PHP是一种开源的服务器端脚本语言，主要用于Web开发，最初由Rasmus Lerdorf在1994年创建。PHP的发展历程如下： PHP的起源：1994年，Rasmus Lerdorf创建了PHP的第一个版本，最初是一套用于跟踪他个人简历访问的C…...

编程日记 2024/10/5 1:24:18

Notepad++ 之 AndroidLogger插件

背景 最近一段时间在分析Android log 定位问题，Notepad 之前用的比较少，现在看log觉得确实好用，美中不足的是 看Android log的时候不像 logcat -v color 可以区分不同等级的颜色，于是调研了一下，发现大部分都是使用An…...

编程日记 2024/10/5 1:23:16

开源2+1链动模式AI智能名片O2O商城小程序源码：线下店立体连接的超强助力器

摘要：本文将为您揭示线下店立体连接的重大意义，您知道吗？线上越火，线下就得越深入经营。现代门店可不再只是卖东西的地儿，还得连接KOC呢！咱们来看看门店要做的那些超重要的事儿，还有开源21链动模…...

编程日记 2024/10/5 1:22:16

我为什么决定关闭ChatGPT的记忆功能？

你好，我是三桥君 几个月前，ChatGPT宣布即将推出一项名为“记忆功能”的新特性，英文名叫memory。 这个功能听起来相当吸引人，宣传口号是让GPT更加了解用户，仿佛是要为我们每个人量身打造一个专属的AI助手。 在记忆功…...

编程日记 2024/10/5 1:21:13

如何使用ssm实现中学生课后服务的信息管理与推荐+vue

TOC ssm766中学生课后服务的信息管理与推荐vue 第一章 绪论 1.1 选题背景 目前整个社会发展的速度，严重依赖于互联网，如果没有了互联网的存在，市场可能会一蹶不振，严重影响经济的发展水平，影响人们的生活质量。计算…...

编程日记 2024/10/5 1:19:11

分子对接盒子参数智能生成：GetBox-PyMOL-Plugin蛋白质结构分析专业指南

分子对接盒子参数智能生成：GetBox-PyMOL-Plugin蛋白质结构分析专业指南 【免费下载链接】GetBox-PyMOL-Plugin A PyMOL Plugin for calculating docking box for LeDock, AutoDock and AutoDock Vina. 项目地址: https://gitcode.com/gh_mirrors/ge/GetBox-PyMOL-…...

编程新知 2026/4/1 18:56:55

AI Agent架构实战教程（非常详细），从被动唤醒到主动守望，收藏这一篇就够了！

在LLM驱动的应用进入深水区后，开发者们发现：即便Agent再聪明，如果它只能停留在“你问我答”的被动模式，就永远无法触达“私人助理”的核心体验。 从OpenAI的ChatGPT Tasks到百度的“心响”产品、腾讯元宝定时任务，行业…...

编程新知 2026/4/1 17:55:41

3.多表关联在电商数据分析中的核心价值

多表关联在电商数据分析中的核心价值 第1章 多表关联、子查询与行列转换在电商数据分析中的核心价值 1.1 为什么单表查询不够用 我刚开始做数据分析的时候，以为SQL就是在一张表上做筛选和汇总。直到有一天，运营问我：“这批高价值用户&#xf…...

编程新知 2026/4/1 17:55:40

H5-Dooring零基础入门终极指南：无需编码制作专业H5页面

H5-Dooring零基础入门终极指南：无需编码制作专业H5页面 【免费下载链接】h5-Dooring H5 Page Maker, H5 Editor, LowCode. Make H5 as easy as building blocks. | 让H5制作像搭积木一样简单, 轻松搭建H5页面, H5网站, PC端网站,LowCode平台. 项目地址: https://g…...

编程新知 2026/4/1 17:24:50

危废尾气治理厂家怎么选？CO超低排放技术与全场景危废焚烧烟气治理解决方案

随着我国危废处置行业监管体系持续完善，《危险废物焚烧污染控制标准》（GB 18484-2020）对危废焚烧烟气中一氧化碳（CO）等污染物设置了明确排放限值，北京、海南等多地更是出台严于国标的地方标准，其…...

编程新知 2026/4/1 17:22:35

告别满屏窗口！AI智能体杀入职场，企业软件迎来“大洗牌”

SaaS不会像本地部署软件那样走向消亡，但随着AI更深入地渗透到推动企业运营的系统中，IT领导者在管理各类AI时面临着巨大挑战。今年1月，Anthropic低调发布软件插件，引发了SaaS类股票的疯狂抛售。在接下来的两周里，金融市…...

编程新知 2026/4/1 17:07:46

为什么数据质量成为人工智能领域最重要的问题

简而言之：传统的基于人工编写规则和被动检查的数据质量体系，从未针对智能体人工智能进行设计。到2026年，当自主代理处理错误数据时，没有人会介入以发现问题。那些在人工智能领域取得成功的组织，并非从更好的模型入手&a…...

编程新知 2026/4/1 17:07:45

Linux文件搜索工具FSearch：从卡顿到闪电的搜索体验革新

Linux文件搜索工具FSearch：从卡顿到闪电的搜索体验革新 【免费下载链接】fsearch A fast file search utility for Unix-like systems based on GTK3 项目地址: https://gitcode.com/gh_mirrors/fs/fsearch 在Linux系统中，文件搜索往往是一场与时…...

编程新知 2026/4/1 16:57:22

ROS实战：UZH-FPV数据集下PL-EVIO与主流VIO算法的性能对比

1. UZH-FPV数据集与无人机视觉里程计的挑战 UZH-FPV数据集是苏黎世联邦理工学院发布的专门针对高速无人机场景的多模态数据集。这个数据集最大的特点在于它完整记录了无人机在高速机动飞行（最高速度超过10m/s）时的多传感器数据，包括双目事件相…...

编程新知 2026/4/1 16:51:12

基于SpringBoot + Vue的学生学习成果管理平台

文章目录前言一、详细操作演示视频二、具体实现截图三、技术栈1.前端-Vue.js2.后端-SpringBoot3.数据库-MySQL4.系统架构-B/S四、系统测试1.系统测试概述2.系统功能测试3.系统测试结论五、项目代码参考六、数据库代码参考七、项目论文示例结语前言 💛博主介绍&#…...

编程新知 2026/4/1 16:06:35