当前位置： 首页 > news >正文

认识Transformer：入门知识

news 2026/5/16 21:41:49

视频链接：
https://www.youtube.com/watch?v=ugWDIIOHtPA&list=PLJV_el3uVTsOK_ZK5L0Iv_EQoL1JefRL4&index=60

文章目录

      • Self-Attention layer
      • Multi-head self-attention
      • Positional encoding
      • Seq2Seq with Attention
      • Transformer
      • Universal Transformer

Seq2Seq

RNN不容易被平行化
提出用CNN来代替RNN，CNN 可以平行化，但是需要的层数比较深，才能看完所有的输入内容。

Self-Attention layer

在这里插入图片描述
b1 到b4 是可以同时被算出。
可以用来取代RNN。

来源： Attention is all you need

在这里插入图片描述
然后用每一个a 去对每个k 做attention

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
加速的矩阵乘法过程
在这里插入图片描述

Multi-head self-attention

不同的head 可以关注不同的内容，达到一个更好的注意力效果。
在这里插入图片描述

Positional encoding

self-attention 没有考虑位置信息。
因此需要再ai的同时加ei，表示位置信息，有人工控制。

在这里插入图片描述

Seq2Seq with Attention

在这里插入图片描述

Transformer

在这里插入图片描述

在这里插入图片描述

Universal Transformer

在这里插入图片描述

相关文章：

认识Transformer：入门知识

视频链接： https://www.youtube.com/watch?vugWDIIOHtPA&listPLJV_el3uVTsOK_ZK5L0Iv_EQoL1JefRL4&index60 文章目录 Self-Attention layerMulti-head self-attentionPositional encodingSeq2Seq with AttentionTransformerUniversal Transformer Seq2Seq …...

编程日记 2023/8/20 11:43:01

《TCP IP网络编程》第二十四章

第 24 章 制作 HTTP 服务器端 24.1 HTTP 概要 本章将编写 HTTP（HyperText Transfer Protocol，超文本传输协议）服务器端，即 Web 服务器端。 理解 Web 服务器端： web服务器端就是要基于 HTTP 协议，将网页对…...

编程日记 2023/8/20 11:41:57

【AI】文心一言的使用

一、获得内测资格： 1、点击网页链接申请：https://yiyan.baidu.com/ 2、点击加入体验，等待通过 二、获得AI伙伴内测名额 1、收到短信通知，点击链接 网页Link：https://chat.baidu.com/page/launch.html?fa&sourc…...

编程日记 2023/8/20 11:40:56

CSAPP Lab2:Bomb Lab

说明 6关卡，每个关卡需要输入相应的内容，通过逆向工程来获取对应关卡的通过条件 准备工作 环境 需要用到gdb调试器 apt-get install gdb系统: Ubuntu 22.04 本实验会用到的gdb调试器的指令如下 r或者 run或者run filename 运行程序,run filename就…...

编程日记 2023/8/20 11:39:54

Java中使用流将两个集合根据某个字段进行过滤去重?

Java中使用流将两个集合根据某个字段进行过滤去重? 在Java中，您可以使用流(Stream)来过滤和去重两个集合。下面是一个示例代码，展示如何根据对象的某个字段进行过滤和去重操作： import java.util.ArrayList; import java.util.List; impor…...

编程日记 2023/8/20 11:38:52

自动驾驶HMI产品技术方案

版本变更 序号 日期 变更内容 编制人 审核人 文档版本 1 2 1....

编程日记 2023/8/20 11:37:51

Git判断本地是否最新

场景需求 需要判断是否有新内容更新,确定有更新之后执行pull操作，然后pull成功之后再将新内容进行复制到其他地方 pgit log -1 --prettyformat:"%H" HEAD -- . "origin/HEAD" rgit rev-parse origin/HEAD if [[ $p $r ]];thenecho "Is La…...

编程日记 2023/8/20 11:36:50

Spring 整合RabbitMQ，笔记整理

1.创建生产者工程 spring-rabbitmq-producer 2.pom.xml添加依赖 <dependencies><dependency><groupId>org.springframework</groupId><artifactId>spring-context</artifactId><version>5.1.7.RELEASE</version></dep…...

编程日记 2023/8/20 11:35:48

Lua 语言笔记（一）

1. 变量命名规范 弱类型语言(动态类型语言)&#xff0c;定义变量的时候&#xff0c;不需要类型修饰 而且&#xff0c;变量类型可以随时改变每行代码结束的时候&#xff0c;要不要分号都可以变量名 由数字&#xff0c;字母下划线组成&#xff0c;不能以数字开头&#xff0c;也不…...

编程日记 2023/8/20 11:34:44

【Redis】什么是缓存穿透，如何预防缓存穿透？

【Redis】什么是缓存穿透&#xff0c;如何预防缓存穿透&#xff1f; 缓存穿透是指查询一个一定不存在的数据&#xff0c;由于缓存中不存在&#xff0c;这时会去数据库查询查不到数据则不写入缓存&#xff0c;这将导致这个不存在的数据每次请求都要到数据库去查询&#xff0c;这…...

编程日记 2023/8/20 11:33:42

LeetCode128.最长连续序列

我这个方法有点投机取巧了&#xff0c;题目说时间复杂度最多O(n),而我调用了Arrays.sort(&#xff09;方法&#xff0c;他的时间复杂度是n*log(n)&#xff0c;但是AC了&#xff0c;这样的话这道题还是非常简单的&#xff0c;创建一个Hashmap&#xff0c;以nums数组的元素作为ke…...

编程日记 2023/8/20 11:32:40

Datawhale Django入门组队学习Task02

Task02 首先启动虚拟环境&#xff08;复习一下之前的&#xff09; 先退出conda的&#xff0c; conda deactivate然后cd到我的venv下面 &#xff0c;然后cd 到 scripts&#xff0c;再 activate &#xff08;powershell里面&#xff09; 创建admin管理员 首先cd到项目路径下&a…...

编程日记 2023/8/20 11:31:38

PCTA 认证考试高分通过经验分享

作者&#xff1a; msx-yzu 原文来源&#xff1a; https://tidb.net/blog/0b343c9f 序言 我在2023年8月10日&#xff0c;参加了 PingCAP 认证 TiDB 数据库专员 V6 考试 &#xff0c;并以 90分 的成绩通过考试。 考试总分是100分&#xff0c;超过60分就算通过考试。试卷…...

编程日记 2023/8/20 11:30:37

[Python]pytorch与C交互

文章目录 C库ctypes基础数据类型参数与返回值类型数组指针结构体类型回调函数工具函数 示例 ctypes是Python的外部函数&#xff0c;提供了与C兼容的类型&#xff0c;并允许调用DLL库中的函数。 C库 要使函数能被Python调用&#xff0c;需要编译为动态库&#xff1a; # -fPIC…...

编程日记 2023/8/20 11:29:36

C语言，静态变量static基础及使用实列

static关键字有多种用途。以下是关于静态变量 (static) 的简要概述&#xff1a; 1.静态局部变量&#xff1a; - 在函数内部定义的静态变量。 - 生命周期&#xff1a;从程序开始执行到程序结束。 - 作用域&#xff1a;仅限于在其被定义的函数中。 - 每次调用该函数…...

编程日记 2023/8/20 11:28:35

2023.8.19-2023.8.XX 周报【人脸3D+虚拟服装方向基础调研-Cycle Diffusion\Diffusion-GAN\】更新中

学习目标 1. 这篇是做diffusion和gan结合的&#xff0c;可以参照一下看看能不能做cyclegan的形式&#xff0c;同时也可以调研一下有没有人follow这篇论文做了类似cyclegan的事情 Diffusion-GAN论文精读https://arxiv.org/abs/2206.02262 2. https://arxiv.org/abs/2212.06…...

编程日记 2023/8/20 11:27:34

微表情识别（Python编程，cnn模型）

1.数据集包括7种类别微表情 anger文件夹&#xff0c;3995张 disgust文件夹&#xff0c; 436张照片 fear文件夹&#xff0c;4097张照片 happy文件夹&#xff0c;7215张照片 neutral文件夹&#xff0c;4965张照片 sad文件夹&#xff0c;4830张照片 surprised文件夹&#xff0c; 3…...

编程日记 2023/8/20 11:26:33

More Effective C++学习笔记（2）

目录 条款5&#xff1a;对定制的"类型转换函数"保持警觉条款6&#xff1a;自增(increment)、自减(decrement)操作符前缀形式与后缀形式的区别条款7&#xff1a;千万不要重载&&&#xff0c;||和&#xff0c;操作符条款8&#xff1a;了解各种不同意义的new和de…...

编程日记 2023/8/20 11:25:31

零售行业供应链管理核心KPI指标（三）

完美订单满足率和退货率 完美订单满足率有三个方面的因素影响&#xff1a;订单按时、足量、无损交货。通常情况下零售企业追求线上订单履行周期慢慢达到行业平均水平&#xff0c;就是交付的速度变快了&#xff0c;这个肯定是一件好事情&#xff0c;趋势越来越好。 同时&#…...

编程日记 2023/8/20 11:24:28

广州华锐互动：奶牛难产原因及救治VR仿真实训系统

奶牛难产是一种常见的疾病&#xff0c;对奶牛的健康和生产造成很大的影响。为了解决这一问题&#xff0c;许多奶牛养殖场开始采用VR仿真技术来培训奶牛兽医&#xff0c;帮助学生更好地理解奶牛养殖的实际过程&#xff0c;提高他们的实践能力的教学方式。 VR技术开发公司广州华锐…...

编程日记 2023/8/20 11:23:27

Halbot框架解析：从零构建可扩展聊天机器人的实践指南

1. 项目概述&#xff1a;一个轻量级、可扩展的聊天机器人框架最近在折腾一个需要集成多个聊天平台&#xff08;比如微信、钉钉、Telegram&#xff09;的自动化项目&#xff0c;发现市面上现成的机器人框架要么太重&#xff0c;要么扩展性不够&#xff0c;要么就是文档写得云里雾…...

编程新知 2026/5/16 20:34:35

ISE FPGA开发全流程实战：从代码到比特流的经典设计指南

1. 项目概述与核心价值如果你正准备踏入FPGA开发的大门&#xff0c;或者已经用了一段时间的Vivado&#xff0c;想看看业界另一个主流工具ISE&#xff08;Integrated Software Environment&#xff09;到底怎么玩&#xff0c;那这个系列的内容就是为你准备的。ISE是Xilinx&#…...

编程新知 2026/5/16 19:19:20

Linux僵死IO与不可中断睡眠分析

Linux僵死IO与不可中断睡眠分析在 Linux 系统里&#xff0c;有一类问题特别让人困惑&#xff1a;进程存在、CPU 不高&#xff0c;但命令卡住、服务停不下来、甚至 kill 也无效。很多这类现象最终都与不可中断睡眠状态有关&#xff0c;尤其常见于 IO 阻塞场景。中级阶段需要理解…...

编程新知 2026/5/16 19:08:14

从CSV文件到3D点云：用Qt+OpenGL打造一个简易的激光雷达数据查看器

从CSV文件到3D点云&#xff1a;用QtOpenGL打造激光雷达数据查看器 激光雷达技术正在重塑自动驾驶、机器人导航和三维测绘的格局。当数百万个空间数据点从激光雷达设备中喷涌而出时&#xff0c;工程师们面临着一个关键挑战&#xff1a;如何快速验证和可视化这些原始数据&#xf…...

编程新知 2026/5/16 18:42:48

专业解析开源AI浏览器助手：Page Assist的深度技术架构与实战应用

专业解析开源AI浏览器助手&#xff1a;Page Assist的深度技术架构与实战应用 【免费下载链接】page-assist Use your locally running AI models to assist you in your web browsing 项目地址: https://gitcode.com/GitHub_Trending/pa/page-assist Page Assist是一款革…...

编程新知 2026/5/16 18:18:42

新手也能玩转CTF内存取证：从Win7镜像到Volatility插件实战（附Gimp调图技巧）

新手也能玩转CTF内存取证&#xff1a;从Win7镜像到Volatility插件实战&#xff08;附Gimp调图技巧&#xff09; 当你第一次接触CTF比赛中的内存取证题目时&#xff0c;面对一个陌生的内存镜像文件和一堆专业工具&#xff0c;可能会感到无从下手。本文将带你从零开始&#xff0c…...

编程新知 2026/5/16 18:11:13

矩阵中的“对角线强迫症”：如何优雅地判断Toeplitz矩阵？

举个栗子 &#x1f330; 例子1&#xff1a; 矩阵&#xff1a; [6, 7, 8] [4, 6, 7] [1, 4, 6]它的对角线分别是&#xff1a;[6,6,6], [7,7], [8], [4,4], [1]&#xff0c;每条对角线上的数字都相同&#xff0c;所以它是Toeplitz矩阵 ✅ 例子2&#xff1a; 矩阵&#xff1a; …...

编程新知 2026/5/16 18:00:51

美颜SDK如何选择？直播APP开发最容易忽略的几个问题

这几年&#xff0c;直播行业的竞争已经从“有没有功能”&#xff0c;逐渐演变成了“用户体验够不够好”。很多团队在做直播APP时&#xff0c;往往会把重点放在推流、连麦、礼物、私域运营这些显性功能上&#xff0c;却忽略了一个对用户留存影响极大的核心模块——美颜SDK。尤其…...

编程新知 2026/5/16 17:56:47

终极指南：如何用BookGet快速下载全球50+图书馆古籍资源

终极指南&#xff1a;如何用BookGet快速下载全球50图书馆古籍资源 【免费下载链接】bookget bookget 数字古籍图书下载工具。 项目地址: https://gitcode.com/gh_mirrors/bo/bookget BookGet是一款强大的数字古籍图书下载工具&#xff0c;支持全球50多个知名数字图书馆的…...

编程新知 2026/5/16 17:12:16

别再手动调参了！用Simulink系统辨识工具箱，5分钟搞定Buck电路的PID控制器设计

电力电子工程师的效率革命&#xff1a;用Simulink系统辨识工具箱5步完成Buck电路PID设计 在电力电子领域&#xff0c;Buck电路作为最基础的DC-DC降压拓扑&#xff0c;其控制器设计一直是工程师的必修课。传统的手工计算和试错调参方法不仅耗时费力&#xff0c;还难以达到理想的…...

编程新知 2026/5/16 16:58:56