当前位置： 首页 > news >正文

66 使用注意力机制的seq2seq【动手学深度学习v2】

news 2025/11/30 18:35:56

66 使用注意力机制的seq2seq【动手学深度学习v2】

深度学习学习笔记
学习视频：https://www.bilibili.com/video/BV1v44y1C7Tg/?spm_id_from=…top_right_bar_window_history.content.click&vd_source=75dce036dc8244310435eaf03de4e330

在机器翻译时，每个生成的词可能源自句子中的不同词，将所有东西压在一起，翻译时可能不清楚来自哪一块的内容，seq2seq只用了最后一层隐藏层的输出，看不到前面的内容，还原不出对应词的位置。想要翻译对应词时找到原句子中的对应位置，于是加入注意力机制。
在这里插入图片描述

加入注意力
在解码器RNN输入时，（先前讲的使用最后一个时刻的隐藏层输出作为上下文+输入的embedding concat作为解码器的输出）应该根据现在要预测值的不一样选择不是最后一个时刻的词而可能是前面几个时刻的对应的隐藏状态作为输入。

attention将编码器对应每个词的输出作为key-value，key-value 是 第 i 个词的RNN的输出。
key-value放入attention中。query是解码器的RNN在对上一个词的预测输出作为query，去attention中match下一个词需要的key-value。
于是将上下文的向量合并embedding一起进去解码器的RNN。

Seq2Seq的改进就是之前进入解码器的RNN只拿到的是最后一个时刻的隐藏层输出，现在的是允许拿出所有的词做一个加权平均，一开始用前面的那些输出，越到后面用后面那些输出。
在这里插入图片描述

在这里插入图片描述

QA：

  1. attention搜索是在当前句子搜索。
  2. BERT是在encoder中加入注意力机制，bert没有decoder
  3. enc_valid_lens 为原句子的长度，在RNN时会把每个词都padding为一样长度，enc_valid_lens就是给出原始长度，不要padding的长度
  4. 图像attention：抠很多子图，一个子图就是一个key-value

相关文章：

66 使用注意力机制的seq2seq【动手学深度学习v2】

66 使用注意力机制的seq2seq【动手学深度学习v2】 深度学习学习笔记 学习视频：https://www.bilibili.com/video/BV1v44y1C7Tg/?spm_id_from…top_right_bar_window_history.content.click&vd_source75dce036dc8244310435eaf03de4e330 在机器翻译时，…...

编程日记 2023/2/13 0:17:29

NextJS(ReactSSR)

pre-render： 预渲染 1. 静态化 发生的时间：next build 1). 纯静态化 2). SSG: server static generator getStaticProps: 当渲染组件之前会运行 生成html json //该函数只可能在服务端运行 //该函数运行在组件渲染之前 //该函数只能在build期间运…...

编程日记 2023/2/13 0:16:21

JointBERT代码复现详解【上】

BERT for Joint Intent Classification and Slot Filling代码复现【上】 源码链接：JointBERT源码复现（含注释） 一、准备工作 源码架构 data：存放两个基准数据集；model：JointBert模型的实现&#xff1b…...

编程日记 2023/2/13 0:15:14

进程间通信（上）

进程间通信（上）背景进程间通信目的进程间通信发展进程间通信分类管道什么是管道匿名管道实例代码简单的匿名管道实现一个父进程控制单个子进程完成指定任务父进程控制一批子进程完成任务（进程池）用fork来共享管道站在文件描述符角…...

编程日记 2023/2/13 0:14:06

【Unity3D】Unity 3D 连接 MySQL 数据库

1.Navicat准备 test 数据库，并在test数据库下创建 user 数据表，预先插入测试数据。 2.启动 Unity Hub 新建一个项目，然后在Unity编辑器的 Project视图 中，右击新建一个 Plugins 文件夹将连接 MySQL的驱动包 导入（附加驱…...

编程日记 2023/2/13 0:13:01

vue通用后台管理系统

用到的js库 遇到的问题 vuex和 localStorage区别 vuex在内存中，localStorage存在本地localStorage只能存储字符串类型数据，存储对象需要JSON.stringify() 和 parse()…读取内存比读取硬盘速度要快刷新页面vuex数据丢失，localStorage不会vuex…...

编程日记 2023/2/13 0:11:55

IDEA设置只格式化本次迭代变更的代码

趁着上海梅雨季节，周末狠狠更新一下。平常工作在CR的时候，经常发现会有新同事出现大量代码变更行..一看原因竟是在格式化代码时把历史代码也格式化掉了这样不仅坑了自己（覆盖率问题等），也可能会影响原始代码责任到人&a…...

编程日记 2023/2/13 0:10:50

算法训练——剑指offer(Hash集合问题)

摘要 数据结构中有一个用于存储重要的数据结构，它们就是HashMap,HasSet，它典型特征就是存储key:value键值对。在查询制定的key的时候查询效率最高O(1)。Hashmap，HasSet的底层结构是如图所示。它们的区别就是是否存在重复的元素。 二、HashMa…...

编程日记 2023/2/13 0:09:45

Element UI框架学习篇(七)

Element UI框架学习篇(七) 1 新增员工 1.1 前台部分 1.1.1 在vue实例的data里面准备好需要的对象以及属性 addStatus:false,//判断是否弹出新增用户弹窗dailog,为true就显示depts:[],//部门信息mgrs:[],//上级领导信息jobs:[],//工作岗位信息//新增用户所需要的对象newEmp:…...

编程日记 2023/2/13 0:08:37

【项目实战】32G的电脑启动IDEA一个后端服务要2min！谁忍的了？

一、背景 本人电脑性能一般，但是拥有着一台高性能的VDI（虚拟桌面基础架构），以下是具体的配置 二、问题描述 但是，即便是拥有这么高的性能，每次运行基于Dubbo微服务架构下的微服务都贼久，以下…...

编程日记 2023/2/13 0:07:32

2022年山东省中职组“网络安全”赛项比赛任务书正式赛题

2022年山东省中职组“网络安全”赛项 比赛任务书 一、竞赛时间 总计：360分钟 竞赛阶段竞赛阶段 任务阶段 竞赛任务 竞赛时间 分值 A模块 A-1 登录安全加固 180分钟 200分 A-2 Nginx安全策略 A-3 日志监控 A-4 中间件服务加固 A-5 本地安全策略…...

编程日记 2023/2/13 0:06:28

RibbitMQ 入门到应用 ( 二 ) 安装

3.安装基本操作 3.1.下载安装 3.1.1.官网 下载地址 https://rabbitmq.com/download.html 与Erlang语言对应版本 https://rabbitmq.com/which-erlang.html 3.1.2.安装 Erlang 在确定了RabbitMQ版本号后，先下载安装Erlang环境 Erlang下载链接 https://packa…...

编程日记 2023/2/13 0:05:23

提取DataFrame中每一行的DataFrame.itertuples()方法

【小白从小学Python、C、Java】【计算机等级考试500强双证书】【Python-数据分析】提取DataFrame中的每一行DataFrame.itertuples()选择题关于以下python代码说法错误的一项是?import pandas as pddf pd.DataFrame({A:[a1,a2],B:[b1,b2]},index[i1,i2])print("【显示】d…...

编程日记 2023/2/13 0:04:17

基于卷积神经网络的立体视频编码质量增强方法_余伟杰

基于卷积神经网络的立体视频编码质量增强方法_余伟杰提出的基于TSAN的合成视点质量增强方法全局信息提取流像素重组局部信息提取流多尺度空间注意力机制提出的基于RDEN的轻量级合成视点质量增强方法特征蒸馏注意力块轻量级多尺度空间注意力机制概念扭曲失真孔洞问题失真和伪影提…...

编程日记 2023/2/13 0:03:09

【2023unity游戏制作-mango的冒险】-3.基础动作和动画API实现

👨‍💻个人主页：元宇宙-秩沅 hallo 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 本文由 秩沅 原创 收录于专栏：unity游戏制作 ⭐mango的基础动作动画的添加⭐ 文章目录⭐mango的基础动作动画的添加⭐&#x1f…...

编程日记 2023/2/13 0:02:04

跨域的几种解决方案？

1-jsonp 【前端后端实现】jsonp: 利用 <script> 标签没有跨域限制的漏洞&#xff0c;网页可以得到从其他来源动态产生的 JSON 数据。JSONP请求一定需要对方的服务器做支持才可以。JSONP优点是简单兼容性好&#xff0c;可用于解决主流浏览器的跨域数据访问的问题。缺点是仅…...

编程日记 2023/2/13 0:01:00

2022年山东省职业院校技能大赛网络搭建与应用赛项正式赛题

2022年山东省职业院校技能大赛 网络搭建与应用赛项 第二部分 网络搭建与安全部署&服务器配置及应用 竞赛说明&#xff1a; 一、竞赛内容分布 竞赛共分二个模块&#xff0c;其中&#xff1a; 第一模块&#xff1a;网络搭建及安全部署项目 第二模块&#xff1a;服务…...

编程日记 2023/2/12 23:59:53

【JUC并发编程】ArrayBlockingQueue和LinkedBlockingQueue源码2分钟看完

文章目录1、BlockingQueue1&#xff09;接口方法2&#xff09;阻塞队列分类2、ArrayBlockingQueue1&#xff09;构造函数2&#xff09;put()入队3&#xff09;take()出队3、LinkedBlockingQueue1&#xff09;构造函数2&#xff09;put()入队3&#xff09;take()出队1、Blocking…...

编程日记 2023/2/12 23:58:48

GitHub个人资料自述与管理主题设置

目录 关于您的个人资料自述文件 先决条件 添加个人资料自述文件 删除个人资料自述文件 管理主题设置 补充&#xff1a;建立一个空白文件夹 关于您的个人资料自述文件 可以通过创建个人资料 README&#xff0c;在 GitHub.com 上与社区分享有关你自己的信息。 GitHub 在个…...

编程日记 2023/2/12 23:57:44

Express篇-连接mysql

创建数据库配置文件config/sqlconfig.jsconst sqlconfig {host: localhost, // 连接地址user: root, //用户名password: ****, //密码port: 3306 , //端口号database: mysql01_dbbooks //数据库名 } module.exports sqlconfig封装数据库管理工具 utils/mysqlUtils.…...

编程日记 2023/2/12 23:56:38

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造&#xff0c;完美适配AGV和无人叉车。同时&#xff0c;集成以太网与语音合成技术&#xff0c;为各类高级系统&#xff08;如MES、调度系统、库位管理、立库等&#xff09;提供高效便捷的语音交互体验。 L…...

编程新知 2025/11/30 12:56:42

从深圳崛起的“机器之眼”：赴港乐动机器人的万亿赛道赶考路

进入2025年以来&#xff0c;尽管围绕人形机器人、具身智能等机器人赛道的质疑声不断&#xff0c;但全球市场热度依然高涨&#xff0c;入局者持续增加。 以国内市场为例&#xff0c;天眼查专业版数据显示&#xff0c;截至5月底&#xff0c;我国现存在业、存续状态的机器人相关企…...

编程新知 2025/11/26 6:02:21

【git】把本地更改提交远程新分支feature_g

创建并切换新分支 git checkout -b feature_g 添加并提交更改 git add . git commit -m “实现图片上传功能” 推送到远程 git push -u origin feature_g...

编程新知 2025/8/15 18:53:03

css的定位（position）详解：相对定位 绝对定位 固定定位

在 CSS 中&#xff0c;元素的定位通过 position 属性控制&#xff0c;共有 5 种定位模式&#xff1a;static&#xff08;静态定位&#xff09;、relative&#xff08;相对定位&#xff09;、absolute&#xff08;绝对定位&#xff09;、fixed&#xff08;固定定位&#xff09;和…...

编程新知 2025/10/22 12:48:44

Spring Boot+Neo4j知识图谱实战：3步搭建智能关系网络！

一、引言 在数据驱动的背景下&#xff0c;知识图谱凭借其高效的信息组织能力&#xff0c;正逐步成为各行业应用的关键技术。本文聚焦 Spring Boot与Neo4j图数据库的技术结合&#xff0c;探讨知识图谱开发的实现细节&#xff0c;帮助读者掌握该技术栈在实际项目中的落地方法。 …...

编程新知 2025/9/17 21:39:04

自然语言处理——Transformer

自然语言处理——Transformer 自注意力机制多头注意力机制Transformer 虽然循环神经网络可以对具有序列特性的数据非常有效&#xff0c;它能挖掘数据中的时序信息以及语义信息&#xff0c;但是它有一个很大的缺陷——很难并行化。 我们可以考虑用CNN来替代RNN&#xff0c;但是…...

编程新知 2025/11/20 5:22:02

蓝桥杯3498 01串的熵

问题描述 对于一个长度为 23333333的 01 串, 如果其信息熵为 11625907.5798&#xff0c; 且 0 出现次数比 1 少, 那么这个 01 串中 0 出现了多少次? #include<iostream> #include<cmath> using namespace std;int n 23333333;int main() {//枚举 0 出现的次数//因…...

编程新知 2025/11/18 5:41:46

倒装芯片凸点成型工艺

UBM&#xff08;Under Bump Metallization&#xff09;与Bump&#xff08;焊球&#xff09;形成工艺流程。我们可以将整张流程图分为三大阶段来理解&#xff1a; &#x1f527; 一、UBM&#xff08;Under Bump Metallization&#xff09;工艺流程&#xff08;黄色区域&#xff…...

编程新知 2025/11/27 5:18:00

李沐--动手学深度学习--GRU

1.GRU从零开始实现 #9.1.2GRU从零开始实现 import torch from torch import nn from d2l import torch as d2l#首先读取 8.5节中使用的时间机器数据集 batch_size,num_steps 32,35 train_iter,vocab d2l.load_data_time_machine(batch_size,num_steps) #初始化模型参数 def …...

编程新知 2025/11/20 10:59:14

LTR-381RGB-01RGB+环境光检测应用场景及客户类型主要有哪些？

RGB环境光检测 功能&#xff0c;在应用场景及客户类型&#xff1a; 1. 可应用的儿童玩具类型 (1) 智能互动玩具 功能&#xff1a;通过检测环境光或物体颜色触发互动&#xff08;如颜色识别积木、光感音乐盒&#xff09;。 客户参考&#xff1a; LEGO&#xff08;乐高&#x…...

编程新知 2025/9/8 6:40:42