当前位置： 首页 > news >正文

【李宏毅机器学习】注意力机制

news 2026/5/14 8:23:04

输出

我们会遇到不同的任务，针对输出的不一样，我们对任务进行划分

给多少输出多少

在这里插入图片描述

给一堆向量，输出一个label，比如说情感分析

在这里插入图片描述

还有一种任务是由机器决定的要输出多少个label，seq2seq的任务就是这种，翻译也是

在这里插入图片描述

Sequence Labeling

如果要考虑时序信息，每次可以选取前后固定长度的信息输入到fc层，但是运算量很大需要的参数也很多

新的方法能考虑整个input sequence

在这里插入图片描述

fc专注处理某一个位置的信息，self-attention来考虑整个sequence的信息

模型细节

在这里插入图片描述

每个b都是考虑整个sequence来产生的

那么是如何产生的？

我们需要找到一些相关的向量来帮助决定 a 1 a^1 a1，用 α \alpha α来表示相关的重要性

在这里插入图片描述

那么怎么决定 α \alpha α呢，有两种方式

在这里插入图片描述

用 a 1 a^1 a1分别与其他的向量分别进行计算相关性

在这里插入图片描述

一般而言，也会跟自己计算相关性

在这里插入图片描述

然后接一个softmax

在这里插入图片描述

根据attention的分数，也就是计算出来的每一个 α \alpha α值来抽取重要的信息

在这里插入图片描述

转换为矩阵运算形式：

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

多头注意力

多头注意力是自注意力的一个进阶的版本

多头注意力的关键在于Q是有不同的多个进行询问的，这样带来的好处与卷积也比较类似，我们采用不同的Q来负责不同种类的相关性

计算方式上，与自注意力机制比较类似，每个计算过程中 只关注对应的（比如计算1的时候只把1拿出来）

在这里插入图片描述

在这里插入图片描述

位置编码

有时位置的距离也比较重要，我们需要存储位置的信息

在这里插入图片描述

For Image

横着来看做一个vector，众多vector作为输入，输入进model

在这里插入图片描述

相关文章：

【李宏毅机器学习】注意力机制

输出 我们会遇到不同的任务，针对输出的不一样，我们对任务进行划分 给多少输出多少 给一堆向量，输出一个label，比如说情感分析 还有一种任务是由机器决定的要输出多少个label，seq2seq的任务就是这种，翻译也…...

编程日记 2023/8/22 4:57:58

Nginx使用keepalived配置VIP

VIP常用于负载均衡的高可用，使用VIP可以给多个主机绑定一个IP，这样，当某个负载应用挂了之后，可以自动切到另一个负载。 我这里是在k8s环境中做的测试，集群中有6个节点，我给140和141两个节点配置VIP。 1. 安…...

编程日记 2023/8/22 4:56:56

C语言编写图形界面

文章目录 环境使用库基础概念句柄 程序的入口创建窗口定义窗口类注册窗口类创建窗口 完整代码运行效果 环境 使用的是VSCode MinGW&#xff1b; 使用库 我们使用windows.h库来实现图形化界面。 头文件如下&#xff1a; #include <windows.h>windows.h是 Windows 操作…...

编程日记 2023/8/22 4:55:52

K8s学习笔记3

Kubernetes功能&#xff1a; Kubernetes是一个轻便的可扩展的开源平台&#xff0c;用于管理容器化应用和服务。通过Kubernetes能够进行应用的自动化部署和扩缩容。在Kubernetes中&#xff0c;会将组成应用的容器组合成一个逻辑单元以更易管理和发现。Kubernetes积累了作为Goog…...

编程日记 2023/8/22 4:54:51

ceph集群的扩容缩容

文章目录 集群扩容添加osd使用ceph-deploy工具手动添加 添加节点新节点前期准备新节点安装ceph&#xff0c;出现版本冲突 ceph-deploy增加节点 集群缩容删除osd删除节点 添加monitor节点删除monitor节点使用ceph-deploy卸载集群 实验所用虚拟机均为Centos 7.6系统&#xff0c;8…...

编程日记 2023/8/22 4:53:50

gremlin安装使用 详细步骤

gremlin是一个图数据库查询工具&#xff0c;注意他只是一个工具类似于dbeaver&#xff0c;navicat&#xff0c;sqlyog&#xff0c;是专门来分析图数据库的一个工具。 下载 下载地址Apache Download Mirrors 省事的可以直接 wget https://www.apache.org/dyn/closer.lua/tin…...

编程日记 2023/8/22 4:52:49

Java语言怎么编写一个程序计算出租车的运输费用：出租车起步15公里以内20块钱，需要支付调头费用

下面是一个Java语言编写的计算出租车运输费用的程序&#xff1a; java import java.util.Scanner; public class TaxiFareCalculator { public static void main(String[] args) { Scanner input new Scanner(System.in); System.out.print("请输入出租车行驶的里程&…...

编程日记 2023/8/22 4:51:47

十、flume的安装

1.解压 2.改名 3.修改权限 4.编辑环境变量并source export FLUME_HOME/usr/local/flume export PATH$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SQOOP_HOME/bin:$PIG_HOME/bin:$FLUME_HOME/bin 5.配置 6.查看版本 7.启动Hadoo…...

编程日记 2023/8/22 4:50:46

互联网广告及产品变现认知分析整理

深入学习互联网广告及产品&#xff0c;并且高效利用这一模式进行变现。 字节先是建立了一个非常强大的用户产品——抖音&#xff0c;通过各种渠道让抖音快速成长起来&#xff0c;收获了一大批初始用户。有了用户基础之后&#xff0c;字节开始打造它的广告产品&#xff0c;逐渐…...

编程日记 2023/8/22 4:49:44

item_search_img-按图搜索淘宝商品（拍立淘）

一、接口参数说明&#xff1a; item_search_img-按图搜索淘宝商品&#xff08;拍立淘&#xff09;&#xff0c;点击更多API调试&#xff0c;请移步注册API账号点击获取测试key和secret 公共参数 请求地址: https://api-gw.onebound.cn/taobao/item_search_img 名称类型必须描…...

编程日记 2023/8/22 4:48:43

OWASP Top 10（2021）漏洞学习（最新）

A01:2021-权限控制失效 从第五位上升到第一位&#xff0c;94%的应用程序都接受了某种形式的针对“失效的访问控制”的测试&#xff0c;该事件的 平均发生率为 3.81%&#xff0c;该漏洞在提供的数据集中出现漏洞的应用数量最多&#xff0c;总发生漏洞应用数量超过31.8万多 次。 …...

编程日记 2023/8/22 4:47:42

mysql 、sql server 游标 cursor

游标 声明的位置 游标必须在声明处理程序之前被声明&#xff0c;并且变量和条件还必须在声明游标或处理程序之前被声明 游标的使用步骤 声明游标打开游标使用游标关闭游标 &#xff08;sql server 关闭游标和释放游标&#xff09; sql server 游标 declare my_cursor curs…...

编程日记 2023/8/22 4:46:40

dockers搭建基本服务

1、使用mysql:5.6和 owncloud 镜像&#xff0c;构建一个个人网盘。 拉取mysql-5.6和owncloud的镜像 docker run -d --name mdb --env MYSQL_ROOT_PASSWORD123 cytopia/mysql-5.6 docker run -d -p 90:80 --name webdcloud --link mdb:mdb owncloud 注册的时候&#xff0c;数据…...

编程日记 2023/8/22 4:45:39

微信小程序纯前端从阿里云OSS下载json数据-完整版

起因 因为云开发开始收费（貌似很久了），准备改造在以前的小程序，数据转到oss上，小程序使用原生，不算专业领域， 所以先百度.... 网上的教程真的是千篇一律，大部分开局就是require(ali-oss); 好点的npm install ali-oss --save开局，拼凑操作到最后发现要用云开发，因为云…...

编程日记 2023/8/22 4:44:37

【微服务实战】01-工程结构概览

文章目录 工程结构概览:定义应用分层及依赖关系1.应用分层2.定义Entity3.仓储层3.1 工作单元&#xff1a;事务管理3.2 仓储层 4.领域事件5.APIController最佳实践 工程结构概览:定义应用分层及依赖关系 1.应用分层 领域模型层基础设施层 ⇒ 仓储应用层 ⇒ Api、后台任务Job共…...

编程日记 2023/8/22 4:43:36

论文导读｜European Journal of Operational Research近期文章精选：旅行商问题专题

推文作者&#xff1a;王松阁 编者按 在“European Journal of Operational Research近期论文精选”中&#xff0c;我们有主题、有针对性地选择了European Journal of Operational Research中一些有趣的文章&#xff0c;不仅对文章的内容进行了概括与点评&#xff0c;而且也对文…...

编程日记 2023/8/22 4:42:35

playwright迭代元素

DOM结构 <ul><li>apple</li><li>banana</li><li>orange</li> </ul>迭代元素操作 通过 page.get_by_role("listitem") 会匹配到 apple, banana, orange&#xff0c; 如果要对这一组数据中的每个元素进行操作&#…...

编程日记 2023/8/22 4:41:33

65 | 增长模型案例

增长模型代表了一种综合性的方法论，旨在通过深入了解用户行为、市场趋势和数据洞察，来指导企业制定有效的增长战略。这种方法突破了传统的经验主义，将决策过程建立在数据驱动和实验的基础之上。增长模型不仅仅是一种理论，更是一种实际操作的框架，帮助企业在各个层面实现业…...

编程日记 2023/8/22 4:40:31

Django视图-HttpRequest请求对象和HttpResponse响应对象

文章目录 HttpRequestHttpResponse实践request对象的属性和方法响应 def index(request): 这个request其实就是内部已经封装好的Http请求HttpRequest&#xff0c;它是一个请求对象Django中的视图主要用来接受Web请求&#xff0c;并做出响应。 视图的本质就是一个Python中的函数…...

编程日记 2023/8/22 4:39:30

原来Lambda表达式是这样写的

原来Lambda表达式是这样写的 lambda 是一个匿名函数&#xff0c;我们可以把 lambda 表达式理解为是一段可以传递的代码。 lambda 简明地将代码或方法作为参数传递进去执行。 函数式编程&#xff1a;核心是把函数作为值。 函数式接口 &#xff1a;只有一个抽象方法的接口称之…...

编程日记 2023/8/22 4:38:29

需求驱动设计：构建可追溯、高质量的FPGA/ASIC开发流程

1. 项目概述&#xff1a;为什么我们需要一场关于“需求驱动设计”的讨论&#xff1f;如果你是一名FPGA或ASIC的设计工程师、项目经理&#xff0c;或者正在向这个领域迈进&#xff0c;那么“项目延期”、“功能bug在流片前夜才被发现”、“需求变更导致架构推倒重来”这些场景&a…...

编程新知 2026/5/14 7:41:42

国产多模态大模型部署利器：深度解析陈天奇技术栈

国产多模态大模型部署利器&#xff1a;深度解析陈天奇技术栈 引言 在国产大模型“百模大战”的喧嚣浪潮中&#xff0c;我们的目光常常被那些能说会道、能文能图的多模态大模型本身所吸引。然而&#xff0c;一个同样关键却容易被忽视的问题是&#xff1a;如何让这些动辄数百亿…...

编程新知 2026/5/14 5:26:15

量子计算连续门集：原理、实现与优化

1. 量子计算中的连续门集&#xff1a;概念与挑战在量子计算领域&#xff0c;门集(gate set)是实现量子算法的基本构建模块。传统量子计算通常依赖于离散的通用门集&#xff0c;如单量子比特门和CNOT门的组合。然而&#xff0c;这种离散门集在实现某些量子算法时存在明显局限——…...

编程新知 2026/5/14 5:24:11

量子支持向量机原理与硬件优化实践

1. 量子支持向量机基础原理与硬件挑战量子支持向量机&#xff08;QSVM&#xff09;是传统支持向量机在量子计算框架下的扩展&#xff0c;其核心创新点在于利用量子态空间的高维特性构建核函数。与传统核方法相比&#xff0c;量子核映射通过量子电路将经典数据编码到希尔伯特空间…...

编程新知 2026/5/14 5:11:58

MoneyPrinter监控面板搭建终极指南：实时追踪YouTube Shorts自动化生成状态

MoneyPrinter监控面板搭建终极指南&#xff1a;实时追踪YouTube Shorts自动化生成状态 【免费下载链接】MoneyPrinter Automate Creation of YouTube Shorts using MoviePy. 项目地址: https://gitcode.com/gh_mirrors/mo/MoneyPrinter 想要实时掌握YouTube Shorts自动化…...

编程新知 2026/5/14 5:03:16

私域团队如何用企业微信 API 提升客户维护效率？

一、 场景描述&#xff1a;为什么你的团队每天都在“瞎忙”&#xff1f; 很多私域团队看似忙碌&#xff0c;实则效率低下。典型的现象包括&#xff1a; • 重复回答&#xff1a;每天 70% 的时间在复制粘贴相同的话术&#xff08;如&#xff1a;发货时间、优惠券怎么领&#xff…...

编程新知 2026/5/14 4:19:43

高速数字设计中的抖动：从概念到测量与抑制的完整指南

1. 项目概述&#xff1a;从“抖动”说起&#xff0c;高速数字设计的隐形杀手如果你在高速数字电路设计或者信号完整性测试领域摸爬滚打过几年&#xff0c;那么“抖动”这个词对你来说&#xff0c;绝对不是一个陌生的概念。它就像电路板上的幽灵&#xff0c;平时看不见摸不着&am…...

编程新知 2026/5/14 2:28:12

Credenza：现代化开发凭证管理工具的设计原理与实战应用

1. 项目概述&#xff1a;一个现代化的凭证管理工具 最近在整理自己的开发环境时&#xff0c;又被各种API密钥、数据库密码、服务令牌给搞烦了。这些敏感信息散落在不同的 .env 文件、配置脚本甚至代码注释里&#xff0c;每次换机器或者和新同事协作都得小心翼翼&#xff0c;生…...

编程新知 2026/5/14 1:08:54

如何免费解锁Cursor Pro功能：开源工具完整使用指南

如何免费解锁Cursor Pro功能&#xff1a;开源工具完整使用指南 【免费下载链接】cursor-free-vip [Support 0.45]&#xff08;Multi Language 多语言&#xff09;自动注册 Cursor Ai &#xff0c;自动重置机器ID &#xff0c; 免费升级使用Pro 功能: Youve reached your trial …...

编程新知 2026/5/13 21:20:42

基于MCP协议的数据中心选址智能体：从地理空间分析到AI决策

1. 项目概述与核心价值最近在做一个挺有意思的项目&#xff0c;客户是一家大型的互联网服务提供商&#xff0c;他们面临一个经典但棘手的挑战&#xff1a;如何在全球范围内科学地规划新的数据中心选址。这可不是在地图上随便画个圈那么简单&#xff0c;背后涉及到网络延迟、电力…...

编程新知 2026/5/13 17:54:57