当前位置： 首页 > article >正文

从零构建大语言模型全栈开发指南：第二部分：模型架构设计与实现-2.1.2多头注意力扩展与掩码机制（因果掩码与填充掩码）

article 2026/2/21 11:58:10

👉 点击关注不迷路
👉 点击关注不迷路
👉 点击关注不迷路

文章大纲

  • 2.1.2 多头注意力扩展与掩码机制（`因果掩码与填充掩码`）
    • 1. 多头注意力机制：分治策略的数学实现
      • 1.1 多头注意力核心公式
    • 2. 逐行代码实现
      • 2.1 多头拆分与合并
    • 3. 掩码机制：注意力控制的核心技术
      • 3.1 因果掩码（`Causal Mask`）
      • 3.2 填充掩码（`Padding Mask`）
    • 4. 复合掩码的协同应用
      • 4.1 解码器双掩码机制
    • 5. 工程优化与性能调校
      • 5.1 内存优化策略
      • 5.2 混合精度训练配置
    • 6. 验证实验：注意力模式可视化
      • 6.1 不同头学习模式示例
    • 7. 总结：架构设计的平衡艺术

2.1.2 多头注意力扩展与掩码机制（因果掩码与填充掩码）

  • 多头注意力扩展与掩码机制（因果掩码与填充掩码）流程图

相关文章：

从零构建大语言模型全栈开发指南：第二部分：模型架构设计与实现-2.1.2多头注意力扩展与掩码机制（因果掩码与填充掩码）

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路 文章大纲 2.1.2 多头注意力扩展与掩码机制（`因果掩码与填充掩码`）1. 多头注意力机制：分治策略的数学实现1.1 多头注意力核心公式2. 逐行代码实现2.1 多头拆分与合并3. 掩码机制：注意力控制的核心技术3.1 因果…...

编程日记 2025/7/2 7:36:13

Oracle 19C 备份

在 Oracle 19c 中，备份数据库通常使用 RMAN（Recovery Manager） 工具，它是 Oracle 提供的官方备份和恢复工具。以下是通过 RMAN 备份 Oracle 19c 数据库的详细步骤和命令。 一、RMAN 基本概念 RMAN 是 Oracle 的备份和恢复工具&am…...

编程日记 2026/2/14 14:15:46

[项目]基于FreeRTOS的STM32四轴飞行器: 十一.MPU6050配置与读取

基于FreeRTOS的STM32四轴飞行器: 十一.MPU6050 一.芯片介绍二.配置I2C三.编写驱动四.读取任务的测试五.MPU6050六轴数据的校准 一.芯片介绍 芯片应该放置在PCB中间，X Y轴原点，敏感度131表示范围越小越灵敏。理想状态放置在地面上X，Y&#xf…...

编程日记 2026/2/15 21:59:43

后端学习day1-Spring(八股）--还剩9个没看

一、Spring 1.请你说说Spring的核心是什么 参考答案 Spring框架包含众多模块，如Core、Testing、Data Access、Web Servlet等，其中Core是整个Spring框架的核心模块。Core模块提供了IoC容器、AOP功能、数据绑定、类型转换等一系列的基础功能，…...

编程日记 2026/2/19 8:56:34

【赵渝强老师】在Docker中运行达梦数据库

Docker是一个客户端服务器（Client-Server）架构。Docker客户端和Docker守护进程交流，而Docker的守护进程是运作Docker的核心，起着非常重要的作用（如构建、运行和分发Docker容器等）。达梦官方提供了DM 8在Doc…...

编程日记 2026/2/20 3:15:14

Python电影市场特征：AR模型时间序列趋势预测、热图可视化评分影响分析IMDb数据|附数据代码

原文链接：https://tecdat.cn/?p41214 分析师：Zhiheng Lin 在数字时代，电影产业的数据分析已成为洞察市场趋势与用户偏好的重要工具。本专题合集聚焦印度电影市场，通过IMDb数据集（IMDb Movies Dataset）的深…...

编程日记 2026/2/19 16:33:39

扭蛋机小程序开发，潮玩娱乐消费风口下的机遇

随着Z世代消费能力的提升和盲盒经济的火爆，扭蛋文化正迎来爆发式增长。 扭蛋机作为一种充满惊喜感的消费模式，正从线下走向线上，并借助移动互联网实现了数字化转型。线上扭蛋机小程序不仅延续了传统扭蛋的趣味性，还通过数字化手段…...

编程日记 2026/2/15 20:31:23

网络安全基础：五类安全服务、八种安全机制与OSI七层模型的全面解析

目录 引言 五类安全服务 2.1 认证服务 2.2 访问控制 2.3 数据保密性 2.4 数据完整性 2.5 不可否认性 八种安全机制 3.1 加密机制 3.2 数字签名 3.3 访问控制机制 3.4 数据完整性机制 3.5 认证交换机制 3.6 流量填充机制 3.7 路由控制机制 3.8 公证机制 OSI七层…...

编程日记 2026/2/14 22:10:18

各类神经网络学习：（五）LSTM 长短期记忆（上集），结构详解

上一篇下一篇RNN（下集）待编写 LSTM（长短期记忆） 参考知乎文章《人人都能看懂的LSTM介绍及反向传播算法推导（非常详细） - 知乎》，部分图片也进行了引用。 参考视频教程《3.结合例子理解LSTM_哔哩…...

编程日记 2026/2/14 4:42:48

Python项目-基于Python的网络爬虫与数据可视化系统

1. 项目简介 在当今数据驱动的时代，网络爬虫和数据可视化已成为获取、分析和展示信息的重要工具。本文将详细介绍如何使用Python构建一个完整的网络爬虫与数据可视化系统，该系统能够自动从互联网收集数据，进行处理分析，并通过直观…...

编程日记 2026/2/15 13:03:21

Spring Boot 自定义 Starter 组件的技术指南

1、简述 Spring Boot 通过 Starter 机制，让开发者可以快速集成第三方组件。在企业级开发中，我们常常需要封装自己的 Starter 组件，以提高代码复用性，简化配置，并实现可插拔的模块化开发。 Spring Boot Starter 机制 …...

编程日记 2026/2/15 18:36:49

计算机二级WPS Office第九套WPS演示

解题过程...

编程日记 2026/2/15 9:07:26

计算机网络-2 物理层

【考纲内容】 （一）通信基础 信道、信号、带宽、码元、波特、速率、信源与信宿等基本概念； 奈奎斯特定理与香农定理；编码与调制； 电路交换、报文交换与分组交换；数据报与虚电路① 视频讲解 （二…...

编程日记 2026/2/20 23:48:48

三分钟掌握音频提取 | 在 Rust 中优雅地处理视频音频

前言 在多媒体开发中，从视频中提取音频是一个常见需求。比如，你可能需要分离背景音乐来单独欣赏，或者提取对白用于语音分析，甚至为视频生成字幕。无论目的如何，音频提取都是多媒体处理中的基础操作。 传统上&#xf…...

编程日记 2025/4/28 7:12:52

Redis集群哨兵相关面试题

目录 1.Redis 主从复制的实现原理是什么? 详解 补充增量同步 replication buffer repl backlog buffer 2.Redis 主从复制的常见拓扑结构有哪些? 3.Redis 复制延迟的常见原因有哪些? 4.Redis 的哨兵机制是什么? 主观下线和客观下线 哨兵leader如何选出来的&#x…...

编程日记 2026/2/20 6:38:32

Shopify Checkout UI Extensions

结账界面的UI扩展允许应用开发者构建自定义功能，商家可以在结账流程的定义点安装，包括产品信息、运输、支付、订单摘要和Shop Pay。 Shopify官方在去年2024年使用结账扩展取代了checkout.liquid，并将于2025年8月28日彻底停用checkout.liquid…...

编程日记 2026/2/16 17:58:23

Perl 环境安装指南

Perl 环境安装指南 引言 Perl是一种广泛使用的解释型、动态编程语言，以其强大的文本处理能力和灵活性著称。本文将为您详细介绍Perl环境的安装过程，包括系统要求、安装步骤以及注意事项。 系统要求 在安装Perl之前，请确保您的计算机满足以下基本要求： 操作系统：Window…...

编程日记 2026/2/13 12:15:14

MOSN（Modular Open Smart Network）-04-TLS 安全链路

前言 大家好，我是老马。 sofastack 其实出来很久了，第一次应该是在 2022 年左右开始关注，但是一直没有深入研究。 最近想学习一下 SOFA 对于生态的设计和思考。 sofaboot 系列 SOFAStack-00-sofa 技术栈概览 MOSN（Modular O…...

编程日记 2026/2/19 12:00:52

Softmax 回归 + 损失函数 + 图片分类数据集

Softmax 回归 softmax 回归是机器学习另外一个非常经典且重要的模型，是一个分类问题。 下面先解释一下分类和回归的区别： 简单来说，分类问题从回归的单输出变成了多输出，输出的个数等于类别的个数。 实际上，对于分…...

编程日记 2026/2/12 14:44:26

重温Ubuntu 24.04 LTS

用户调整 # 创建新用户 sudo adduser newusername # 设置新用户的密码 sudo passwd newusername # 将新用户添加到 sudo 组 sudo usermod -aG sudo newusername # 修改ssh访问权限 sudo nano /etc/ssh/sshd_config # 将新用户加入，此时root将无法访问 AllowUsers n…...

编程日记 2026/1/25 22:13:47

FreeRTOS学习（十）：任务调度器挂起与恢复机制详解

FreeRTOS学习（十）：任务调度器挂起与恢复机制详解 文章目录 FreeRTOS学习（十）：任务调度器挂起与恢复机制详解简介一、 任务挂起与恢复的API函数1.1 任务挂起函数1.2 任务恢复函数 二、重要特性与临界区的区别…...

编程日记 2026/2/21 3:31:46

【C++】内存模型分析

在 C 语言中，程序运行时的内存通常被划分为以下几个区域： 代码区（Text Segment）常量区（Constant Segment）全局/静态区（Data Segment，包含静态数据段和 BSS 段）堆区&…...

编程日记 2026/2/20 7:23:22

Vue2+OpenLayers携带请求头加载第三方瓦片数据

目录 一、案例截图 二、安装OpenLayers库 三、代码实现 一、案例截图 在对接一些第三方GIS地图的时候，需要携带请求头来验证身份，从而获取相应的瓦片数据，这时候我们需要改造一下WMTS服务的调用方式，效果如图所示： 二、安装OpenLayers库 npm install ol 三、代码实现…...

编程日记 2026/2/19 13:57:58

智能汽车图像及视频处理方案，支持视频实时拍摄特效能力

在智能汽车日新月异的今天，美摄科技作为智能汽车图像及视频处理领域的先行者，凭借其卓越的技术实力和前瞻性的设计理念，为全球智能汽车制造商带来了一场视觉盛宴的革新。美摄科技推出智能汽车图像及视频处理方案，一个集高效性、智…...

编程日记 2026/2/20 4:26:53

Vue 中如何使用 v-model 实现自定义组件的双向绑定？

在 Vue 中，使用 v-model 实现自定义组件的双向绑定需要遵循一套特定的规则。以下是关于如何实现这一功能的详细步骤和示例。 1. 理解 v-model 在 Vue 中，v-model 实际上是语法糖，它在内部实现了 :value 和 @input 的结合。使用 v-model 的自定义组件需要支持以下两个属性：…...

编程日记 2026/2/12 12:33:48

数据结构--顺序表（实现增删改查）

三个文件（Mytest.c 、MySeqList.c 、 MySeqList.h） Mytest.c测试函数 MySeqList.c 函数定义 MySeqList.h函数声明 增删改查的步骤： 初始化 增加元素 • 尾插：先检查顺序表空间是否足够，若不足则进行扩容&#x…...

编程日记 2026/2/16 19:55:31

【android】补充

3.3　常用布局 本节介绍常见的几种布局用法，包括在某个方向上顺序排列的线性布局，参照其他视图的位置相对排列的相对布局，像表格那样分行分列显示的网格布局，以及支持通过滑动操作拉出更多内容的滚动视图。 3.3.1　线性布局Linea…...

编程日记 2026/2/13 21:51:08

HTML 表单处理进阶：验证与提交机制的学习心得与进度（一）

引言 在前端开发的广袤领域中，HTML 表单处理堪称基石般的存在，是构建交互性 Web 应用不可或缺的关键环节。从日常频繁使用的登录注册表单，到功能多样的搜索栏、反馈表单，HTML 表单如同桥梁，紧密连接着用户与 Web 应用…...

编程日记 2026/2/15 0:46:44

23.linux下电脑健康检查

电脑健康检查 硬盘 工具 sudo apt-get install smartmontools检查命令 sudo smartctl -a /dev/sdb1输出结果 # smartctl 7.2 2020-12-30 r5155 [x86_64-linux-6.8.0-52-generic] (local build) # Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools…...

编程日记 2025/12/1 5:00:23

数据库自然连接详解

各类资料学习下载合集 ​​https://pan.quark.cn/s/8c91ccb5a474​​ 数据库自然连接详解 自然连接（Natural Join）是一种在关系型数据库中用于合并两个或多个表的数据的操作。它基于表之间的公共列，自动识别具有相同列名的列，并…...

编程日记 2026/1/25 21:07:47