动手学深度学习——注意力分数

1. 前言上一篇我们已经把注意力机制代码的整体流程看清楚了先算 query 和 key 的相关性分数再通过 softmax 变成注意力权重最后对 value 做加权和到这里一个很自然的问题就来了这个“分数”到底该怎么计算因为注意力机制里真正决定“该关注谁”的核心不是 softmax也不是加权和而是query 和 key 的匹配分数attention score分数函数设计得不同注意力机制的行为也会不同。所以这一节的重点就是把“注意力分数”这件事单独拎出来讲清楚。2. 什么是注意力分数注意力分数可以简单理解为当前 query 和某个 key 到底有多相关。如果相关性高那么这个 key 对应的位置就应该分到更高的注意力权重。如果相关性低那么它分到的权重就应该更小。所以注意力机制的核心逻辑其实是第一步先对每个 key 打分score(query, key_i)第二步把这些分数归一化softmax(scores)第三步用这些权重去汇总 values。因此分数函数本质上是在回答“现在这个 query最该看哪些 key”3. 为什么注意力分数这么关键因为 softmax 只是把分数变成概率分布真正决定“谁大谁小”的是前面的 score 函数。也就是说score 函数设计得合理注意力就更准确score 函数设计得粗糙注意力就容易偏所以你可以把注意力分数理解为注意力机制的判官它先判断 query 和每个 key 的匹配程度后面的权重分配只是顺着这个判断结果走。4. 一个最直观的理解假设现在解码器在翻译一句英文当前要生成的目标词和源句中的某些位置更相关。这时候当前解码状态就是 query编码器每个时间步输出就是 keyattention score 就是在问当前这一步query 和第 1 个源位置像不像和第 2 个源位置像不像和第 3 个源位置像不像最后谁更像谁就更值得关注。所以注意力分数本质上就是相似度 / 相关性评估函数5. 常见的注意力分数有哪些在李沐这条线里最常见的两类注意力分数通常是加性注意力Additive Attention缩放点积注意力Scaled Dot-Product Attention这两类方法都在解决同一个问题如何度量 query 和 key 的匹配程度但它们的计算方式不同。6. 加性注意力是什么加性注意力也常和 Bahdanau attention 联系在一起。它的分数函数通常写成score(q, k) w^T tanh(W_q q W_k k)你可以把它分成三步理解第一步把 query 投影一下W_q q第二步把 key 也投影一下W_k k第三步把它们加起来过tanh再压成一个标量w^T tanh(...)所以加性注意力的特点就是先映射再相加再过非线性再打分7. 为什么叫“加性”注意力因为它最显眼的一步就是W_q q W_k k也就是 query 和 key 在映射到同一空间后被“加”在了一起。所以叫加性注意力这个名字不是说整个机制只做加法而是强调它的匹配方式是通过“加性融合”完成的。8. 加性注意力的优点是什么加性注意力的一个重要优点是即使 query 和 key 原始维度不同也可以先映射到统一隐藏空间再比较。这很灵活。另外它中间有非线性层tanh所以表达能力也比较强。在早期 Seq2Seq 任务里加性注意力非常经典也非常好理解。9. 点积注意力是什么另一种更直接的方式是点积注意力Dot-Product Attention它的分数函数更简单score(q, k) q^T k也就是 query 和 key 直接做内积。直观上看如果两个向量方向很一致内积会大如果方向差异大内积会小所以它本质上就是一种非常直接的相似度计算。10. 为什么点积注意力更简单因为它不需要像加性注意力那样先做线性映射相加非线性再压缩它直接一步到位q · k所以计算上更高效尤其在大规模并行矩阵运算里非常适合 GPU。这也是为什么后来的 Transformer 非常偏爱点积注意力。11. 缩放点积注意力又是什么在实际使用中尤其是 Transformer 里通常不会直接裸用点积而是用缩放点积注意力Scaled Dot-Product Attention公式通常写成score(q, k) (q^T k) / sqrt(d)这里的d是 query / key 的维度。也就是说在普通点积基础上又除以一个sqrt(d)这一步叫“缩放”。12. 为什么点积要缩放因为当向量维度d比较大时点积的数值幅度可能会变得很大。而后面注意力还要接 softmax。如果分数太大softmax 就容易进入非常尖锐的区域导致梯度变小训练不稳定所以除以sqrt(d)就是为了把分数规模控制在更合适的范围内。这一步非常重要也是 Transformer 成功实践中的关键细节之一。13. 加性注意力和点积注意力怎么对比理解可以简单这么看加性注意力更像是先做一次小型神经网络匹配再输出分数特点表达灵活对维度要求不那么死早期 Seq2Seq 中很经典点积注意力更像是直接看两个向量有多对齐特点简洁计算快特别适合并行矩阵计算所以两者本质上都是“匹配函数”只是风格不同一个更神经网络式一个更线性代数式14. 注意力分数最后一定会变成权重吗是的通常都会。因为分数本身只是“相对大小”。最终要变成真正可用的注意力分布通常还要经过softmax也就是说分数阶段表示“谁更相关”softmax 之后表示“每个位置到底分到多少注意力”所以注意力分数不是终点而是注意力权重的前一步。15. 一个简单例子理解分数和权重的关系假设某一步对三个 key 的分数分别是[2.0, 1.0, 0.1]这表示第 1 个位置最相关第 2 个位置次之第 3 个位置最弱但这些还不是最终权重。经过 softmax 后可能变成[0.63, 0.23, 0.14]这时才是真正用来做加权和的注意力权重。所以你要分清分数原始匹配值权重归一化后的关注比例16. 为什么说注意力分数本质上是在做“匹配”因为 query 和 key 的关系本质上就是当前需求和候选信息之间的匹配程度如果你站在信息检索角度看query 是“搜索请求”key 是“索引”value 是“内容”那么 score 函数就是在做query 和每个 key 的匹配评分谁分高就说明谁更值得被取出来用。所以“注意力分数”其实就是一种可学习的匹配机制。17. 李沐这一节最想让你理解什么这一节最核心的不是让你死背两个公式而是让你抓住这条主线第一注意力的核心在于“如何打分”因为分数决定了后续权重分配。第二分数函数本质上是在度量 query 和 key 的相关性注意力不是凭空来的。第三加性注意力和点积注意力是两种经典打分方法它们解决的是同一个问题只是方式不同。第四缩放点积注意力是后面 Transformer 的关键基础这会直接连接后面的更大模型体系。所以这一节实际上是在回答注意力机制里最核心的那一步到底怎么做。18. 这一节和前后内容怎么衔接你会发现这几节安排非常顺前一节注意力机制总览先理解为什么需要动态关注输入。这一节注意力分数再搞清楚“相关性”到底怎么计算。下一节带注意力的 Seq2Seq把分数函数和上下文加权真正装进解码器。所以这一节是一个非常典型的中间桥梁从概念直觉过渡到正式结构。19. 本节总结这一节我们学习了注意力分数核心内容可以总结为以下几点。19.1 注意力分数用于衡量 query 和 key 的相关性这是注意力机制的核心一步。19.2 加性注意力通过线性映射、相加、非线性和压缩来打分它是早期 Seq2Seq 中很经典的方式。19.3 点积注意力直接通过内积计算相似性计算更简单高效。19.4 缩放点积注意力通过除以sqrt(d)控制分数幅度这有助于训练稳定。19.5 分数经过 softmax 后才会变成真正的注意力权重然后再用于对 values 做加权和。20. 学习感悟这一节非常关键因为它让我们真正看到注意力机制并不是玄学它本质上是在做“匹配评分”。以前我们说模型在关注某些位置模型在动态分配注意力这些说法听起来很高级。但一旦把分数函数写出来你会发现本质其实很朴素先判断 query 和每个 key 有多像再把这个“像不像”变成权重最后用这些权重去读信息。也就是说注意力机制真正高明的地方不在于它神秘而在于它把“该看哪里”这件事显式建模了。