attention 注意力机制 学习笔记-GPT2

注意力机制

这可能是比较核心的地方了。

gpt2 是一个decoder-only模型，也就是仅仅使用decoder层而没有encoder层。

decoder层中使用了masked-attention 来进行注意力计算。在看代码之前，先了解attention-forward的相关背景知识。

在普通的self-attention 中，对于一个长为T的句子，对其中第t个单词。需要计算t和句子中所有T个单词的注意力。也就是使用词t的Q向量$q_t$ 和 T中的所有单词的key向量$k_j,0<=j<=T$相乘。得到词t和句子中其他单词的注意力得分。

于是对于词t和当前句子S, 得到了注意力得分向量，而后对该向量使用softmax. 标准化的同时得到softmax后的注意力得分。

然后使用 每个词对应的值向量与注意力得分相乘之后再求和
$$(v_1,v_2,...,v_T)\left(\begin{array}{c}scor{e}_{t1}\\ scor{e}_{t2}\\ ...\\ scor{e}_{tT}\end{array}\right)=ou{t}_t$$
这里要注意，$socr{e}_{ti}$ 是一个标量值，但是$v_t$ 是 一个向量，长度和词嵌入向量长度相同，相加时，对每个向量位置元素对应相加。

对于masked-attention呢，实际上就是计算注意力得分时候，对第t个单词，仅仅计算0到t单词的注意力得分，t~T 部分的注意力得分不计算，计算softmaxs时t之后的部分以初值0代替。

multi-head attention

前面了解了attention基本知识，就很好理解多头注意力了。多头注意力实际上就是将单个Q,K,V向量，分裂为多个头，然后和self-attention一样流程计算每个头的注意力，最后得到一个输出向量，然后将多个头的输出向量拼接到一起，得到最后的输出结果。

比如，原本的一个向量长度为$lengt{h}_Q==lengt{h}_K==lengt{h}_V==168$ 分裂为12个注意力头之后，每个注意力头的QKV向量长度为$lengt{h}_{Q_i}==lengt{h}_{K_i}==lengt{h}_{V_i}=64,i\in [0,12]$，

然后和分裂的self-attention一样，对每个词t的第i个头的Q向量 $Q_{t_i}$，与其他词的第i个头的K向量$K_{j_i},0<=j<=t,i\in [0,12]$ 内积，得到注意力得分。

而后和self-attention一样的，每一个注意力头的Value向量和该头的注意力得分相乘，得到该注意力头的结果。

对于12个头长度为64的attention，最后得到12个64长的注意力结果

再将其拼接，得到长为768的注意attention forward结果，和单个注意力头但是长为768的attention结果相同。