面试篇 - Transformer模型中的位置编码

1. 位置编码的引入

• 背景：Transformer模型通过自注意力机制（Self-Attention）处理序列数据，但自注意力机制本身并不包含序列中元素的位置信息。因此，需要一种方法来为模型提供位置信息。

• 解决方案：位置编码（Positional Encoding）被添加到词嵌入（Embedding）中，以提供序列中每个元素的位置信息。 Transformer模型中的位置编码又称为绝对位置编码。

2. 计算公式

• 公式：

• 

• 性质：

  • 使用正弦（sin）和余弦（cos）函数的交替，可以通过线性变换矩阵得到其他位置的表示。

  • 位置编码包含了相对位置的信息，并且由于三角函数的生成规律，可以期望有外推性质。

3. 可视化效果

• 图示：下图展示了长度为100，编码维度为512的序列的位置编码可视化。
  

  • 位置向量的值：由于正弦和余弦函数的性质，位置向量的每个值都位于 [−1,1] 之间。

  • 频率变化：图的右半边几乎都是黄色的，这是因为越往后的位置，频率越小，波长越长，所以不同的 t 对最终的结果影响不大。而越往左走，颜色交替的频率越频繁，表示位置编码的频率变化。

4. 公式推导

• 推导：

       

  这个公式展示了位置编码的相对位置信息和外推性质。