LLM - 绝对与相对位置编码 与 RoPE 旋转位置编码 源码

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/140281680

免责声明：本文来源于个人知识与公开资料，仅用于学术交流，欢迎讨论，不支持转载。

---

Transformer 是基于 MHSA (多头自注意力)，然而，MHSA 对于位置是不敏感的，需要添加位置编码 (PE)，PE即类别变量，索引，也是基于索引的 Embedding，包括两种，一种是绝对位置编码 (Transformer默认的位置编码)，一种是相对位置编码，最新的是旋转位置编码 (Rotary Position Embedding)。

• 独立位置编码，即位置 i 与位置 j 是独立表征的，没有任何约束或者依赖。Transformer 的论文是基于正弦和余弦函数的角度递增，表示每个位置编码。随机初始化一个 Embedding 矩阵或者 Embedding Table 来表示，在模型的训练过程中，跟着模型的其他参数一起学习与更新，即随机的位置编码。无论哪种位置编码，都是通过与 Token Embedding