自注意力机制和多头注意力机制区别

Ref：小白看得懂的 Transformer (图解)

Ref：一文彻底搞懂 Transformer（图解+手撕）

多头注意力机制（Multi-Head Attention）和自注意力机制（Self-Attention）是现代深度学习模型，特别是Transformer模型中的关键组成部分。以下是它们的区别和各自的优点：

自注意力机制（Self-Attention）

定义

自注意力机制是一种计算输入序列中每个元素对其他元素的重要性的方法。在NLP任务中，输入通常是一个词序列，自注意力机制通过计算每个词与其他词之间的相似度来获取上下文信息。

优点

• 捕捉长距离依赖关系：自注意力机制可以直接计算序列中任意两个位置之间的相似度，从而有效捕捉长距离依赖关系。
• 并行计算：与RNN不同，自注意力机制可以并行计算，提高了计算效率。

多头注意力机制（Multi-Head Attention）

定义

多头注意力机制是在自注意力机制的基础上，引入多个独立的注意力头（attention heads），每个头在不同的子空间中独立计算注意力。

优点

• 捕捉不同子空间的特征：多个注意力头可以在不同的子空间中独立关注输入序列的不同部分，从而捕捉更多样化的特征。
• 提高模型表现：通过结合多个注意力头的结果，多头注意力机制可以更好地表示输入序列的复杂结构，提升模型的表现。

总结

• 自注意力机制：通过计算输入序列中每个元素与其他元素之间的相似度，捕捉上下文信息。优点是能够捕捉长距离依赖关系，并且计算效率高。
• 多头注意力机制：在自注意力机制的基础上，引入多个独立的注意力头，捕捉不同子空间的特征。优点是能够捕捉更多样化的特征，提升模型的表现。