【Transformer】Selective Attention Improves Transformer

这篇论文主要介绍了一种新方法——选择性注意力（Selective Attention），用于改善Transformer模型的性能和效率。 🤓

摘要

无关元素在注意力机制中的存在会降低模型性能。论文提出了一种无需额外参数的简单调整方法，即选择性注意力，通过减少对无关元素的关注来提高性能。在各种模型规模和上下文长度的情况下，选择性注意力在语言建模任务上表现出显著优势。例如，使用选择性注意力的Transformer在相同验证困惑度下所需的内存和计算资源显著减少。

主要内容

1. 引入选择性注意力：介绍选择性注意力的概念，即通过让一个token决定另一个token是否不再需要来减少未来token对它的关注。选择性注意力增加了一个软掩码矩阵，介入标准注意力机制，从而减少无关信息的干扰。
2. 实验设置：主要在C4数据集和较小的变量赋值问题上进行实验，展现选择性注意力在不同上下文长度和模型规模上的优势。
3. 性能改善：选择性注意力显著降低了验证集上的困惑度，并在语言建模和HellaSwag下游任务中表现出色。
4. 推理效率：引入上下文修剪，通过删除上下文缓冲区中的冗余元素，大幅度提升推理效率。
5. 选择性模式：探讨了选择性注意力在语言建模任务中掩盖哪些元素。

结论

选择性注意力是一种无需额外参数的简单修改，能够一致地提高Transformer的语言建模性能，并显著提高推理效率。研究表明，这种方法在多个模型和上下文长度下有着广泛的适用性。未来的工作可以探讨选择性注意力在编码器中的应用以及其对现有模型微调的效果。

这篇论文为Transformer模型在实际应用中的性能和效率提升提供了一种有效的新方法。🚀