Transformer中基于惊喜的遗忘机制

在语言建模任务上，拥有 760M 参数的 Titans(MAC) 在 WikiText 上达到了 19.93 的困惑度，显著优于同等规模的 Transformer++（25.21） 和 Mamba2（22.94）。在常识推理任务上，Titans 在包括 PIQA、HellaSwag、WinoGrande 等 9 个基准测试中的平均准确率达到 52.51%，超过了现有的最好成绩。

Transformer中基于惊喜的遗忘机制

是一种根据输入信息的“惊喜”程度来决定是否遗忘先前信息的机制。“惊喜”通常指的是输入信息与模型预期的差异程度。如果新输入的信息与模型之前的预期差异较大，即具有较高的“惊喜值”，那么模型可能会选择遗忘一些先前的信息，以便更好地适应新的、更重要的信息。以下是其详细介绍：

原理

• 计算惊喜值：模型会计算新输入信息与当前模型预测或预期之间的差异，这个差异值就是惊喜值。计算方式可以是通过比较当前输入的特征向量与模型内部的预期特征向量之间的距离或差异度量或者梯度数值来确定。
• 遗忘决策：根据计算得到的惊喜值，模型会决定是