Adapting Language Models to Compress Contexts

本文是LLM系列文章，针对《Adapting Language Models to Compress Contexts》的翻译。

摘要

1 引言

2 相关工作

3 方法

4 实验

5 上下文学习

6 压缩检索语料库实现高效推理

7 结论

我们引入了一种训练策略，用于将预训练的LMs调整为自动压缩器，自动压缩器将上下文递归压缩为摘要向量。我们的实验表明，摘要向量保留了重要的上下文信息，用于改进语言建模、上下文演示中的编码以及评估文章与用户查询的相关性。这表明，我们的无监督训练策略可以带来多用途的应用。摘要矢量可以预先计算、缓存和重复使用。这承诺通过减小注意力窗口的大小来提高实际的效率。未来还有大量工作要做，将自动压缩器扩展到更大的模型，并提高摘要向量的质量，以进一步缩小差距，同时充分关注长期上下文。

不足

• 我们只将AutoCompressors应用于参数高达2.7B的OPT型号。未来的工作需要确定自动压缩器在大型模型中的表现，但随着摘要向量维度的增长，每个向量可以保留更多信息。我们还质疑，其他具有不同体系结构特征的预训练模型族，如未绑定的输入输出嵌入，是否更难适应自动压缩器。
• 我们的研究结果表明，摘要向量忽略了一些通过充分关注可以获得的有用信息。此外，模型并不总是从增加汇总向量的数量中受益。我们怀疑，用于有效学习摘要向量的训练信号可能会受到预训练模型的限制，该模型非常善于根据当前片段中的纯文本标记进行预测。未来的工作需要改进这种优化。
• 摘要积累仍然会随着分段数量的增加而导致二次复杂度，尽管其速率远低于完全注意力。未来的工作可能会探索更有效地组合许多摘要向量的方法。