选择性记忆提取，把人类遗忘机制用在了RAG上，这架构真有点东西

当前大模型处理长文本面临三大瓶颈算力爆炸传统注意力机制随文本长度呈二次方增长O(N²)百万级token直接OOMRAG碎片化检索增强生成将文档切成独立片段破坏多跳推理的逻辑链条记忆遗忘流式处理像狗熊掰棒子读完后面忘前面方案亮点受人类长时记忆工作记忆分工启发哈工大深圳计算智能研究院提出LycheeMemory框架包含三个核心角色1. 压缩器Compressor构建记忆胶囊工作原理将长文档切分为4096token的块通过可训练的记忆token将每块压缩为KV-cache表征技术创新采用交错插入策略每α个原文token插入1个记忆token实现4倍压缩且信息无损预训练策略联合优化文本重建、QA生成、创意摘要三任务确保压缩表征保留语义精华2. 门控器Gate智能记忆筛选核心功能基于当前工作记忆状态和用户查询动态判断每个记忆块是否相关关键突破区别于静态向量检索仅看查询相似度门控器能捕捉多跳推理中的状态依赖——例如先找到导演姓名再筛选其国籍信息训练方式作为二分类器单独训练避免RL梯度不连续问题3. 推理器Reasoner迭代思维链工作机制维护一个固定长度1024token的工作记忆窗口仅对门控器筛选出的相关块进行自回归更新端到端RL优化与压缩器联合训练使压缩表征直接面向下游推理任务优化而非单纯重构原文实验结果长度外推能力惊人在RULER-HQA多跳推理基准上LycheeMemory从训练时的7K上下文零样本外推至1.75M token250倍长度准确率仍保持71%而Qwen2.5-1M等基线在896K即OOM。效率提升6倍算力曲线全量上下文呈二次方爆炸MemAgent线性增长LycheeMemory近乎常数随长度增加仅轻微上升硬件实测128K上下文下相比MemAgent实现6倍推理加速峰值显存降低2倍零样本泛化稳健在未见过的2WikiMultihopQA和StreamingQA上LycheeMemory均超越MemAgent和RAG基线证明压缩记忆具有任务迁移性。一句话总结LycheeMemory通过压缩存储动态筛选迭代推理的三段式流水线让7B模型在消费级显卡上处理百万字文档速度提升6倍且精度不降——这是向人脑式高效长文本理解迈出的关键一步。Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning https://arxiv.org/pdf/2602.08382这里给大家精心整理了一份全面的AI大模型学习资源包括AI大模型全套学习路线图从入门到实战、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等资料免费分享扫码免费领取全部内容1. 成长路线图学习规划要学习一门新的技术作为新手一定要先学习成长路线图方向不对努力白费。这里我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。2. 大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。书籍含电子版PDF3. 大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。4. 2026行业报告行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5. 大模型项目实战学以致用当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。6. 大模型面试题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。7. 资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容