中科大：LLM检索偏好优化应对RAG知识冲突

📖标题：RPO: Retrieval Preference Optimization for Robust Retrieval-Augmented Generation
🌐来源：arXiv, 2501.13726

🌟摘要

🔸虽然检索增强生成（RAG）在利用外部知识方面表现出了希望，但其生成过程在很大程度上取决于检索上下文的质量和准确性。当外部检索的非参数知识与内部记忆不同时，大型语言模型（LLM）很难评估其正确性，从而导致响应生成过程中的知识冲突。
🔸为此，我们引入了检索偏好优化（RPO），这是一种轻量级且有效的对齐方法，可以基于检索相关性自适应地利用多源知识。推导出了检索相关性的隐式表示，并将其纳入奖励模型，将检索评估和响应生成整合到一个模型中，解决了以前的方法需要额外程序来评估检索质量的问题。值得注意的是，RPO是唯一一种RAG专用的对齐方法，它量化了训练中检索相关性的意识，克服了数学障碍。
🔸在四个数据集上的实验表明，在没有任何额外组件的情况下，RPO的准确率比RAG高出4-10%，表现出其鲁棒的泛化能力。

🛎️文章简介

🔸研究问题：检索增强生成（RAG）场景中，大语言模型（LLM）往往过度依赖检索结果，容易出现错误生成和幻觉。
🔸主要贡献：论文提出了一种新的检索偏好优化算法（RPO），通过将检索评估集成到生成过程中，增强了LLM在多源知识环境下的鲁棒性，并在多个基准测试中展示了其性能提升。

📝重点思路

🔸理论分析：论文通过数学证明指出了现有偏好优化策略（如DPO）在RAG场景中处理知识冲突时的局限性。首先是RLHF和DPO的优化目标与RAG中的减轻冲突的目标不一致，其次是奖励模型中的配分函数不能取消，最后是训练数据需要制造参数答案会影响非参数答案偏好。
🔸RPO算法：论文提出了一种新的强化学习目标，将检索相关性表示纳入奖励模型，以自适应地根据检索质量奖励生成结果。
🔸数据收集和过滤：设计了一种数据收集和过滤策略，模拟知识冲突，用于实际训练。
🔸实验验证：在多个LLM和基准测试上进行实验，验证了RPO算法的有效性，并展示了其在各种任务中的一致性能提升。

🔎分析总结

🔸性能提升：RPO在多个数据集（如PopQA、NQ、TriviaQA和RGB）上显著优于现有的自适应检索方法，达到了最先进的性能。
🔸计算效率：与现有的自适应RAG方法相比，RPO在推理阶段的计算开销更小，提供了更实用的解决方案。
🔸知识选择性能：RPO在知识选择性能上表现出显著提升，特别是在涉及知识冲突的情况下，能够更准确地评估检索并选择正确的答案。
🔸消融研究：通过消融研究，验证了监督微调和偏好优化两个阶段在提升检索意识和克服知识冲突中的重要性。

💡个人观点

论文的核心是在训练时引入是否使用检索的奖励，但个人觉得只适用于模型具备知识，不具备知识的也没能力判断错误。

🧩附录