【第三周】论文精读：FrugalRAG: Less is More in RL Finetuning for Multi-Hop Question Answering

前言在检索增强生成RAG领域强化学习RL常被用于提升多跳问答Multi-Hop QA的推理能力。然而现有方法往往陷入“盲目堆砌计算量”的误区依赖海量数据10万样本训练模型进行更多次检索导致效率低下且难以泛化。来自微软研究院印度团队提出的FrugalRAG反其道而行之主张“少即是多”Less is More。该框架创新性地采用两阶段微调策略先通过监督微调SFT让模型学会“广泛探索”以覆盖证据再利用强化学习RL教会模型根据问题难度自适应地“提前停止”。FrugalRAG 仅需1,000 条标注数据比现有方法少 100 倍即可在 HotPotQA 等基准上实现 SOTA 的准确率与效率平衡将平均检索次数降低近50%并在高难度的 BrowseCompPlus 任务中展现出卓越的零样本泛化能力。 论文基本信息项目内容论文标题FrugalRAG: Less is More in RL Finetuning for Multi-Hop Question Answering核心方法名FrugalRAG (Two-Stage RL for Adaptive Retrieval)作者Abhinav Java, Srivathsan Koundinyan, Nagarajan Natarajan, Amit Sharma所属机构Microsoft Research India发表年份2026 (ICLR Conference Paper)核心领域Multi-Hop RAG, Reinforcement Learning, Data Efficiency, Adaptive Computation关键数据集HotPotQA, 2WikiMultiHopQA, MuSiQue, BrowseCompPlus训练数据量1,000 条(对比基线通常为 100,000) 研究背景与痛点1. 现有 RL-RAG 方法的困境数据饥渴主流方法如 Search-R1, LeReT通常需要10 万条以上的标注数据进行端到端微调这在垂直领域或私有数据场景下几乎不可行。效率低下现有 RL 策略倾向于鼓励模型进行更多次检索以提升召回率导致简单问题也被过度检索增加了延迟和成本。固定计算预算许多方法在推理时使用固定的检索步数如强制检索 5 次无法根据问题的实际复杂度动态调整造成资源浪费或证据不足。2. FrugalRAG 的核心洞察探索与收敛分离模型首先需要学会“如何找到所有线索”探索然后才需要学会“何时停止寻找”收敛。将这两个目标混合训练会导致不稳定。RL 的真正价值RL 不应仅仅用来增加检索次数而应用来优化检索路径即在保证准确率的前提下用最少的步数完成任务。小数据大效能通过精心设计的两阶段流程仅需1,000 条高质量样本即可训练出强大的自适应检索策略。️ 核心方法FrugalRAG 详解FrugalRAG 是一个两阶段微调框架旨在解耦“证据探索”与“计算控制”。1. 阶段一证据覆盖最大化 (Evidence Coverage Maximization)目标训练一个基础策略Base Policy使其能够通过多次检索尽可能多地覆盖正确答案所需的证据文档。数据构建策略利用 ReAct 范式让模型对每个问题生成多条推理轨迹Rollouts。混合采样构建训练数据时90%的样本来自“强制检索至最大步数无 FINISH 动作”的轨迹以确保充分探索10%的样本包含自然的“FINISH”动作以保持停止信号在模型分布中。择优保留在每个推理步从多个候选查询中选择能带来最高文档召回率Recall的那一条作为黄金轨迹。监督微调 (SFT)使用上述构建的 1,000 条数据对小型语言模型SLM如 Qwen2.5-7B进行全参数微调。结果得到一个“探索者”模型FrugalRAG-Explore它具有极高的证据召回率但倾向于过度检索即使简单问题也会跑满最大步数。2. 阶段二基于 RL 的测试时计算控制 (Controlling Test-Time Compute with RL)目标在阶段一的基础上利用强化学习教会模型自适应地决定何时停止从而在保证准确率的同时最小化检索次数。奖励函数设计 (Reward Design)核心思想是惩罚偏离“最优停止步数 (h∗h^*h∗)”的行为。最优步数h∗h^*h∗定义为达到预设召回率阈值τ\tauτ所需的最小检索步数。奖励公式R{Penalty(Δ),if Recallτ (Early Stop)Bonus−Penalty(Δ),if Recall≥τ (Late/Perfect Stop) R \begin{cases} \text{Penalty}(\Delta), \text{if } \text{Recall} \tau \ (\text{Early Stop}) \\ \text{Bonus} - \text{Penalty}(\Delta), \text{if } \text{Recall} \geq \tau \ (\text{Late/Perfect Stop}) \end{cases}R{Penalty(Δ),Bonus−Penalty(Δ),​ifRecallτ(Early Stop)ifRecall≥τ(Late/Perfect Stop)​其中Δ∣hterm−h∗∣/B\Delta |h_{term} - h^*| / BΔ∣hterm​−h∗∣/B是归一化的步数偏差。早停惩罚若证据不足就停止给予重罚。晚停惩罚若证据已足却继续检索给予轻罚鼓励节俭。完美停止奖励恰好在h∗h^*h∗步停止时给予额外奖励且问题越难h∗h^*h∗越大奖励越高。优化算法采用GRPO(Group Relative Policy Optimization) 算法无需价值函数网络内存效率高。结果模型学会根据问题难度动态调整检索深度——简单问题 1-2 步解决复杂问题自动增加至 4-5 步。 实验结果与分析作者在 HotPotQA, 2Wiki, MuSiQue 以及高难度的 BrowseCompPlus 上进行了全面评估。1. 效率与准确率的双重 SOTA检索成本减半相比阶段一的“探索者”模型FrugalRAG 将平均检索次数降低了约50%例如 HotPotQA 上从 5.99 降至 2.05同时保持了甚至提升了答案准确率MBE。超越大数据基线仅用1,000 条数据训练的 FrugalRAG在 HotPotQA 上的表现优于使用10 万 数据训练的 Self-RAG 和 Search-R1。HotPotQA (ColBERTv2): FrugalRAG 取得68.47%MBE 和82.80%召回率平均检索2.05次。对比 CoRAG: CoRAG 需 10 万数据且固定检索 4 次FrugalRAG 以更少数据和更少检索次数实现了相当的性能。2. 极强的泛化能力 (Zero-Shot Generalization)BrowseCompPlus 挑战这是一个需要极深推理的新基准。FrugalRAG仅在 HotPotQA 上训练直接零样本迁移取得了20.46%的准确率。碾压大模型这一成绩显著高于 DeepSeek-R1 (16.39%) 和 Search-R1-32B (11.08%)证明了其学到的“自适应检索策略”具有极强的鲁棒性。动态调整在面对更难的数据集时FrugalRAG 自动增加了平均检索次数从 2.89 增至 7.95展现了智能的计算资源分配能力。3. 关键发现两阶段的必要性消融实验显示若去掉阶段一直接 RL召回率大幅下降66.5% vs 70.4%若去掉阶段二仅 SFT检索成本居高不下。适应性验证检索次数与问题难度真实跳数呈强正相关相关系数 r0.82~0.95证明模型真正学会了“看人下菜碟”。模型无关性该方法在 Qwen2.5-7B 和 Llama3.1-8B 上均表现一致证明框架本身的有效性而非依赖特定模型。 主要创新点总结“少即是多”的数据范式打破了 RAG 微调依赖海量数据的迷思证明1,000 条精心构造的样本足以训练出 SOTA 的多跳检索策略。解耦的两阶段训练架构首创将“探索SFT”与“收敛RL”分离。先让模型学会“找全”再教它“省着用”解决了单阶段训练中探索与效率的冲突。基于最优停止步数的奖励机制设计了精细的奖励函数明确惩罚“过早放弃”和“过度检索”引导模型寻找每个问题的最小充分证据集。测试时计算自适应实现了真正的动态推理简单问题秒回复杂问题深思。这种弹性计算策略是未来高效 AI 系统的关键特征。⚠️ 局限性与挑战奖励函数依赖黄金证据训练时需要知道每个问题的“支持文档Support Facts”来计算最优步数h∗h^*h∗。在某些只有最终答案标注而无过程标注的场景下构建奖励函数较困难。小模型上限虽然效果显著但基于 7B/8B 小模型的推理能力仍有上限对于极度隐晦的知识关联可能仍不如超大模型直觉敏锐。推理延迟波动由于检索次数动态变化系统的整体延迟不再是固定的可能对某些对响应时间有严格 SLA 要求的实时系统造成调度挑战。 总结与工程建议《FrugalRAG》为构建低成本、高效率的多跳 RAG 系统提供了一套完美的蓝图。它证明了通过巧妙的训练策略小模型也能具备顶级的推理规划能力。 对开发者的实战建议实施两阶段微调Step 1 (SFT)不要直接教模型停止。先构造一批“强制多步检索”的数据让模型学会分解问题和迭代搜索。Step 2 (RL)引入强化学习奖励那些“用最少的步数找到答案”的轨迹。可以使用 GRPO 等轻量级 RL 算法。构建高质量小数据集不需要十万条数据。精选1,000 条具有代表性的多跳问题人工或通过大模型标注出“支持文档”和“推理链条”用于微调。设计“节俭”的奖励函数在 RL 训练中务必加入步数惩罚。设定一个基准召回率一旦达到每多一次检索就扣分若未达到就停止则重扣。动态预算策略在推理时不要设置固定的max_iterations。允许模型根据置信度或内部状态决定FINISH但设置一个较高的上限以防死循环。零样本迁移信心在垂直领域如医疗、法律应用时即使缺乏该领域的多跳训练数据也可以先用通用数据集如 HotPotQA训练 FrugalRAG 策略往往能获得不错的零样本效果。一句话总结FrugalRAG 通过“先广撒网后精修剪”的两阶段策略以千分之一的数据成本实现了多跳检索的效率与准确率双赢是小模型赋能企业级 RAG 的典范。参考文献[1] Java A, Koundinyan S, Natarajan N, Sharma A. FrugalRAG: Less is More in RL Finetuning for Multi-Hop Question Answering[C]//The Thirteenth International Conference on Learning Representations (ICLR). 2026.