长推理不一定更强：北航 × 字节提出SAGE-RL，挖出大模型隐藏天赋

大模型其实“心里有数”天生具备高效推理的潜能。论文标题Does Your Reasoning Model Implicitly Know When to Stop Thinking?研究团队北航字节跳动联合研究论文地址https://arxiv.org/abs/2602.08354项目主页https://hzx122.github.io/sage-rl/核心发现被采样范式掩盖的“在合适时机终止思考”天赋本研究最核心的突破是首次系统性证明了大推理模型LRMs天生具备判断推理终止时机的能力——它们能精准识别“已得出正确答案”的节点却被 pass1 等主流采样范式掩盖导致推理过程充斥大量冗余。这一发现并非偶然而是通过五层递进的实验验证的核心结论其中每一层都揭示了模型高效推理潜能的真实性与普遍性。1. 悖论拆解长推理链≠高正确率冗余反而拖垮性能长期以来行业默认“更长的思维链CoT能带来更优推理结果”但实验数据与论文中的跨模型对比表格从定量角度揭示了这一认知的谬误。我们通过多个研究案例验证了长度与正确率的脱钩关系Balachandran 等人2025观察到在 AIME 2025 数据集上DeepSeek-R1 生成的回复长度接近 Claude 3.7 Sonnet 的 5 倍却实现了相近的正确率。Hassid 等人2025在 AIME 和 HMMT 数据集上发现QwQ-32B 的最短回复比随机采样回复少用 31% 的 token正确率反而高出 2 个百分点。Shrivastava 等人2025则指出在 AIME 2025 数据集上72% 的问题中更长的回复比更短的回复错误率更高。这些发现共同表明一旦思维链长度达到某个阈值单纯扩大长度并不会带来推理能力的相应提升反而会因冗余步骤引入逻辑混乱降低最终答案的可靠性。当前 CoT 输出中包含的大量无关 token 和重复验证步骤不仅不贡献正确性还会大幅降低推理效率。2. 关键证据模型对“高效路径”的天然置信度偏好通过对模型内部生成机制的解析研究证实累积置信度Φ是模型判断推理有效性的核心信号。核心公式定义累积置信度Φ表示模型对整条推理链有效性的综合判断计算方式为所有 token 的平均对数概率单 token 对数概率表示模型对单个 token 生成的置信度其中是模型在给定查询 x 和前缀序列下生成第个 token的概率。3. 范式缺陷现有采样策略扼杀了模型的“自主终止”能力尽管模型天生具备识别高效路径的能力但当前主流的采样范式尤其是 pass1存在致命缺陷导致这一能力被完全掩盖。首次正确步骤占比RFCS用于量化模型的高效推理能力定义为正确答案首次出现的步骤索引与推理总步骤数的比值实验显示在 pass1 范式下超 50% 的样本在得出正确答案后仍会生成数百个 token 的重复验证步骤。更关键的是这一问题无法通过扩大模型规模解决。passk 范式虽能通过多轮采样发现少量“短且优”的有效推理链但这些链被淹没在大量冗余样本中需要额外计算成本筛选无法直接应用于实时推理场景本质上仍是对模型高效推理潜力的浪费。〓 不同大推理模型在 MATH500 数据集上的首次正确步骤比RFCS统计结果4. 模型对高效链的终止决策高度自信模型对高置信度推理链的终止决策具有极高的鲁棒性这一特征通过终止容忍度TR敏感性分析得到了验证。终止容忍度TR表示模型对思考结束 token/think 排名的容忍程度计算方式为。其中是超参数代表对思考终止 token 排名的容忍上限是探索宽度EW。当终止 token 的排名在 top-h 范围内时模型会接受该终止决策否则会丢弃该候选序列。实验显示基于 Φ 值的终止决策不受外部参数干扰是模型内在能力的体现。〓 随着探索宽度增加TSearch 不同变体的性能对比〓 不同 TR 下 TSearch 变体的性能对比进一步分析发现随着探索宽度增加TSearch w/Φ 识别出的终止 token/think 在候选 token 集中的排名始终稳定在第 1 位表明模型对高效推理链的终止决策高度自信。而 TSearch w/中终止 token 的排名随探索宽度增加逐渐上升显示模型对冗余链的终止决策充满不确定性。〓 思考终止符出现在候选集 T 中时的平均排名比率〓 当根据模型在每个扩展步骤的置信度保留推理分支时模型能够以高置信度完成推理5. 收敛验证探索空间扩大时模型的高效推理能力更显著研究进一步发现当给予模型足够的探索空间时其“自主终止”能力会呈现明显的收敛趋势。在充足的 token 预算下采用 TSearch (m, 1) w/Φ 作为采样策略随着探索宽度的增加模型的 pass1 持续提升同时响应长度持续缩短两者均逐渐收敛至最优值。这一趋势证明模型的高效推理能力是稳定且可被充分激活的。〓 在所有设置下pass1 和响应长度均随 EW 收敛〓 不同探索宽度下 token 效率pass1/LEN对比方法概述释放高效推理潜能的极简方案SAGE SAGE-RL基于上述核心发现本研究提出一个轻量化的解决方案无需修改模型结构核心目标是“解锁”模型天生的高效推理能力。2.1 SAGE自感知引导的高效推理SAGE 的设计完全围绕“尊重模型自主判断”展开基于 TSearch w/Φ 优化而来。关键设计1. 累积置信度Φ计算2. 步阶式推理链探索按“推理步骤”扩展候选链而非逐 token 盲目生成。在第 i 步每个候选序列通过采样 2m 个推理步骤进行扩展其中是基于查询 x 和前缀随机采样的个推理步骤的集合。3. 置信度驱动推理终止无需手动设置 TR 参数当候选序列的推理步骤以终止 token/think 结束时直接将其加入完成集因高置信度推理链必然伴随自信的终止决策。4. 生成最终回答生成 r 条推理链后基于查询和推理链贪婪解码出最终答案。2.2 SAGE-RL高效推理模式迁移为让模型在标准 pass1 推理中持续保持高效将 SAGE 融入强化学习框架RLVR仅修改 rollout 阶段核心公式基于 GRPO/GSPO 扩展SAGE-GRPO 目标函数SAGE-GSPO 目标函数其中G 为每组生成的回复数r 为 SAGE 采样的高效推理链数为 token 级重要性权重为序列级重要性权为优势函数。用高效样本引导模型固化“自主终止”习惯无需改动现有 RL 框架部署成本极低。实验核心发现的全方位佐证所有实验均围绕“验证模型天生具备高效推理潜能”展开覆盖 6 个具有挑战性的数学推理数据集四种基座模型和 GRPO、GSPO 两种基于组的强化学习算法验证了核心发现的普适性。佐证一SAGE-RL固化效果显著SAGE-RL 微调后各个模型的 RFCS 平均值显著提升的同时准确率也有了显著的提升。这表明模型已成功将 SAGE 的高效推理模式迁移到标准的 pass1 推理中。〓 不同大推理模型在 MATH500 数据集上的首次正确步骤比RFCS统计结果〓 SAGE-RL 训练后的模型在 MATH500 数据集上的首次正确步骤比RFCS统计结果〓 案例1〓 案例2佐证二全维度性能领先SAGE-RL 在所有数据集上实现正确率、简洁度、token 效率的全面领先平均正确率提升 2.1%平均 token 数减少 44.1%token 效率Pass1/LEN均为最优/次优。〓 六个基准数据集和四个基础模型在使用 LC-R1、ThinkPrune-2k、AdaptThink、Efficient Reasoning、GRPO-LEAD、GRPO、GSPO、SAGE-GRPO 和 SAGE-GSPO 方法前后的 pass1 准确率、响应长度LEN和 token 效率TE结果。精度提升更快Pass1 指标上升速度更快且收敛至更高数值。长度持续缩减回复长度在整个训练过程中不断下降无平台期。熵值降低更显著策略对高效推理链的置信度更高。KL 散度更高策略从原始分布偏移习得 SAGE 的高效推理模式。〓 RLVR 和 SAGE-RL 的训练动态对比佐证三超参数与复杂度分析超参数敏感性当每组的采样轨迹数 r 从 1 增加到 2 时模型性能提升有限对策略更新的影响微乎其微这是因为具有相似推理轨迹的采样轨迹无法提供额外的有效信息。当探索宽度 m 从1 增加到 2 时模型在性能和效率上均实现了显著提升。有限的 m 会导致 SAGE-RL 的优化行为趋近于标准 GRPO这证实了探索宽度在激活模型高效推理能力方面的关键作用。在不同的超参数组合中SAGE (2,2)-GRPO 展现出最优的综合性能代表了性能与探索效率之间的良好平衡。〓 DS-1.5B 模型在 SAGE-GRPO 不同参数设置下的实验结果对比。其中 SAGE (m, r) 表示探索宽度为 m最终保留 r 条不同的轨迹。〓 不同超参数组合下 SAGE-GRPO 的训练动态对比在 MATH500 上测试得到的平均响应长度、训练过程中 SAGE 生成轨迹的平均长度、熵以及 KL 散度。时间复杂度SAGE 基于 vLLM 实现时耗时增长平缓当时推理时间的增长速度会进一步加快。因此我们主要将探索宽度 m 设为 2 ——该值是推理时间慢增长区域与快增长区域的转折点能够在效率与性能之间实现良好平衡SAGE-RL 微调后的模型在标准 pass1 推理中平均延迟降低 28.7%多数场景降幅超 40%。结论1. 大推理模型的高效推理潜力是与生俱来的只是被现有采样范式掩盖2. 累积置信度Φ是模型自主终止能力的核心信号能精准识别“短且优”的推理路径3. 轻量化的 SAGE 与 SAGE-RL 能有效解锁并固化这一天赋且适用于各类推理模型具有极强的普适性4. 研究重塑了对大模型推理行为的认知——与其教模型如何高效推理不如让模型释放内在的高效推理潜能。应用价值基于核心发现诞生的解决方案可直接应用于实时推理、低资源部署、高难度数学/逻辑推理等核心场景在大幅降低推理耗时、计算成本的同时提升推理正确率真正推动大推理模型从“实验室”走向“工业化”。代码获取请联系huang_zxbuaa.edu.cn更多阅读#投 稿 通 道#让你的文字被更多人看到如何才能让更多的优质内容以更短路径到达读者群体缩短读者寻找优质内容的成本呢答案就是你不认识的人。总有一些你不认识的人知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁促使不同背景、不同方向的学者和学术灵感相互碰撞迸发出更多的可能性。PaperWeekly 鼓励高校实验室或个人在我们的平台上分享各类优质内容可以是最新论文解读也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个让知识真正流动起来。稿件基本要求• 文章确系个人原创作品未曾在公开渠道发表如为其他平台已发表或待发表的文章请明确标注• 稿件建议以markdown格式撰写文中配图以附件形式发送要求图片清晰无版权问题• PaperWeekly 尊重原作者署名权并将为每篇被采纳的原创首发稿件提供业内具有竞争力稿酬具体依据文章阅读量和文章质量阶梯制结算投稿通道• 投稿邮箱hrpaperweekly.site• 来稿请备注即时联系方式微信以便我们在稿件选用的第一时间联系作者• 您也可以直接添加小编微信pwbot02快速投稿备注姓名-投稿△长按添加PaperWeekly小编现在在「知乎」也能找到我们了进入知乎首页搜索「PaperWeekly」点击「关注」订阅我们的专栏吧·