强化学习到底给大模型带来了什么？从 Search Agent 实战到三篇顶会论文的交叉验证

强化学习到底给大模型带来了什么从 Search Agent 实战到三篇顶会论文的交叉验证之前内部团队用 34 台服务器搭了个 Search Agent跑完实验后得出一个颠覆性结论RL 不是在教模型变聪明而是在训练它听话。更扎心的是三篇独立的学术论文从不同角度印证了同样的判断。 这篇文章在讨论什么内部团队做了大量一手实验之后回过头来追问了一个根本性问题强化学习RL到底在多大程度上提升了大模型的智能作者给出的答案非常鲜明——RL 是规训而非启智。这个判断如果成立直接影响的是整个 Agent 技术路线的资源分配你应该把更多 GPU 时间花在预训练上还是花在 RLHF/GRPO 微调上你应该死磕模型端还是把精力放在工具链质量上更有意思的是这个从工程实践中跑出来的结论和近期三篇独立的学术论文不谋而合。这三篇论文分别从宏观、微观和机制层面给出了几乎一致的指向。下面我们来逐一拆解。 工程起点一个零提示词的 Search Agent作者团队的实验不是在 benchmark 上刷分而是从零构建了一个完整的 Search Agent 系统。这个系统的设计非常讲究——它刻意去掉了所有可能干扰结论的外部辅助设计选择为什么这样做极简框架 PocketFlow减少框架本身的噪声对实验结论的污染零提示词工程模型完全自主决策不靠精心设计的 prompt 来撑性能开放模型参数 pdr_8b微调后的模型参数公开支持复现这个设计本身就暗含了作者的研究意图通过剥离所有外部辅助让实验结果直接反映模型内在能力的变化。换句话说如果 RL 之后模型变强了那一定是模型自身变强了而不是框架或 prompt 帮了忙。在搭建过程中团队撞上了一个被广泛低估的瓶颈工具 API 的质量才是 Agent 性能的真正天花板。搜索接口的稳定性、爬虫返回内容的质量、API 的响应延迟——这些看似脏活累活的工程问题实际上直接决定了 Agent 能做到什么程度。团队为此自建了 34 台服务器的分布式集群。这个发现本身就很有启发。当前业界大量资源投入在模型端的优化上——更好的 RL 算法、更大的模型、更多的训练数据。但如果环境本身是一个有噪声的、不稳定的黑箱那模型端的优化收益会被严重稀释。这就像在一条坑坑洼洼的赛道上无论怎么调校引擎赛车的圈速都不会好到哪里去。 核心论断RL 是规训而非启智实验的核心发现可以拆成三层来理解。第一层基础模型已经会了。未经 RL 微调的 Qwen3-8B 基础模型已经能够自主调用搜索工具、解析返回结果、拼接答案。只是它做得不太稳定——有时候调用格式不对有时候该搜的不搜有时候搜到了但没用对。关键在于使用工具这件事模型在预训练阶段就已经学会了。第二层RL 让它做得更利索了。经过 GRPO 微调的 pdr-8b 版本在 Bamboogle 数据集上的 EM 分数从 26.4% 跳到了 50.4%。工具调用的成功率上来了答案的质量也上来了。但仔细看这种提升的本质是什么是模型学会了新的推理策略吗还是它只是在已有能力的基础上变得更稳定、更高效了第三层学术论文给出了答案。三篇独立的研究从不同角度回答了同一个问题。 论文一RL 没有创造新的推理能力论文Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?[1]团队清华大学 LeapLab 上海交通大学发表NeurIPS 2025 OralICML 2025 AI4MATH Workshop Best Paper这篇论文的实验设计非常精巧。它的核心思路是如果 RL 真的教会了模型新的推理策略那给模型足够多的尝试机会即用 passk 评估k 取很大RL 模型应该能解出比基座模型更多的题目。因为新策略意味着新的解题路径——即使单次成功率不高只要给足够多次采样机会总能命中。实验结果却完全相反。图1Base基座模型绿色vs RL强化学习微调后粉色在 AIME24、MATH500、Minerva、Olympiad 四个数学基准上的 passk 对比。在所有模型Qwen-2.5-7B/14B/32B、LLaMA-3.1-8B上规律惊人地一致当 k 较小时如 k1RL 模型占优但随着 k 增大基座模型的 passk 逐渐反超。这说明基座模型的解空间更大只是单次采样的命中率不如 RL 模型。这张图是整篇论文最核心的证据。在 AIME24 上Qwen-2.5-32B 的基座模型在 k1024 时passk 曲线已经明显超过了 RL 模型。这意味着什么基座模型知道的解题策略其实更多但它不够利索——给它足够多次机会它能解出 RL 模型解不出的题。反过来说RL 模型在 k1 时表现更好是因为它学会了集中火力——把概率密度集中到了少数高胜率的策略上。这个结果在编码任务上也得到了验证图2在 LiveCodeBench 上DeepSeek-R1-Distill-Qwen-14B蒸馏模型绿色vs Deepcoder-14B-PreviewRL 模型粉色的 passk 对比。蒸馏模型在所有 k 值上都稳定领先说明蒸馏确实能引入新的推理模式而 RL 不能。论文的结论很直接当前的 RLVR 方法并没有激发出根本性的新推理模式。RL 提升的是 pass1单次命中率代价是降低了 passk覆盖率/多样性。基座模型决定了推理能力的上限RL 只是在这个上限之内做效率优化。作者还特别对比了蒸馏Distillation的效果与 RL 不同从教师模型蒸馏确实可以引入新的推理模式真正扩展学生模型的能力边界。这给了技术选型一个清晰的指引——如果你要突破能力天花板蒸馏比 RL 更有效。 论文二基座模型早就开悟了论文Understanding R1-Zero-Like Training: A Critical Perspective[2]团队Sea AI Lab 新加坡国立大学 新加坡管理大学发表COLM 2025这篇论文的出发点是 DeepSeek-R1-Zero 引发的热议——仅靠 RL 就能让模型涌现出推理能力作者团队没有盲目跟风而是选择了先理解、再改进的硬核路线对 R1-Zero 训练的两大支柱——基座模型和 RL 算法——做了彻底的解剖。最震撼的发现来自对基座模型的分析图3左图展示不同基座模型的问答应答率灰色为无模板、蓝色为有模板中图展示在不同温度下的 pass8 探索能力右图展示自反思self-reflection行为的出现频次。注意 DeepSeek-V3-Base-685B 在有模板时应答率达 100%Qwen2.5 系列在无模板时也能达到 0.8 以上的应答率。几个关键发现DeepSeek-V3-Base 在 RL 训练之前就已经展现出顿悟时刻Aha moment。所谓顿悟时刻是 DeepSeek-R1 论文中报告的一个现象——模型在 RL 训练过程中突然学会了自我反思和纠错。但这篇论文发现DeepSeek-V3-Base 在完全没有 RL 训练的情况下就已经具备了自反思能力。Qwen2.5 系列基座模型甚至不需要 prompt 模板就能展现出强推理能力。这暗示了一个扎心的真相这些能力在预训练阶段就已经被植入了。RL 做的事情可能只是把这些埋在参数深处的能力激活并稳定化。论文还发现了 GRPO 算法中的一个优化偏差optimization bias。标准 GRPO 在训练过程中会人为地增加输出长度尤其是对于错误输出——模型学会了说得越长、分数越高的歪招。作者提出了 Dr. GRPOGRPO Done Right通过去除标准差归一化中的偏差项来解决这个问题图4左侧展示标准 GRPO 和 Dr. GRPO 的公式区别——Dr. GRPO 直接使用原始奖励减去均值作为优势函数去掉了标准差归一化。右侧散点图展示两者的 token 效率在相同 reward 水平下Dr. GRPO红色的输出长度明显短于标准 GRPO灰色。基于这些洞察作者用一个 7B 的基座模型 Dr. GRPO在 AIME 2024 上达到了 43.3% 的准确率创下了同规模的新纪录。更少的 token、更高的效率、相当的性能——这再次说明好的 RL 算法应该做减法而不是加法。 论文三RL 只动了那几个关键 Token论文Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM’s Reasoning Capability[3]团队清华大学 腾讯arXiv2411.19943如果说前两篇论文回答的是RL 做了什么宏观这篇论文回答的则是RL 是怎么做的微观。作者提出了一个核心概念关键 TokenCritical Tokens。在模型的推理过程中并不是每个 token 都同样重要。存在少量的分岔点——在这些 token 上模型的选择将决定后续整条推理链的走向。选对了后面一路顺畅得到正确答案选错了后面怎么补救都是错的。图5一道数学题的推理过程中的关键 Token 示意。问题是Mathilda 付了 125 美元的首付还剩 75% 要还她原本欠多少“。在推理的关键分岔点模型选择了owed”红色分支错误理解为她欠的是 125 的 75%“还是paid”绿色分支正确理解为125 是总额的 25%直接决定了最终答案的对错。注意这两个 token 的差异非常微小只是对75% left to pay的理解不同但它们导致了完全不同的推理链。这张图非常直观。在owed和paid这个分岔点上选择不同的 token 导致了完全不同的推理链选owed → 理解为她欠 125 美元的 75%→ 答案 93.75错误选paid → 理解为125 美元是她付掉的 25%→ 答案 500正确作者用 rollout sampling 方法系统性地识别出这些关键 token然后提出了 cDPOcontrastive DPO方法——在训练时对关键 token 赋予更高的权重。实验结果显示关键 token 与传统定义的错误 token有明显区别。修正关键 token 带来的准确率提升远高于修正其他位置的 token。图6在 MATH500 和 GSM8K 上不包含关键 token 的推理路径实线vs 包含关键 token 的路径虚线的 passk 对比。去掉关键 token 后模型在所有 k 值上都有约 1-2 个百分点的提升。底部的虚线表明关键 token 对应的具体位置在不同样本数下始终为 0%——一旦走上了错误分支就再也回不来了。这个发现对理解 RL 的作用机制至关重要。把 RL 和关键 token 联系起来我们可以推断RL 的微调过程本质上就是在调整模型在这些关键分岔点上的概率分布——让它在犹豫不决的时刻更倾向于选择正确的方向。它不是在重塑模型的知识结构而是在少数关键节点上施加精准的纪律约束。这与前文中规训的隐喻完美契合RL 就像一个严格的教练不是教运动员新动作而是纠正他在关键时刻的犹豫和错误习惯。️ 三篇论文 一线实战共同指向的结论把这篇技术长文的工程实践和三篇论文的发现放在一起可以拼出一幅完整的图景证据来源验证层面核心发现对规训说的支撑Search Agent 工程实验实践基座模型已能调用工具RL 后效率提升但能力边界不变直接验证Yue et al. (2025)[1]宏观RL 提升 pass1 但降低 passk基座模型覆盖范围更大RL 收窄了解空间只做效率优化Liu et al. (2025)[2]机制基座模型已有顿悟时刻GRPO 存在长度偏差智能在预训练中已形成RL 有副作用Lin et al. (2024)[3]微观RL 仅调整少数关键分岔 Token 的概率分布RL 作用在决策点不重塑知识四个独立的证据源从工程实践到 NeurIPS Oral从宏观覆盖率到 token 级别的微观机制指向同一个结论RL 的作用是激活和稳定化预训练阶段已经构造好的能力而非创造新能力。它是效率优化器不是智能创造器。用一个不太精确但很直观的类比预训练就像一个人读了十几年书RL 就像毕业后的岗前培训。岗前培训能让你更快适应工作、减少犯错但它不会让你突然变聪明——你的知识天花板在读书阶段就已经定了。 这对 Agent 开发意味着什么如果RL 是规训而非启智这个判断成立Agent 系统的开发策略需要做出相应调整。对于追求性能突破的团队你的第一优先级是选一个足够强的基座模型。根据清华那篇论文的发现如果你需要超越基座模型的能力边界蒸馏比 RL 更有效。在 LiveCodeBench 上蒸馏模型在所有 k 值上都稳定领先于 RL 模型。对于做 Agent 落地的团队工具链质量可能比模型微调更重要。作者团队自建 34 台服务器来保证搜索 API 质量这不是大材小用——环境质量直接决定了 Agent 性能的上限。一个 API 偶尔返回乱码、搜索结果排序不稳定——这些小问题在 Agent 的多轮交互中会被指数级放大。对于做 RL 训练的团队Understanding R1-Zero 那篇论文提出的 Dr. GRPO 值得关注。标准 GRPO 存在长度偏差——模型会学会说废话来凑分。Dr. GRPO 通过去除标准差归一化来消除这个偏差在相同性能下输出长度减少了约 40%。这对线上推理成本的影响是实打实的。对于做 RL 算法研究的团队Critical Tokens 的发现指明了一个清晰的方向——未来的 RL 算法应该更精准。与其对所有 token 施加均匀的梯度更新SFT 的做法或者对所有 token 施加相同权重的策略优化标准 RL 的做法不如集中火力在那少数关键的分岔 token 上。从 PPO 到 GRPO 再到关键 Token 级别的更新这条精准化的路径已经初现端倪。 不应忽视的反面证据任何有价值的结论都值得从对立面审视。DeepSeek-R1 在数学竞赛上的表现怎么解释R1 系列模型在 AIME、MATH 等数学竞赛上展现出了令人印象深刻的推理能力而这些能力似乎是通过 RL 训练涌现的。一种可能的调和解释是DeepSeek-V3 的预训练做得特别好毕竟是 685B 的模型训练数据的质量和规模都远超 7-8B 模型RL 只是把这些潜在能力充分释放出来了。Understanding R1-Zero 那篇论文发现 DeepSeek-V3-Base 在 RL 之前就已经有自反思能力也佐证了这一点。passk 下降真的是坏事吗清华那篇论文发现 RL 后 passk 下降作者将此解读为能力覆盖范围收窄。但换个角度看RL 让模型学会了排除错误路径——虽然总的候选答案数减少了但有效答案的命中率提高了。在实际应用中用户不会给模型 256 次机会所以 pass1 可能比 pass256 更有实际意义。规模效应是否会改变结论以上实验主要在 7B-32B 规模的模型上进行。在更大规模如 70B、405B 甚至 685B的模型上RL 是否可能触发质的变化这是一个目前缺乏充分验证的开放问题。 技术演进的底层逻辑这篇技术长文还提供了一个有趣的技术演进视角值得在最后补充。架构演进的简化趋势。从 Seq2Seq编码器-解码器双塔到 Transformer统一注意力机制再到 GPT纯解码器每一代架构都在做减法。更简洁的结构意味着更高的计算效率和更强的泛化能力。这暗示了一个原则在 AI 系统设计中少即是多。RL 算法的精准化趋势。从 PPO全参数策略优化到 GRPO群体相对策略优化去掉 critic 网络再到关键 Token 级别的更新RL 算法正在变得越来越精准——只在真正重要的地方施加调整而不是大水漫灌式地改变所有参数。Dr. GRPO 去掉了标准差归一化中的偏差Critical Token 方法把更新聚焦到分岔点——两者都是这个趋势的体现。把两条线索放在一起看可以提炼出一个更高层次的判断AI 的进化方向不是更复杂而是更精准。更简洁的架构、更精准的训练信号、更高质量的数据和环境——这才是推动能力提升的核心杠杆。 总结回到最初的问题强化学习到底给大模型带来了什么根据一个工程团队的一手实验和三篇独立的学术论文答案可以浓缩为三句话智能的起源在预训练。大模型的核心能力——语言理解、逻辑推理、工具使用——在预训练阶段就已经被构造出来了。基座模型的质量决定了能力的上限。RL 是效率优化器。它通过精准调整少数关键决策点的概率分布让模型在实际使用中更稳定、更高效。但它不创造新的能力。从 passk 实验来看RL 缩小了模型的解空间提升了首次命中率代价是牺牲了多样性和覆盖范围。环境是能力放大器。Agent 的实际表现 模型内在能力 × 环境质量。一个不稳定的搜索 API 或低质量的工具返回可以轻松抵消掉 RL 微调带来的全部收益。对于正在构建 Agent 系统的团队这意味着资源分配的优先级可能需要调整选好基座模型 打磨工具链 RL 微调。RL 不是不重要但它是锦上添花不是雪中送炭。 参考文献[1] Yang Yue, Zhiqi Chen, Rui Lu, Andrew Zhao, Zhaokai Wang, Shiji Song, Gao Huang. Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? arXiv:2504.13837, 2025. NeurIPS 2025 Oral.[2] Zichen Liu, Changyu Chen, Wenjun Li, Penghui Qi, Tianyu Pang, Chao Du, Wee Sun Lee, Min Lin. Understanding R1-Zero-Like Training: A Critical Perspective. arXiv:2503.20783, 2025. COLM 2025.[3] Zicheng Lin, Tian Liang, Jiahao Xu, Qiuzhi Lin, Xing Wang, Ruilin Luo, Chufan Shi, Siheng Li, Yujiu Yang, Zhaopeng Tu. Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM’s Reasoning Capability. arXiv:2411.19943, 2024.[4] DeepSeek-AI. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948, 2025.觉得有启发的话欢迎点赞、在看、转发。跟进最新AI前沿关注我的微信公众号机器懂语言