收藏！小白也能看懂的大模型推理能力训练与未来趋势深度解析

文章讨论了大模型的发展历程从早期的“读很多书”模式到引入“思考”能力的转变。重点介绍了推理式思考与智能体式思考的区别以及Qwen团队在模型训练中的经验与挑战。文章指出未来的重心将从单纯训练模型“思考”转向训练智能体“边想边做”并强调智能体式思考需要与真实环境交互面临环境设计、评分器鲁棒性等难题。最后文章预测AI竞争的焦点将从算法转向训练环境与智能体系统的构建。先说说现在大模型发展到哪了如果你最近在用各类 AI 产品可能会有一个感受现在的 AI 越来越能干了不只是聊天还能帮你写代码、查资料、做分析甚至自动完成一套复杂流程。但这背后其实经历了几个非常不同的发展阶段。最早的 GPT-3、GPT-4 这一代核心逻辑是读了很多书所以什么都懂——依靠海量数据预训练模型变得博学但本质上还是问答机器。2023 年底到 2024 年OpenAI 推出 o1引入了一个新概念让模型在回答之前先想一想。效果在数学、代码、逻辑题上非常显著。DeepSeek-R1 随后跟进证明这套方法可以被复现而且成本可以更低。下面这张图展示了从 GPT-4 到现在主流模型在编程能力SWE-bench这个关键指标上的大致演进——这个数字越高意味着模型能够独立解决真实世界的软件开发问题数据来源参考DataLearner的SWE-Bench Verified评测数据https://www.datalearner.com/benchmarks/swe-bench-verified这一阶段各家 AI 公司基本都在回答同一个问题怎么让模型想得更好Junyang 认为这个问题仍然重要但行业的重心已经开始转移——从怎么想得更好走向怎么在真实环境中边想边做。他把前者称为**“推理式思考”reasoning thinking后者称为智能体式思考agentic thinking**并认为后者将成为接下来的主线。一、“让模型学会思考”背后有多难o1 和 R1 的成功表面上看是让模型多想一步但实际上是一次系统性的工程革命。强化学习RL并不是新技术但要把它用在语言模型的思考训练上有一个关键前提你得有可靠的评分标准。数学题对不对、代码能不能跑通这些是有标准答案的机器可以自动判断。这也是为什么早期推理模型的突破几乎全部发生在数学和代码领域——这两个方向的反馈信号最干净。更关键的是一旦走上推理训练这条路整个训练基础设施都得跟上大规模的模拟推理过程生成、高吞吐量的自动评分、稳定的模型更新机制……这套东西的复杂程度不亚于重新搭一套训练系统。Junyang 的原话是推理模型的崛起既是一个建模的故事也同样是一个基础设施的故事as much an infra story as a modeling story——算法和工程两条腿缺一不可第一次重大转型就是从扩大预训练规模转向扩大推理后训练的规模。二、Qwen 团队曾经想做一件很难的事这里 Junyang 难得地透露了一些 Qwen 内部的决策过程。2025 年初Qwen 团队的目标是把思考模式和对话模式合并进同一个模型。理想状态是模型能自己判断——这个问题简单直接回答那个问题复杂多想一会儿——用户不需要手动切换。Qwen3 是这个思路最完整的一次公开尝试引入了混合思考模式支持可控的思考预算专门设计了思考模式融合阶段。但 Junyang 坦言这件事做起来远比想象中难核心矛盾在于数据做对话instruct的数据追求的是简洁、高效、格式稳定适合企业拿去批量跑客服、标注、摘要这类重复性任务。做思考thinking的数据则完全不同它鼓励模型在中间过程里探索多条路径允许走弯路再纠正目标是最终正确率而非过程简洁。这两种行为目标在训练数据层面是互相拉扯的。如果数据配比和质量没有精心把控合并出来的模型很容易两头不讨好思考模式变得啰嗦但不深入对话模式变得拖沓但不再干脆。Junyang 也承认Qwen 团队在平衡模型合并和提升后训练数据质量与多样性的过程中并没有把所有事情都做对。最终在实践中分开做仍然有很强的吸引力。2025 年 7 月Qwen 公开发布了2507 更新将 Instruct 版和 Thinking 版分拆为两条独立产品线包括 30B 和 235B 的不同规格。Junyang 解释这么做的一个重要原因是大量商业客户确实需要纯粹的 instruct 模式——高吞吐、低成本、高度可控——对这些场景来说合并并不能带来明显好处。分开反而让两个方向各自的数据和训练问题能解决得更干净。Qwen3-235B-A22B与Qwen3-235B-A22B-Thinking-2507对比https://www.datalearner.com/benchmark-compare/qwen3-235b-A22b-2507-thinking/Qwen3-235B-A22B-Instruct-2507Anthropic 则坚持走另一条路Claude 3.7 Sonnet 和 Claude 4 都是合并路线用户可以手动设定思考预算Claude 4 甚至允许思考过程中穿插工具调用。GLM-4.5、DeepSeek V3.1 后来也走了类似的混合路线。那到底谁对谁错Junyang 的看法是关键不在于合不合并而在于合并得是否有机。如果思考和对话只是被塞进了同一个模型、但行为上仍然像两个别扭地缝在一起的人格用户体验依然是割裂的。真正成功的合并应该是模型能在一个连续的推理投入光谱上自如调节——不是在想和不想之间硬切而是像 GPT 的 effort 控制那样形成一种对计算量的策略分配。三、Anthropic 的克制提供了一个有用的参照Junyang 在文中对 Anthropic 的评价比较正面但他的措辞是有用的纠偏a useful corrective态度相当克制。他认为很多团队有一个误区推理链越长模型就越聪明。但 Junyang 指出如果一个模型对所有问题都用同样冗长的方式去推理这往往说明它不会合理分配计算资源——不知道什么该细想、什么该快速回答、什么时候该停下来动手。Anthropic 的思路不一样。他们把思考能力跟具体任务目标绑定如果目标是写代码那思考就应该帮助拆解问题、规划步骤、定位错误、协调工具调用如果目标是完成一个长流程任务思考就应该帮助维持方向感和执行质量而不是生成一大段好看但没用的中间推理文本。Junyang 把这个方向概括为一句话我们正在从训练模型的时代走向训练智能体的时代。他在 Qwen3 的博客里也写过同样的话并把未来 RL 的进步跟来自环境的反馈和长程推理联系在了一起。编者补充Junyang 原文没有展开讨论 Anthropic 的具体评测成绩但从公开数据来看Anthropic 的这条路线在 2025 年确实表现亮眼。Claude Opus 4.5 成为首个在 SWE-bench Verified 上突破 80% 的模型Claude Sonnet 4.5 在 Artificial Analysis Intelligence Index 上的得分甚至超过了更贵的旧旗舰 Opus 4.1打破了更贵就更强的惯例。Anthropic 发布 Opus 4.6 时还直接引用了 OpenAI 自己 2025 年 4 月发布的 BrowseComp 基准来展示 Claude 的排名——这种拿你的尺子量你的操作在 AI 圈引发了不少讨论。这些成绩某种程度上印证了 Junyang 对 Anthropic 方向的认可。四、真正的下一步从会思考到会行动这是整篇文章的核心论点。Junyang 认为智能体式思考将成为主流的思考形式并且很可能逐步取代那种过度冗长的、封闭式独白型推理——注意他用的是may eventually这是一个趋势判断不是说推理式思考马上就要消失。两者的区别是什么推理式思考是模型在脑子里打草稿给一道题闭门推演很久输出一个答案。整个过程是封闭的跟外部世界没有交互。评判标准也相对单一——最终答案对不对。智能体式思考是模型边做边想遇到不知道的信息就去搜索需要验证就执行代码中间出错了就看错误信息、调整方案再来一遍。整个过程是开放的跟真实环境持续交互。评判标准变成了——能不能在跟环境持续互动的过程中保持有效推进。Junyang 在原文里列举了智能体式思考需要具体应对的几个难题模型得判断什么时候该停下思考、开始行动得选择调用哪个工具、按什么顺序调用得处理来自环境的不完整甚至带噪声的观测结果在行动失败之后得修正计划而不是卡住还得在跨越很多轮对话和工具调用的过程中保持前后一致。这些是纯推理模型基本不需要面对的挑战。举个直观的例子你让 AI 帮你调研竞争对手并生成一份分析报告。在旧模式下AI 凭训练数据里的存量知识给你写一份可能已经过时的报告。在新模式下AI 先搜索最新信息发现数据不够就换个关键词再搜一遍把结果整理后写成报告自己检查一遍逻辑发现某个数据源有矛盾就再去交叉验证——全程不需要你介入。Claude 最新版本、OpenAI 的 Operator、Cursor 和 Devin 这类工具都已经在朝这个方向走。五、训练会行动的 AI难在哪训练一个只会思考的模型评分系统相对简单——答案对不对机器自动判断就行。但一旦目标变成训练一个跟环境交互的智能体整个 RL 基础设施都得重新来过。在传统推理 RL 里模型的每一轮推演基本上是自包含的有比较干净的自动评分器。但在智能体 RL 里模型被嵌入了一个更大的系统工具服务器、浏览器、终端、搜索引擎、代码执行沙箱、API 接口、记忆系统、调度框架……环境不再是一个静态的判卷老师它本身就是训练系统的一部分。Junyang 举了一个很具体的例子假设你在训练一个编程智能体它生成的代码需要在一个真实的测试环境里跑。推理端在等执行结果训练端在等推理端交回完整的轨迹数据整个流水线的 GPU 利用率远低于传统推理 RL 的预期。再加上工具调用的延迟、环境状态的不确定性实验迭代速度会急剧下降“还没到你想要的能力水平实验就已经慢到做不下去了”。还有一个更棘手的问题奖励黑客Reward Hacking。当 AI 只在脑子里推理时作弊空间有限。但一旦它能调用搜索、执行代码、访问文件作弊的方式就多了直接搜到答案而不是真正学会推理利用代码仓库里的未来信息找到测试环境的漏洞让自己看起来完成了任务。这有点像考试时允许带手机——你很难分清学生是真懂了还是现场查的。Junyang 认为下一阶段最严肃的研究瓶颈会集中在训练环境设计、评分器的鲁棒性、反作弊机制、以及策略模型与外部世界之间的接口规范上。他甚至提到搭建高质量训练环境已经开始成为一个真正的创业方向而不再只是研究项目的附属品。六、未来不只是单个智能体而是智能体组成的系统原文最后还有一个容易被忽略但很重要的判断Junyang 认为智能体式思考发展到后期核心能力将越来越多地来自多个智能体的组织方式而非单个模型本身。他描述的架构是这样的一个负责规划和任务分发的调度智能体orchestrator若干个具备领域专长的专家智能体specialized agents以及执行更细碎子任务的子智能体sub-agents。这些子智能体的存在不仅是为了分工也是为了控制上下文长度、避免信息污染、在不同层级的推理之间维持清晰的边界。他把这个演进概括为三级跳从训练模型到训练智能体再到训练由多个智能体构成的系统。结语竞争的战场正在转移Junyang 最后的判断是AI 领域的竞争逻辑正在发生根本性的变化。过去两年的核心竞争力在于 RL 算法、反馈信号强度、训练管线的可扩展性。接下来差距将更多来自训练环境的真实度、训练与推理系统的紧密集成、harness 工程的成熟度以及能否让模型的决策和决策的后果形成真正的闭环。或者用 Junyang 自己在结尾的说法好的思考不再是最长的或者最显眼的那一种而是在真实世界约束下最能推动事情往前走的那一种。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取