所有环节都上最强模型，这可能是做 AI 智能体最贵的错误

今天看到一个很值得关注的开源项目AgentOpt关注的不是“哪个模型最强”而是一个更贴近真实业务的问题在一个智能体系统里到底该把什么模型放在什么位置才能在准确率、成本和延迟之间取得更优平衡。这件事之所以重要是因为今天很多团队做 AI 智能体时仍然默认采用一种最省事、也可能最昂贵的方案把当前最强模型塞进每一个环节。这样当然能跑通但问题是它往往既贵也不一定最好。越来越多的研究和实践都在说明真正决定智能体效果和成本的不只是单个模型有多强而是你有没有把合适的模型放在合适的位置上。换句话说智能体真正需要的已经不只是一个模型而是一个能持续寻找最优解的模型优化器。一、最近这个开源项目点出了很多团队做智能体时最容易忽略的问题这个开源项目AgentOpt项目地址是 https://agentoptimizer.github.io/agentopt这个项目由华文越罗格斯大学博士、微软研究院高级研究员和彭天翼MIT 博士、哥伦比亚大学助理教授、清华姚班出身等人推出。它关注的不是“哪个模型最强”而是一个更接近真实业务的问题在一个智能体系统里到底该把什么模型放在什么位置才能在准确率、成本和延迟之间取得更优平衡。这件事看起来像是部署细节但实际上它很可能正是未来智能体系统最核心的能力之一。因为今天很多团队搭建 AI 智能体时往往默认采用的是同一种思路先选一个当前最强的大模型然后把整个系统的所有环节都交给它。规划用最强模型执行用最强模型反思用最强模型工具调用、纠错、总结也一起交给最强模型。这套方法为什么这么普遍原因很简单它最省事。你不需要纠结不同模型的能力边界不需要考虑模块之间如何搭配也不需要额外做评估。只要把“最强模型”塞进每一个位置系统大概率就能跑起来。但问题也恰恰出在这里。能跑起来不代表它是最优解。而且在很多情况下这种做法不仅不是最优甚至可能是你做智能体时最贵的错误之一。因为当智能体系统真正进入业务场景后模型成本就不再是纸面数字而会变成每天、每周、每月都在累积的真实开销。 这时候一个在原型阶段看起来“很合理”的选型可能会在规模化之后变成系统最沉重的负担。更重要的是它未必真的效果最好。越来越多的证据表明在多步智能体系统中真正决定整体表现的往往不是某个单一模型够不够强而是你是否把合适的模型放到了合适的位置上。二、很多人以为自己在优化智能体其实优化的只是推理服务过去一段时间围绕大模型推理优化行业里已经出现了很多很强的工程工作。比如请求批处理、权重量化、投机解码、跨 GPU 集群路由、推理调度……这些技术都在不断提高推理效率也确实能降低单位调用成本。但这些优化大多属于同一类事情服务端优化。也就是说它们主要解决的是模型服务提供方如何更高效地运行模型把算力利用率做高把基础设施成本摊薄再通过价格传导影响到用户。这类优化很重要但它们解决的并不是用户在构建智能体时最核心的那个问题。真正属于用户侧的问题是在系统设计之初你到底应该选什么模型来组成这个智能体这是一层完全不同的优化。服务端优化节省的是平台的钱 用户侧优化节省的是你的钱。而且很多时候用户侧模型选择带来的差距远远大于服务端工程优化所能弥补的范围。 如果模型本身选错了那么后面无论你怎么做缓存、怎么做路由、怎么做调度本质上都只是在优化一个并不理想的基础方案。换句话说真正决定智能体成本结构和性能边界的不只是“怎么跑模型”而是“到底跑哪个模型以及怎么搭配跑”。三、智能体优化说到底是在平衡三件事任何一个基于大模型的智能体系统最终都绕不开三个变量质量、成本、延迟。质量决定它能不能把事情做对 成本决定每次调用要花多少钱 延迟决定用户需要等多久。这三者几乎不可能同时做到最好。更强的前沿模型通常质量更高但价格更贵、速度也更慢 更小的模型往往便宜、响应快但能力边界也更明显。所以真正的问题从来不是“哪个模型最强”而是你的系统到底希望落在质量、成本、延迟这三个维度构成的权衡曲面的哪个位置这是一个没有标准答案的问题。做编程助手的团队可能愿意接受 5% 左右的准确率下降去换取 10 倍的成本优化 但医疗、金融、风控等高风险场景可能几乎不能接受准确率上的任何退让。也正因为如此智能体的最优解从来都不是统一的。 它必须由具体业务场景来定义而不是由模型排行榜来决定。这也是为什么“模型优化器”这件事会变得越来越重要。 它真正要回答的不是“谁最强”而是在你的目标函数下谁最合适。四、模型选择才是所有优化手段的起点今天谈智能体优化很多人第一反应会想到缓存、调度、并行化、路由、工作流设计、提示词优化。这些都没错也都值得做。 但如果要问哪一个杠杆影响最大答案往往不是这些而是更前面的那一步模型选择本身。原因很简单因为它在所有优化的上游。你还没决定用哪个模型缓存要围绕什么来设计 模型组合都还没确定流量路由该送到哪里 基础负载特征都不明确调度又该依据什么来优化换句话说缓存、路由、调度这些手段本质上都是建立在“模型已经选定”这个前提之上的。 它们是在一个既定系统之上继续提效。 而模型选择决定的则是这个系统一开始是不是就站在正确的位置上。更关键的是这种影响不是小修小补而往往是数量级级别的差距。在几个真实基准测试中研究者对比了“最贵的模型组合”和“在接近准确率下最便宜的组合”结果发现在 HotpotQA 上成本差距可以达到21 倍在 MathQA 上成本差距可以达到118 倍在 BFCL 上成本差距可以达到32 倍。这意味着什么意味着你几乎不可能仅靠缓存、批处理或者推理框架优化把一个20 倍、30 倍甚至上百倍的成本差距补回来。最大的优化空间根本不在推理细节而在模型组合本身。五、最反直觉的一点是智能体不是“每一层都选最强模型”就行很多人会觉得既然不同模型各有优劣那最自然的办法不就是每一层都挑那个位置上最强的模型听上去很合理但在智能体系统里这件事往往并不成立。原因在于智能体不是单轮问答而是一个由多个角色或模块耦合起来的系统。 规划器、求解器、批评器、工具调用器这些模块之间不是彼此独立的它们会互相影响。规划器输出什么会直接影响求解器接收到什么 批评器怎么反馈又会影响生成器下一轮如何行动 很多时候你只能看到最后答案是否正确却很难判断错误究竟来自哪一步。这就是多步智能体里最核心的难点之一归因困难。对于单轮 LLM 路由来说评估很简单一次输入一次输出一个结果。 你可以较清楚地判断某个模型适合什么问题。但在多步智能体里你面对的是一个链式系统。 最后输出失败时你无法轻易判断到底是规划器给了坏指令还是求解器没执行好一个原本正确的计划。 因此“给每一层分别挑最优模型”这件事很多时候根本不成立。更合理的方式是把整个模型组合视为一个整体做端到端评估。这也是智能体模型优化与普通 LLM 路由最大的区别。六、一个特别反常识的发现最弱的规划器反而赢了这项研究里有一个特别值得讲的实验结果。在 HotpotQA 这个多跳问答任务中智能体采用的是“规划器 带搜索工具的求解器”结构。按直觉看最好的方案应该是让最强模型来做规划再搭配一个强求解器。但结果并不是这样。研究者发现效果最好的组合之一竟然是较弱的小模型担任规划器而最强的大模型担任求解器。为什么会这样因为当最强模型担任规划器时它往往“太聪明”了。 它会倾向于自己直接回答问题而不是老老实实地把问题拆开再交给后续带搜索工具的求解器去处理。 结果就是它反而绕过了系统原本设计好的工具链。而那个能力较弱的小模型反倒更愿意做自己该做的事负责规划、负责委派然后把问题留给真正擅长搜索和求解的模块。最终呈现出来的效果就是更弱的规划器反而带来了更强的整体表现。这个现象非常重要因为它直接说明最佳组合不一定包含每个位置上最强的单模型单模型排行榜无法直接推导出最佳系统组合局部最优不等于整体最优。这也是为什么智能体的模型选择不能靠拍脑袋更不能只看单模型能力榜单。 它需要一个能够对组合效果进行系统搜索和评估的过程。七、问题来了如果要评估模型组合搜索空间不会爆炸吗说到这里一个现实问题就出现了如果必须把整个模型组合作为整体来评估那搜索成本岂不是会非常高答案是确实高。假设你有 9 个候选模型而你的智能体里有 2 个位置需要选模型那总组合数就是 81 种。 如果每一种组合都要在 200 个样本上完整评测那会带来非常可观的调用成本。这也是为什么智能体真正需要的不是简单的“模型列表”而是一个模型优化器。它的价值不只是知道有哪些模型而是能够在有限预算下用尽量少的评估成本找到尽量好的模型组合。这里的关键观察是绝大多数组合其实在很少样本上就已经能看出明显不行。如果一个组合在最开始的 10 个、20 个样本上表现已经远远落后于其他候选那就没有必要继续在它身上花预算。 更合理的做法是尽早淘汰差组合把更多评估资源集中在那些仍有潜力的候选上。研究中采用的一类核心方法就是基于多臂老虎机思想的Arm Elimination。 它的思路并不复杂先用小批量样本让所有组合跑一轮 再根据表现和置信区间淘汰明显不可能胜出的组合 然后只对剩下的候选增加样本量继续筛选。 如此反复直到找到最值得保留的组合。相比暴力穷举这种方法能大幅减少搜索开销而且结果依然非常接近最优。除了它之外研究里还比较了其他策略比如 epsilon-LUCB、Threshold Successive Elimination、贝叶斯优化、随机搜索、爬山算法等。 不同方法各有特点但整体来看Arm Elimination 是最稳定、最均衡的一个。八、这种优化真的不是“学术自嗨”很多人看到这里可能会觉得这类研究更像是学术上的漂亮设计离真实业务还有距离。但从结果看这件事其实非常务实。在四个不同基准测试中Arm Elimination 都能用比暴力穷举少得多的预算找到几乎同样好的结果在 HotpotQA 上成本节省 64%在 GPQA 上成本节省 49%在 MathQA 上成本节省 46%在 BFCL 上成本节省 11%。与此同时最终准确率与暴力穷举相比差距很小几乎可以忽略。这意味着它带来的不是“看上去很优雅的算法改进”而是非常现实的能力你可以用更少的钱找到几乎一样好的模型组合。对企业来说这种价值非常直接。 因为智能体系统一旦进入规模化运行真正昂贵的不是偶尔的一次模型调用而是长期反复发生的低效调用。 任何一个能够显著改善模型组合、降低长期成本的能力最终都会直接反映在利润和效率上。九、还有一个更重要的结论你往往不需要“最好的那组”而需要“最值的那组”如果说找到“绝对最优组合”已经很有价值那么这项研究里另一个更接近业务现实的发现可能还要更重要一点很多时候存在一种预算友好型组合它的准确率只比最优解低 3% 到 5%但成本却低 10 倍、20 倍甚至 100 倍以上。这件事为什么重要因为绝大多数企业和团队的目标从来都不是论文排行榜意义上的第一名。 他们真正关心的是这个系统能不能稳定上线 在预算内能不能跑得动 在用户可接受的延迟里效果够不够好也就是说在真实业务世界里大家追求的不是“绝对最强”而是“综合最优”。从这个角度看模型优化器的意义并不只是帮你找出冠军组合而是帮你找到那个最适合你当前业务约束的答案。它不追求抽象意义上的唯一正确解而是追求一个更现实、更可执行的最优点。十、智能体的下一阶段比拼的不再是谁接了更强模型而是谁更会配模型如果说过去智能体行业的重点是“怎么让它先跑起来”那么接下来真正决定差距的一定会变成另一件事怎么让它以可控的成本、可接受的延迟、可验证的质量长期运行下去。这时“全链路都上最强模型”的做法会越来越难持续。 因为一旦系统进入真实流量你会很快发现每一次冗余的大模型调用都在烧钱 每一处不必要的慢响应都在损害体验 每一个没有经过验证的模型选型都在放大系统的不确定性。而模型优化器的价值就在于把原本依赖经验、直觉甚至迷信排行榜的模型选择过程变成一个可评估、可搜索、可量化的系统工程。它不是替代模型而是站在模型之上帮助你回答一个更重要的问题为了完成这项任务我到底该把什么模型放在什么位置才能得到最划算的结果这很可能会成为下一阶段智能体基础设施的重要组成部分。 未来真正拉开差距的未必是“谁拿到了更新的模型接口”而是谁更懂得如何组合模型谁更懂得如何把系统推到质量、成本、延迟三者之间最合适的位置。结语智能体时代真正昂贵的未必是模型本身 而是没有经过优化的模型使用方式。很多团队今天仍然习惯于“一个最强模型包打天下”的思路。 这种方法适合快速验证原型但很难成为长期可持续的系统方案。随着智能体结构越来越复杂、调用链越来越长、模型成本越来越真实模型选择本身会从一个部署细节变成一种新的核心能力。所以未来的竞争也许不只是“谁接入了更强的模型”而是谁更懂得把不同模型放到最合适的位置上。从这个意义上说智能体真正需要的已经不只是一个模型。 它需要的是一个能够持续寻找最优解的——模型优化器。你觉得未来智能体系统最重要的能力会是更强的单模型还是更聪明的模型组合欢迎留言聊聊。