让大模型异步地增强推理能力

当大模型进入推理时代如何在不牺牲效果的前提下把测试时扩展做得更快、更稳、更高效ATTS给出了一种值得关注的新答案。过去一年大模型的发展逻辑正在发生一个明显变化。如果说早期大家更关注“模型有多大、数据有多少、训练得够不够久”那么到了今天一个越来越重要的问题变成了模型在回答问题时能不能再多想几步。尤其是在数学推理、竞赛题求解、复杂逻辑判断等高难度任务中模型往往不是“不会”而是需要更多测试时计算资源去尝试、筛选、修正和延展推理路径。也正因为如此Test-Time Scaling测试时扩展正在成为提升大模型能力的重要方向。但这条路并不轻松。测试时扩展虽然有效却往往伴随着更长的推理时延、更高的显存压力以及更复杂的系统同步开销。模型“想得更多”了系统却常常“跑得更重”了。如何在效果与效率之间找到平衡正在成为推理时代绕不开的核心问题。近期一项名为ATTSAsynchronous Test-Time Scaling的工作正是在这一背景下提出。它尝试回答的正是一个非常现实的问题有没有可能让大模型在测试时继续扩展推理能力同时显著降低系统开销答案是有而且方式很新。图1论文ATTS核心结果总览。为什么测试时扩展很重要却一直很“贵”在复杂推理任务中模型最终表现往往不只取决于“第一次回答得怎么样”还取决于它是否有机会生成多个候选推理路径并从中筛选出更优解。这也是测试时扩展的基本思想在推理阶段投入更多计算让模型有机会“多试几次、多走几条路、多想几层”。但真正落到系统实现里问题很快就会出现。一方面更多候选路径意味着更多采样、更多验证、更多排序与筛选另一方面这些过程通常并不是完全自由展开的而是受到系统同步机制的限制。也就是说瓶颈并不只是“模型算得多”更在于“系统等得久”。很多测试时扩展方法本质上仍然依赖较强的同步流程候选路径生成之后需要统一打分、统一比较、统一进入下一步。只要其中某些路径较慢整个流程就会被拖住。随着推理规模扩大这种同步成本会迅速放大最终成为部署和应用中的实际障碍。所以问题不只是如何让模型“多想”而是如何让它更高效地多想。图2同步测试时扩展与异步测试时扩展的执行成本对比从 speculative decoding 到异步推理问题到底卡在哪在加速大模型推理的诸多方法中speculative decoding投机解码已经成为一个非常重要的方向。它的核心思路并不复杂先用一个更小、更快的draft model提前生成一段候选 token再由更强的target model进行验证如果这些候选通过验证就可以一次性接受从而减少 target model 逐 token 解码的负担。也正因为如此speculative decoding 被广泛认为是提升推理效率的一条关键路径。如果写成一个直观的形式它可以理解为draft model 先提出候选序列target model 再对这段候选进行校验并决定接受到哪个位置。最终系统真正保留的前缀可以写成这里的表示通过验证的最长前缀长度。这个机制已经比传统逐 token 解码高效得多但它仍然有一个明显限制大多数 speculative decoding 框架本质上还是同步的。也就是说draft model 提出候选后系统通常需要等待 target model 完成统一验证再决定哪些内容可以保留、哪些需要回退。这样的“先生成、再集中校验”的流程在单链生成时问题还不算特别突出但一旦进入测试时扩展场景候选路径数大幅增加系统就会面临更重的同步等待、缓存管理和显存占用压力。换句话说speculative decoding 解决了“每一步都慢”的问题却不一定彻底解决“多条路径一起扩展时会互相等待”的问题。而 ATTS 的一个关键贡献恰恰就是把 speculative decoding 从传统同步范式推进到了更适合测试时扩展的异步范式。图3同步 speculative decoding vs 异步 speculative decoding 异步算术强度ATTS做了什么不一样的事ATTS全称Asynchronous Test-Time Scaling顾名思义核心关键词就在“异步”。这项工作的关键思路是把传统偏同步的测试时扩展流程改造成一个更灵活、更高效的异步框架。它不再要求所有候选推理路径始终齐头并进而是允许系统对不同路径进行更动态的处理、筛选和资源分配。更具体地说ATTS并不是把 speculative decoding 简单搬到测试时扩展里而是在此基础上进一步加入了共形预测Conformal Prediction用统计校准的方式来判断哪些候选值得继续哪些候选可以尽早停止。从方法上看共形预测的核心是先定义一个“非一致性分数”或“风险分数”其中(x) 表示输入问题(y) 表示某条候选推理路径或候选答案(s(x,y)) 则衡量这条候选有多“不可靠”或多“不符合预期”。接下来在校准集上计算这些分数并取其经验分位数作为阈值这里可以理解为允许的风险水平则是系统用来决定“保留还是拒绝”候选路径的关键门槛。于是共形预测对应的接受规则可以写成也就是说只有那些风险分数不超过阈值的候选路径才会进入后续更昂贵的推理阶段。这组公式背后的含义其实很直观ATTS并不是盲目地给所有候选都追加算力而是先做一次有统计保证的筛选再决定哪些路径值得继续深挖。简单来说它试图解决的是这样一个问题在有限的推理预算下哪些候选路径值得继续投入计算哪些路径应该尽早停止如果这个判断做得更准系统就可以把算力花在更有价值的地方而不是平均分配给所有样本。ATTS正是围绕这一点展开设计。核心机制先快速生成再选择性深入从整体流程看ATTS可以概括为三个阶段首先由一个更轻量、更快速的draft model草稿模型生成多个候选推理链接着更强的target model目标模型对这些候选进行验证与拒绝采样最后系统只把进一步的推理预算投入到那些更值得继续探索的候选上。如果说传统 speculative decoding 更像是“先猜一段再统一验收”那么 ATTS 更进一步把这种机制拓展到了多候选、多路径、异步筛选的测试时扩展场景中。也就是说它不只是让单条生成链更快而是让整个推理搜索过程都能更灵活地运行。如果用更形式化的方式理解这个过程本质上是在做一种“基于阈值的预算分配”。对于每个候选 (y_k)系统先计算对应分数 (s(x,y_k))再依据下面的规则决定是否继续这里的是指示函数条件满足时取 1不满足时取 0。换句话说分数低于阈值的候选会被接受并继续扩展分数高于阈值的候选则会被提前截断。如果进一步写成预算视角那么 ATTS 可以被理解为其中(B(x)) 表示对输入 (x) 最终分配到的有效推理预算(K) 是初始候选数。这个式子表达的含义很清楚最终真正吃到后续算力的不是全部候选而是通过共形筛选后的那一部分。这样的好处非常明显它既保留了测试时扩展“多路径搜索”的能力优势又避免了无效样本持续占用高昂资源既强化了复杂推理任务中的探索深度也降低了系统层面的浪费和等待。换句话说ATTS的本质不是“让模型少想”而是让模型把思考资源花得更聪明。这项工作的价值不只是提速ATTS值得关注的地方在于它并不只是做了一个“更快的版本”。更深一层看它其实是在重新定义测试时扩展的优化目标过去我们常常默认扩展能力就意味着增加采样数、增加推理轮数、增加并行路径但ATTS提醒我们真正重要的也许不是“扩展得更多”而是“扩展得更合理”。而共形预测恰恰为这种“合理扩展”提供了一个非常漂亮的统计框架。在理想条件下它关注的是类似下面这样的覆盖性质这里y⋆ 表示真实有效的目标候选表示经过筛选后保留下来的候选集合。这个公式表达的是系统希望以至少的概率把真正值得保留的候选包含在集合里。放到ATTS的语境下这一点尤其关键。因为它意味着系统不是随意删减候选而是在统计可控的前提下减少无效计算。也正因此ATTS的意义不只是工程加速更是把测试时扩展推进到了“有原则地加速”的阶段。这背后其实对应着一个更大的趋势未来大模型能力的提升不一定只来自训练阶段把模型做大也可能越来越多地来自推理阶段把资源调度做聪明。实验结果说明了什么从实验表现来看ATTS交出了一份相当有说服力的成绩单。在 MATH、AMC23、AIME24、AIME25 等高难度数学推理任务上ATTS都展现出了显著的效率优势与稳定表现。根据论文结果这一方法最高可以实现56.7倍测试时扩展加速以及4.14倍吞吐提升。更关键的是这种加速并不是以明显损失性能为代价换来的。相反ATTS在维持模型效果的同时把测试时扩展从“有效但昂贵”推进到了“有效且更可用”。此外在大规模扩展设置下ATTS还展示出很强的系统潜力1.5B/70B 的 draft-target 模型组合能够在 AIME 数据集上取得接近先进推理模型o3-mini (high)的表现水平。这意味着通过更合理的推理时协同机制轻量草稿模型与强目标模型的组合可能成为未来高效推理系统中的一种极具现实意义的路线。对于真正需要部署、需要控制成本、需要兼顾时延和性能的应用场景来说这一点尤为重要。图5主实验结果图结语让大模型不仅“想得更多”也“想得更聪明”大模型正在进入一个新的阶段。这个阶段里模型能力的提升不再只依赖训练时的堆料也越来越依赖测试时的组织方式不再只是看“模型有多强”也要看“推理系统有多聪明”。ATTS的价值就在于它把测试时扩展这件事从一种高成本的能力增强手段推进成了一个更具工程可落地性、更有统计保证、也更具系统想象力的技术框架。它让我们看到未来的大模型推理不只是可以“多想几步”更可以做到多想但不盲想扩展但不低效更强也更快。这或许正是推理时代最值得关注的方向之一。