AI手机新突破！端侧智能体提速1.6倍，纯软件框架

AI助理正在加速走进我们的手机和电脑帮我们自动回复邮件、安排会议日程。人们总是希望这些助理不仅聪明还能把数据留在本地以保护隐私。但现有的端侧设备运行这些大模型智能体时往往慢得让人失去耐心。由韩国科学技术院KAIST研究团队开发的一项名为 Agent-X 的纯软件框架在不需要更换任何新硬件的前提下直接将端侧大模型智能体的端到端运行速度提升了1.61倍且完全无损任务精度。Agent-X 是首个系统性解决端侧AI智能体全流程延迟瓶颈的纯软件加速框架。它首次揭示了端侧Agent中预填充Prefill和解码Decode阶段均为关键瓶颈的独特特性。这项突破性的研究成果已被 MobiSys 2026第24届美国计算机协会移动系统、应用与服务国际会议正式接收。研究团队深入剖析了端侧设备运行AI智能体时的底层计算瓶颈找出了让系统变慢的真正元凶为预填充和解码两个计算环节量身定制了加速方案。端侧智能体的迟缓症结把大语言模型装进云端巨大的服务器机房里和把它塞进一台轻薄的笔记本电脑里面临的计算挑战截然不同。模型生成回答的过程通常分为两步前一步叫预填充负责阅读并理解用户输入的提示词Prompt后一步叫解码负责逐字逐句生成最终的回答。云端服务器拥有庞大的算力和极高的内存带宽预填充阶段极其迅速绝大部分时间都花在了解码生成环节。把相同的任务放到手机或个人电脑等端侧设备上时情况发生了变化。工程师在设计智能体工作流Agentic workflows时为了约束模型的行为并教它如何使用外部工具会给它输入极长的提示词。这些提示词包含了长篇大论的系统指令、工具使用说明以及大量的示例演示。云端顶配服务器芯片如英伟达 H200 的内存带宽高达每秒4800GB算力接近2000 TOPS。我们手头的端侧芯片比如高通骁龙 X Elite算力只有45 TOPS带宽仅为每秒135GB。算力和带宽的巨大落差导致端侧设备在处理智能体任务那长达数千个Token的输入时算力瓶颈彻底暴露。研究团队对 TinyAgent 系统执行了1022次真实的测试用例详细记录了每个环节的耗时情况。数据呈现出一个反直觉的事实预填充和解码两个阶段在端侧的耗时已经持平。以往那种只盯着解码环节做优化的云端策略在端侧环境中完全失效。工程师应该同时向预填充和解码两端发力才能把端侧智能体的运行速度提上来。重构提示词消除预填充瓶颈业界其实有一种非常成熟的技术叫做前缀缓存Prefix caching也就是把模型以前阅读过的、固定不变的提示词内容提前计算好并存下来下次遇到相同的开头直接拿来复用从而省去大量的重复计算。智能体系统在执行任务时会根据用户的具现需求动态调取不同的工具。用户想发邮件系统就把邮件相关的工具说明和案例插进提示词里用户想查日历系统就换上日历工具的说明。这种动态拼接的做法导致每次输入给模型的提示词在前段就出现了差异。前缀缓存机制要求前后两次的输入必须有一长串完全一模一样的开头一旦前排某个词变了后面的缓存就算一模一样也全部作废。研究团队开发了名为 PromptWeaver 的核心组件专门解决这种动态变化带来的缓存失效问题。团队将系统里所有可用工具的说明文档全部固化下来变成一段超长的静态文本放在提示词最前面。这样一来动态变化的部分被大幅后移前缀缓存机制得以充分发挥作用。针对工具使用示例的动态变化研究团队对系统训练数据集进行了深度的共现度Co-activation分析。他们发现特定主题的工具往往会扎堆出现比如处理联系人的工具经常和处理邮件的工具一起被调用。团队据此利用非负矩阵分解算法将工具划分为8个高频共现的工具簇并按照主题对它们进行固定排序。这些经过固定搭配组合的工具示例其计算结果被提前生成键值缓存KV cache并存储在设备的固态硬盘里。当用户提出需求时系统只需像查字典一样从硬盘里把对应的预计算缓存调入内存即可。仅需占用6.26GB的硬盘空间就能覆盖日常使用中74.4%的工具示例组合。通过这种重构系统输入中无法被缓存的动态词块大幅减少了88.9%彻底解放了预填充阶段的算力瓶颈。绕开多Token税的解码方案预填充阶段跑快了解码阶段也不能拖后腿。云端大模型常用的加速技术叫推测解码Speculative decoding找一个体量极小、跑得飞快的草稿模型在前面探路一口气生成好几个词然后再让主力大模型做一次性校验。把这套方案搬到端侧设备上时遇到了被称为多Token税Multi-token tax的严重阻碍。端侧设备主要针对单批次任务进行硬件优化主力模型一次性校验多个Token的开销甚至比它老老实实自己逐个生成还要慢。草稿模型的选择也陷入了两难境地。上表详细记录了不同草稿模型在端侧的表现。参数量只有几千万的小模型生成的准确率仅有2%根本猜不对主力模型想说什么参数量达到10亿级别的草稿模型准确率上去了但它自身跑得太慢综合算下来不仅没提速反而让系统整体速度下降了。研究团队敏锐地捕捉到了智能体工作流的一个隐藏特性。模型在解码阶段生成的行动计划往往高度模仿提示词里提供的示例模板。它们就像在做填空题照抄示例里的函数名和格式仅仅替换掉里面的具体参数。基于这一发现研究团队抛弃了需要神经网络计算的草稿模型开发出名为 ExSpec 的轻量化解码组件。系统在接收到用户请求时会利用现有的提示词流在内存中临时构建一张极小的 n元语法n-gram查找表。这张表记录了提示词里哪些词经常跟着另外几个词出现。系统在生成新词时直接去这张表里查历史规律来当草稿。查找表的读取速度极快开销几乎为零。更绝妙的是系统只在查找表里确切拥有匹配记录时才发起推测解码。遇到没见过的生僻词汇它会立刻切换回传统的逐字生成模式。这种被称为选择性解码的策略完美避开了多Token税带来的无谓损耗。数据印证了这项设计的精妙。采用选择性解码策略后规划器Planner环节的草稿准确率翻了一倍裁决器Arbiter环节的准确率更是提升了近三倍。这套机制用极简的查表逻辑替代了复杂的神经网络预测把端侧的解码速度拉高了1.73倍。研究团队将这两项技术融合成完整的 Agent-X 框架并在搭载苹果 M4 Pro 芯片的设备上运行了真实的高强度智能体测试。双管齐下的威力立刻显现最终实现了高达1.61倍的端到端提速。以往需要漫长等待的日历规划、多步骤邮件回复任务得到了大幅加速。最让工程师和开发者感到欣慰的是所有这些提速都没有牺牲哪怕万分之一的任务准确率。整个框架以纯软件的形式运行丝滑嵌入到了诸如 TinyAgent 这样成熟的端侧应用生态中不需要花一分钱去升级设备内存或是购买更强劲的加速卡。Agent-X 框架用最轻巧的代码逻辑解开了最棘手的硬件枷锁让私密、安全、全天候在线的智能体向普通人的设备里迈进了一大步。参考资料https://arxiv.org/pdf/2605.10380https://www.sigmobile.org/mobisys/2026/accepted_papers/