多模态Agent持续学习新思路，解决工具使用和编排两大难题！

本文介绍了XSkill一种用于多模态Agent的持续学习方法。XSkill通过将“过往经历”沉淀为Skills技能和Experiences经验两类可复用知识并形成闭环有效解决了当前多模态Agent在真实开放环境中工具使用不高效、工具编排不灵活的问题。XSkill通过外部知识持续积累和视觉语境检索与改写实现了跨模型迁移并可将一个强模型积累的知识转移给另一个模型使用。实验结果表明XSkill在多个基准测试中显著优于基线方法并具有良好的泛化能力和跨模型迁移能力。先说结论这篇论文到底解决了什么问题多模态 Agent能看图、能调用工具、能搜索网页已经很强但在真实开放环境里仍有两个顽疾工具用得不高效简单任务也会绕远路复杂任务又常常探索不够深。工具编排不灵活遇到新任务时工具组合容易僵化泛化能力差。这篇论文提出的XSkill核心是让 Agent 像人一样把“过往经历”沉淀成两类可复用知识并形成闭环•Skills技能任务级、结构化流程知识怎么规划、怎么串工具。•Experiences经验动作级、上下文敏感的战术提示某种场景下优先做什么。重点在于它不是微调模型参数而是做外部知识持续积累 视觉语境检索与改写。这使得它可以跨模型迁移甚至能把一个强模型积累的知识转移给另一个模型使用。研究动机为什么“经验 技能”要分开建模论文的洞见很清晰• 仅靠高层流程skill不够因为执行时常有很多局部坑如图片反转、OCR 误读、工具参数错误。• 仅靠局部经验experience也不够因为没有全局任务结构容易“头痛医头”。所以 XSkill 把两者拆开并协同•Skill负责“框架正确性”少走错路、少犯结构性错误•Experience负责“策略灵活性”在具体视觉上下文里动态选工具、修正策略。方法总览双流知识 双阶段循环Figure 1图解这是 XSkill 的总流程图。左侧是Phase I知识积累从多条 rollout 轨迹里做总结、对比批判、层级合并右侧是Phase II任务求解先任务分解再检索经验随后做视觉上下文改写最后把适配后的技能注入执行模型。横向看是“学”纵向看是“用”闭环看是“持续进化”。Figure 2图解这张对比图展示了“有无 XSkill”在同一多模态任务上的轨迹差异。横向通常是两条推理链纵向是步骤推进。没有 XSkill 的轨迹出现视觉语义错位如未做旋转/裁剪而有 XSkill 的轨迹会先调用相关经验和技能片段再生成更贴地的执行计划。数学建模把“会做题”拆成可管理知识对象论文把任务建模成 POMDP并定义两个知识对象。1Skill 定义任务级Skill 记为 形式化为三元组• 元数据 名称、描述、版本• 工作流• 可复用模板 代码/查询模板2Experience 定义动作级Experience 记为 形式化为• 触发条件• 建议动作• 检索向量并约束长度 避免经验冗长失焦。3总体目标给定任务 文本查询 图像集构建外部知识库 最大化正确率Phase I知识积累从 rollout 到可复用知识A. Rollout Summary视觉扎根总结对每个训练任务做 次 rollout交给知识模型总结关键不是“复述轨迹”而是把视觉证据与动作决策绑定例如“因为检测到图像倒置所以触发旋转因为对比度低所以触发增强”。B. Cross-Rollout Critique跨轨迹对比批判利用成功/失败轨迹对比提炼经验更新操作操作类型包括add和modify本质是在做“经验库自演化”。C. Knowledge Consolidation层级合并与压缩• 经验层基于余弦相似度阈值 做合并去重• 技能层对技能文档做段落级更新/合并/删除• 超长时触发质量驱动精炼保泛化、去特例。这一块决定了系统能否长期运行不崩否则知识越积越乱后续检索会被噪音拖垮。Phase II任务求解先拆再找再按图改写A. 任务分解检索不是直接拿原 query 去搜先把任务拆成子需求 每个子任务独立检索这样能覆盖“同一任务中的多技术面向”如图像修复 逻辑校验 错误恢复。B. Experience Rewrite经验改写把通用经验改写为当前图像语境下可执行建议C. Skill Adaptation技能裁剪与融合把全局技能文档裁剪成任务可用版本然后注入执行模型提示词。注意这里是“参考式注入”不是强制脚本给模型保留 improvisation 空间。实验设置覆盖 3 大域、5 个基准、4 个闭源骨干模型数据与任务域•视觉工具推理VisualToolBench、TIR-Bench•多模态搜索MMSearch-Plus、MMBrowseComp•综合高难任务AgentVista工具配置Figure 3图解该图的横轴是不同错误类型如语法错误、运行时错误、工具名错误纵轴是错误比例/次数。它直接说明 Skill 会显著压低结构性执行错误尤其是 syntax/tool-name 这类“低级但致命”错误。评价指标•Average44 次 rollout 的平均成功率稳定性•Pass44 次 rollout 至少一次成功上限能力主结果XSkill 在几乎所有设置中都明显领先论文报告的核心趋势非常稳定• 相比仅工具基线XSkill 在不同模型上Average4 提升 2.586.71点。• 在高难 TIR-BenchGemini-3-Flash上XSkill 达到47.75%比最强基线 Agent-KB 高11.13点。• 在知识迁移场景GPT-5-mini、o4-mini 使用 Gemini-3-Flash 累积知识中仍有明显收益说明外部知识结构具有跨模型可迁移性。消融与行为分析为什么双流设计有效消融结论VisualToolBench, Gemini-2.5-Pro• 去掉 ExperienceAverage4 从 30.49 降到 27.45-3.04• 去掉 Skill降到 26.64-3.85• 说明两者都重要且 Skill 在该数据集上贡献更大。行为层解释•Skill 主要抑制执行错误总错误率从 29.9% 降到 15.3%语法错误和工具名错误显著减少。•Experience 主要提升编排灵活性在 VisualToolBench 中 Code Interpreter 使用占比从 66.63% 提升至 76.97%在 MMSearch-Plus 中 image search 占比明显提升说明策略更“按任务选工具”。Figure 4图解横轴是 rollout 数量 纵轴是 Average4 / Pass4。随着 增加两项指标持续上升且 Pass4 上升更陡。这说明多路径 rollout 提供了更丰富的对比样本帮助知识提炼更稳。Figure 5图解这是跨任务零样本迁移结果。横轴是目标基准如 TIR-Bench、MMBrowseComp纵轴是 Average4。XSkill 曲线/柱形整体高于基线并高于灰色工具基线参考线说明其泛化不是“记住题目”而是学到可迁移方法。附录中的关键信息复现与扩展价值很高1开源模型迁移结果Qwen3-VL迁移到 Qwen3-VL-235B/32B 时出现“均值不总是涨、Pass4 常上涨”的现象。这说明较弱的基础模型在吸收外部知识时可能受到干扰但探索次数增加会提升“至少一次成功”的概率。2关键超参数• Rollout 数• 检索 top-• 经验合并阈值• 经验库上限 120 条• 技能文档精炼阈值 1000 词• 执行温度 0.6分解/改写温度 0.33工具定义很工程化Web Search / Image Search / Visit / Code Interpreter 四工具都给了参数规范与调用约束适合直接落地到 agent framework。论文的价值与局限价值• 给出了多模态 Agent 的非参数持续学习实用路径• 双流知识设计把“高层流程”与“低层战术”解耦解释性更强• 跨模型转移能力证明外部知识库具备平台化潜力。局限与风险• 知识库可能传播偏差尤其在跨模型迁移时• 需要知识审计机制否则“错误经验”会进入闭环• 当前实验主要是单轮“积累后测试”虽架构支持长期迭代但真实长期漂移问题仍待更多实证。对实战系统的启发先把你现有 Agent 的历史轨迹结构化成两层skills.mdexperiences.json。不要只按 query 检索先做 task decomposition 再多路检索。强制增加一层“经验改写器”防止把通用建议硬塞给当前任务。给知识库加去重与质量门槛否则 23 周后就会知识膨胀失效。对跨模型迁移设置白名单与审计避免把偏差一起迁移过去。AI行业迎来前所未有的爆发式增长从DeepSeek百万年薪招聘AI研究员到百度、阿里、腾讯等大厂疯狂布局AI Agent再到国家政策大力扶持数字经济和AI人才培养所有信号都在告诉我们AI的黄金十年真的来了在行业火爆之下AI人才争夺战也日趋白热化其就业前景一片蓝海我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取人才缺口巨大人力资源社会保障部有关报告显示据测算当前****我国人工智能人才缺口超过500万****供求比例达1∶10。脉脉最新数据也显示AI新发岗位量较去年初暴增29倍超1000家AI企业释放7.2万岗位……单拿今年的秋招来说各互联网大厂释放出来的招聘信息中我们就能感受到AI浪潮比如百度90%的技术岗都与AI相关就业薪资超高在旺盛的市场需求下AI岗位不仅招聘量大薪资待遇更是“一骑绝尘”。企业为抢AI核心人才薪资给的非常慷慨过去一年懂AI的人才普遍涨薪40%脉脉高聘发布的《2025年度人才迁徙报告》显示在2025年1月-10月的高薪岗位Top20排行中AI相关岗位占了绝大多数并且平均薪资月薪都超过6w在去年的秋招中小红书给算法相关岗位的薪资为50k起字节开出228万元的超高年薪据《2025年秋季校园招聘白皮书》AI算法类平均年薪达36.9万遥遥领先其他行业总结来说当前人工智能岗位需求多薪资高前景好。在职场里选对赛道就能赢在起跑线。抓住AI风口轻松实现高薪就业但现实却是仍有很多同学不知道如何抓住AI机遇会遇到很多就业难题比如❌ 技术过时只会CRUD的开发者在AI浪潮中沦为“职场裸奔者”❌ 薪资停滞初级岗位内卷到白菜价传统开发3年经验薪资涨幅不足15%❌ 转型无门想学AI却找不到系统路径83%自学党中途放弃。他们的就业难题解决问题的关键在于不仅要选对赛道更要跟对老师我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取​