终于有人把 AI Agent Skill 开发流程整明白了——Anthropic skill-creator 实战解读

你有没有遇到过这种情况想让 Claude 帮你自动处理某个重复性任务却发现它总是忘记该用什么工具、该按什么步骤执行。你一遍遍地在对话里教它结果下次还得重新教。说实话这种一次性教学的体验笔者也经历过无数次。直到 Anthropic 开源了他们的 skill-creator 项目笔者才恍然大悟原来让 AI Agent 稳定复用能力是有套路的。skill-creator 是个啥用一句话说skill-creator 是一套让 Claude Code 自动创建、评估、优化 Skill 的完整工作流。所谓Skill技能你可以理解为给 AI Agent 写的使用说明书。它告诉 Claude什么场景下该用这个技能具体要执行哪些步骤用什么工具、脚本遇到异常怎么处理上面这张图展示了 Skill 在 Claude Code 中的工作流程。Skill 就像是给 Claude 写的一本操作手册有了它Claude 就能在特定场景下自动调用正确的工具和流程。为什么需要 skill-creator你可能想问直接写个 SKILL.md 不就行了为什么还要专门搞一套工具笔者容啰嗦一下这里的关键在于写好一个 Skill 不难但写好一个稳定触发、正确执行的 Skill 很难。具体来说有三大痛点触发准确性Skill 的描述description决定了 Claude 会不会在正确的场景下使用它。描述写得太宽泛Claude 会乱用写得太窄该用的时候又想不到。执行正确性就算触发了Claude 能不能按照 Skill 里的步骤正确执行有没有遗漏关键指令有没有理解错工具用法迭代优化发现问题后怎么系统地改进凭感觉改还是有一套数据驱动的评估方法skill-creator 就是来解决这些问题的。它提供了一套完整的创建-评估-优化循环。核心架构三大 Agent 协作skill-creator 的核心是三个专门的 Agent分工明确Agent职责解决的问题Analyzer分析器对比两个 Skill 的执行结果找出优劣原因为什么 A 比 B 好具体差在哪Comparator对比器盲评两个 Skill 的输出质量哪个执行得更好不看 Skill 内容Grader评分器评估单个 Skill 的执行质量这个执行结果打几分下面这张图展示了它们的协作关系这个流程暗合了一个朴素道理好 Skill 不是一次性写成的而是迭代出来的。实战Skill 开发完整流程skill-creator 的工作流程可以概括为 6 个步骤定义需求起草 Skill首先明确你想让 Skill 做什么。比如“帮我从 PDF 中提取表格数据”“自动分析代码复杂度并生成报告”“根据需求文档生成测试用例”然后写一个初版 SKILL.md包含描述description一句话说明适用场景正文详细步骤、工具使用说明、示例准备测试集准备两类测试查询应该触发的查询正例不应该触发的查询负例比如对于PDF 表格提取Skill正例“帮我提取这个 PDF 里的表格”、“把这份报告的数据整理成 Excel”负例“总结一下这篇文章”、“把这段文字翻译成英文”运行触发评估Trigger Eval使用run_eval.py测试 Skill 的触发准确性python scripts/run_eval.py \ --skill-path ./my-skill \ --queries test_queries.json \ --output eval_results.json这个脚本会把 Skill 注册到 Claude 的可用技能列表对每个测试查询运行多次统计触发率和误触发率优化描述Description如果触发效果不好使用improve_description.py自动优化python scripts/improve_description.py \ --skill-path ./my-skill \ --eval-results eval_results.json \ --output improved_skill.md这个脚本会分析哪些查询该触发却没触发分析哪些查询不该触发却触发了调用 Claude 生成改进后的描述关键技巧描述要聚焦用户意图而非实现细节。用祈使句“Use this skill for…”控制在 100-200 词。执行质量评估Quality Eval触发问题解决后评估执行质量。运行实际任务用 Grader 打分python scripts/run_loop.py \ --skill-path ./my-skill \ --test-cases quality_tests.json \ --iterations 3对比优化A/B Test如果有多个版本的 Skill用 Comparator 盲评python scripts/run_eval.py \ --skill-a ./my-skill-v1 \ --skill-b ./my-skill-v2 \ --test-queries comparison_tests.json \ --blindAnalyzer 会分析胜负原因给出具体改进建议。关键脚本解析skill-creator 提供了 7 个核心脚本笔者斗胆来介绍一下最实用的几个run_eval.py —— 触发评估测试 Skill 描述是否能正确触发。核心逻辑defrun_single_queryquery, skill_name, skill_description# 创建临时 command 文件注册 Skill# 运行 Claude检测是否触发该 Skill# 返回是否触发returnin坑点注意Claude 的触发判断是基于描述和当前所有可用 Skill 的对比所以描述要有区分度。improve_description.py —— 描述优化根据评估结果自动改进描述。它会构建一个详细的 prompt当前描述... 失败的触发该触发却没触发 - 帮我提取 PDF 表格 误触发不该触发却触发了 - 翻译这段话 请基于以上失败案例生成一个改进的描述。 要求 - 聚焦用户意图 - 使用祈使句 - 控制在 100-200 词 - 不要罗列具体查询run_loop.py —— 迭代优化循环把评估-优化-再评估封装成循环forinrange# 1. 运行评估# 2. 如果不够好优化描述ifelsebreakaggregate_benchmark.py —— 批量基准测试对 Skill 进行大规模批量测试生成统计报告。适合发布前的最终验证。效果展示数据说话skill-creator 的核心价值在于数据驱动的 Skill 优化。下面是一个典型的优化曲线从初稿到最终版触发准确率从 45% 提升到 96%。这就是系统化评估和迭代的力量。笔者的实践建议基于对 skill-creator 的深入研究笔者有几点实战建议描述优化是 ROI 最高的投入很多开发者把精力放在 Skill 正文上却忽略了描述。实际上描述决定了 Skill 能不能被触发这是第一步。建议至少迭代 3-5 轮描述。测试集要覆盖边界情况不要只测试典型场景。多想想用户可能怎么表达类似需求什么情况下 Claude 容易误判和其他 Skill 的边界在哪用 A/B 测试做重大改版当 Skill 架构有较大调整时不要直接替换用 Comparator 做盲评。很多时候感觉更好的版本实际数据可能并不支持。关注 Analyzer 的深度分析Analyzer 不只是告诉你谁赢谁输它会分析指令遵循度Instruction Following工具使用差异错误恢复能力这些都是改进 Skill 的宝贵线索。局限性与展望skill-creator 确实很强大但也有一些局限依赖 Claude Code 生态这套工具是为 Claude Code 设计的如果你用其他 Agent 框架如 LangChain、AutoGen需要适配。评估成本不低每次评估都要调用 Claude API大规模测试时成本会累积。建议先用小样本验证方向再扩大测试。需要人工最终把关自动优化能提升基准表现但特定业务场景的 edge case 还是需要人工审核。结语不得不感叹一句Anthropic 确实把 Skill 工程化这件事想明白了。skill-creator 的价值不只是几个脚本而是提供了一套数据驱动、迭代优化的方法论。这暗合了软件工程的一个朴素道理没有度量就没有改进。如果你正在开发 AI Agent或者想让 Claude 稳定地完成特定任务笔者强烈建议研究一下 skill-creator。它可能会改变你对Prompt Engineering的认知——Prompt 不是写出来的是测出来、改出来的。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】