SkillCompass：AI技能质量评估与持续改进的工程化实践

1. 项目概述从“盲调”到“精修”的技能管理革命如果你和我一样深度使用 Claude Code 或 OpenClaw 这类 AI 编程助手那你一定经历过这个循环在网上找到一个看起来很酷的“技能”Skill满怀期待地安装用了几次感觉好像还行但又总觉得哪里不对劲。是触发不够精准还是功能有隐藏的 Bug或者更糟它会不会有安全风险于是你开始手动修改 SKILL.md 文件改一点试一下再改一点再试一下——整个过程就像在黑暗中摸索完全凭感觉效率低下且没有保障。这就是 SkillCompass 要解决的核心痛点。它不是一个简单的技能评分器而是一套完整的、数据驱动的技能质量评估与持续改进系统。你可以把它理解为 AI 技能领域的“代码质量平台”或“持续集成管道”但它是专门为 Claude Code/OpenClaw 的技能生态设计的。它的核心哲学非常清晰评估质量 → 找到最薄弱环节 → 修复它 → 证明修复有效 → 重复。这个闭环将技能开发从“凭感觉瞎调”tweak and hope的玄学变成了可诊断、可定向修复、可验证的工程实践。我最初接触它是因为管理着几十个为不同项目定制的技能混乱不堪。有些技能几个月没用过早已过时有些高频使用的技能却存在明显的安全或逻辑缺陷。SkillCompass 的出现让我第一次能清晰地看到所有技能的健康状况并知道下一步该优先改进哪里。它通过一个六维模型进行量化评估并利用被动追踪的用量数据智能地告诉你哪些技能需要关注、更新或废弃。对于任何严肃对待 AI 助手技能质量、希望建立可维护技能库的开发者或团队来说这都是一个改变游戏规则的工具。2. 核心设计理念与六维评估模型拆解SkillCompass 的强大根植于其深思熟虑的设计理念和严谨的评估模型。理解这些你才能用好它而不仅仅是运行几个命令。2.1 四大设计原则为何它如此可靠在深入功能之前有必要先了解它的设计基石这解释了为什么它的建议值得信任以及它如何平衡功能与安全。本地优先Local-first这是我最欣赏的一点。所有评估、用量追踪、版本快照数据都存储在你的本地机器上。除非你显式地请求检查更新例如通过 Git否则它不会进行任何网络调用。这彻底消除了隐私顾虑也意味着你的技能数据包括可能包含的敏感业务逻辑永远不会离开你的控制范围。评估过程完全在本地调用 Claude API 和运行 Node.js 校验器完成。默认只读Read-only by default安全性的另一重保障。SkillCompass 的评估、报告、分析功能都是只读的不会修改你的任何文件。只有当你在明确知晓风险并主动选择“改进”improve或“合并”merge等操作时它才会写入文件。这种“显式许可”模式防止了误操作也符合工具辅助而非主导的定位。被动追踪主动决策Passive tracking, active decisions用量追踪是通过轻量级的钩子hooks在技能被调用时自动、静默地记录的。这个过程对用户完全透明零配置。但是基于这些数据产生的建议如“某个技能已两周未使用”仅仅是“建议”。SkillCompass 永远不会替你自动删除或修改技能。是否采纳、何时处理决定权完全在你手中。这种设计既提供了智能洞察又尊重了用户的主控权。双通道用户体验Dual-channel UX为了兼顾效率和自然SkillCompass 支持两种交互方式。你可以用键盘选择命令和选项进行快速操作例如/skillcompass后按上下键选择也可以用自然语言直接描述你的需求例如直接说“帮我评估一下 nano-banana 这个技能”。两种方式始终可用让你可以根据场景无缝切换。2.2 六维评估模型量化技能健康的科学框架SkillCompass 的核心是一套六维度评估模型。它不像某些工具只给一个笼统的分数而是将技能质量分解为六个可测量、可改进的独立维度。每个维度都有明确的评估标准和权重最终加权计算出总分。这个模型是经过大量技能分析后提炼出来的非常贴合实际。维度ID维度名称权重评估内容与解读D1结构 (Structure)10%评估技能元数据Frontmatter的完整性与有效性、Markdown 格式规范性、以及技能声明如触发词、描述、参数的语法正确性。这是技能的基础就像代码的语法检查。D2触发 (Trigger)15%评估技能激活的准确性和质量。包括触发词是否精准避免误触发、拒绝逻辑是否合理在不该触发时明确拒绝、以及技能描述的“可发现性”用户是否能通过自然描述找到它。D3安全 (Security)20%这是权重最高且具有一票否决权的维度。深度检查技能中可能存在的安全风险硬编码的密钥或密码、潜在的代码注入漏洞、过度或模糊的权限请求、数据外泄风险、以及是否嵌入了不安全的 Shell 命令。任何 Critical 级别的发现都会直接导致整体评估“失败”。D4功能 (Functional)30%评估技能核心功能的质量。这是权重最高的正向维度。检查内容包括核心逻辑是否正确处理了各种边界情况、输出是否稳定可预期、错误处理机制是否健全、以及代码/逻辑本身的质量。D5比较优势 (Comparative)15%评估技能相对于直接向 AI 助手提问的价值。即“使用这个技能” vs “不用技能直接给助手类似的指令”哪个效果更好。如果技能只是简单包装了模型本身就能很好完成的任务得分会很低。它衡量的是技能的“附加价值”。D6独特性 (Uniqueness)10%评估该技能与已安装的其他技能的重复度以及被更新的 AI 模型本身能力“超车”的风险。如果一个技能的功能完全可以被另一个技能或模型新版本的内置能力替代它的独特性和生存价值就会降低。总分计算与裁决逻辑 总分的计算是加权平均后取整总分 round((D1×0.10 D2×0.15 D3×0.20 D4×0.30 D5×0.15 D6×0.10) × 10)。这个分数会映射到一个明确的裁决通过 (PASS)总分 70且D3安全维度通过无 Critical 发现。这是技能健康的标志。需注意 (CAUTION)总分在 50-69 之间或D3 维度存在 High 级别的安全发现。技能可用但需要关注和改善。失败 (FAIL)总分 50或D3 维度存在 Critical 级别的安全发现此项会覆盖总分直接判定失败。此类技能应暂停使用并立即修复。关键理解这个模型的关键在于分数本身不是目标方向才是。SkillCompass 的报告会清晰指出六个维度中得分最低的那一项这就是当前制约技能质量的“最短板”。你的改进就应该从这块“最短板”开始。3. 完整安装与初始化配置指南SkillCompass 的安装非常灵活支持多种 AI 助手和安装方式。下面我将详细拆解每种方式的步骤、原理和注意事项。3.1 环境准备与前置条件在安装任何东西之前请确保满足以下两个核心条件Claude API 访问与模型权限SkillCompass 的深度评估依赖 Claude Opus 4.6 或 4.7 模型进行复杂推理和一致性评分。你需要拥有相应的 Anthropic API 访问权限并在你的 AI 助手如 Claude Code中正确配置 API 密钥。重要提示使用 Haiku 或 Sonnet 等小型模型可能会导致评估结果不稳定或不准确因为复杂的多维度分析需要 Opus 级别的推理能力。Node.js 运行环境SkillCompass 的本地校验器如安全扫描、结构验证需要 Node.js v18 或更高版本。请确保你的系统已安装正确版本的 Node.js。3.2 一键安装推荐给大多数用户这是最快捷、最无痛的安装方式尤其适合新手或希望快速上手的用户。SkillCompass 提供了一个名为skills的 CLI 工具来管理技能。npx skills add Evol-ai/SkillCompass这条命令背后发生了什么npx会临时下载并执行skills这个命令行工具。该工具会自动检测你系统上已安装的 AI 助手如 Claude Code, Cursor, Cline 等支持超过45种。根据检测到的助手类型它会将 SkillCompass 技能文件复制到该助手对应的技能目录中例如对于 Claude Code通常是~/.claude/skills/。整个过程是自动化的你不需要手动寻找技能目录路径。注意事项确保你的网络可以正常访问 npm 仓库和 GitHub。如果系统有多个 AI 助手工具可能会询问你要安装到哪一个或者根据配置选择默认项。安装后你需要在 AI 助手内重新加载技能列表通常在 Claude Code 中通过/reload命令实现。3.3 手动安装适用于 Claude Code如果你更喜欢手动控制或者一键安装遇到问题可以按照以下步骤操作。这也能帮助你理解技能在 Claude Code 中的组织方式。# 1. 克隆仓库到本地任意位置 git clone https://github.com/Evol-ai/SkillCompass.git cd SkillCompass # 2. 安装项目依赖用于本地校验器 npm install # 3. 将技能文件复制到 Claude Code 的技能目录 # 方式A用户级安装所有项目可用 rsync -a --exclude.git . ~/.claude/skills/skill-compass/ # 方式B项目级安装仅当前项目可用 rsync -a --exclude.git . .claude/skills/skill-compass/路径解析与选择建议~/.claude/skills/是 Claude Code 存放全局技能的目录。放在这里的技能在你打开任何项目时都可以调用。./.claude/skills/是项目级技能目录。只有当你处于这个特定项目根目录下时技能才可用。这适合那些只为特定项目服务的技能。对于 SkillCompass 这种管理工具我强烈推荐使用用户级安装这样你可以在任何项目中管理所有技能。使用rsync而非简单cp是为了保持文件属性和目录结构--exclude.git避免了将版本控制历史也复制过去保持技能目录整洁。3.4 针对 OpenClaw 的安装配置OpenClaw 的技能加载机制可能与 Claude Code 略有不同以下是适配步骤# 1. 同样克隆并安装依赖 git clone https://github.com/Evol-ai/SkillCompass.git cd SkillCompass npm install # 2. 复制到你的 OpenClaw 技能路径 # 你需要将 your-openclaw-skills-path 替换为实际的路径 rsync -a --exclude.git . your-openclaw-skills-path/skill-compass/关键配置扫描路径OpenClaw 默认只扫描特定目录下的技能。如果你的技能安装在非标准位置需要在 OpenClaw 的配置文件中添加额外扫描路径。打开或创建 OpenClaw 的配置文件通常是~/.openclaw/openclaw.json添加或修改skills.load.extraDirs配置项{ skills: { load: { extraDirs: [/path/to/your/custom/skills/directory] } } }将/path/to/your/custom/skills/directory替换为你实际存放 SkillCompass以及其他自定义技能的目录路径。修改后重启 OpenClaw 使其生效。3.5 首次运行与权限配置无论通过哪种方式安装首次在 AI 助手内调用 SkillCompass例如输入/skillcompass时都会触发一个简短的引导流程自动扫描SkillCompass 会花大约 5-10 秒时间扫描你已安装的所有技能建立初始索引。状态行设置它会询问你是否要设置状态行Status Line。这是一个在 AI 助手界面底部显示技能健康摘要的功能非常方便。建议选择启用。Node.js 权限请求Claude Code 可能会弹窗请求允许执行node命令。务必选择 “Allow always”始终允许。这是因为 SkillCompass 的本地校验器需要调用 Node.js 脚本。如果只选择单次允许每次运行评估时都会弹窗体验极差。完成这些步骤后SkillCompass 就准备就绪了。控制权会交还给你你可以开始使用它的各项功能。4. 核心工作流实战评估、改进与验证安装配置完毕我们来实战 SkillCompass 最核心的闭环工作流评估Evaluate→ 改进Improve→ 验证Verify。我将用一个我实际维护的、名为“代码注释生成器”的技能作为例子带你走完全程。4.1 入口与概览掌握全局健康状况一切始于/skillcompass命令。你可以在 AI 助手的输入框中直接输入它。/skillcompass执行后你会看到一个清晰的仪表板视图。这个视图通常分为几个部分技能收件箱Skill Inbox高亮显示最需要你关注的事项。例如“code-commenter技能的安全评估已过期30天前”“old-legacy-skill已超过60天未使用”。健康摘要以颜色编码绿/黄/红或简单图表展示你所有技能中通过PASS、需注意CAUTION、失败FAIL的比例。快速操作建议基于当前状态给出如“运行全面审计”、“检查高风险技能”等建议。这个概览页面的价值在于让你在几秒钟内对自己技能库的整体健康状况有一个直观把握并快速定位到优先级最高的问题。4.2 深度评估获取六维诊断报告当我们从收件箱或直觉上发现某个技能可能有问题时下一步就是进行深度评估。假设我对“代码注释生成器”路径假设为./my-skills/code-commenter/的质量存疑。/eval-skill ./my-skills/code-commenter/或者更简单如果技能在当前目录下/eval-skill code-commenter评估过程解析结构校验D1SkillCompass 会首先用本地 Node.js 脚本快速校验 SKILL.md 的 Frontmatter 格式、Markdown 语法是否规范。安全扫描D3启动深度安全扫描使用模式匹配和简单静态分析查找硬编码密钥、危险的exec调用、模糊的fs权限等。AI 深度分析D1, D2, D4, D5, D6将技能的内容、上下文以及上述初步扫描结果发送给 Claude Opus 模型。模型会基于其强大的推理能力从触发准确性、功能完整性、比较优势、独特性等维度进行评分并生成详细的评语。报告生成所有维度的分数和评语被汇总计算总分和最终裁决并以清晰、易读的格式呈现给你。报告解读实战 假设我们的code-commenter技能收到了如下报告简化版总体裁决CAUTION (总分 62)维度得分D1 结构: 85/100 (良好)D2 触发: 70/100 (一般触发词有时不精准)D3 安全: 40/100 (高风险发现硬编码的 API URL)D4 功能: 75/100 (核心功能正常)D5 比较优势: 65/100 (有一定价值但模型直接提示也能部分实现)D6 独特性: 60/100 (存在类似功能的技能)最薄弱维度D3 - 安全得分最低改进建议移除 SKILL.md 第 45 行硬编码的https://api.internal.com改为从环境变量读取。看诊断非常明确总分 62 属于“需注意”而根本原因是安全维度存在严重缺陷硬编码内部 API 地址。报告不仅指出了问题还精准定位到了代码行和给出了具体修改建议。这就是“定向修复”的开始。4.3 定向改进与验证闭合质量环知道了最薄弱环节是 D3安全我们不需要自己去盲目修改。SkillCompass 提供了自动化的改进流程。/eval-improve code-commenter当你运行这个命令时SkillCompass 会执行一个严谨的闭环锁定目标自动识别上一次评估中得分最低的维度本例是 D3。生成修复结合评估报告中的具体建议调用 AI 生成针对该问题的修复方案。例如生成一段代码将硬编码 URL 替换为从process.env.INTERNAL_API_URL读取。应用修复草稿将生成的修复方案应用到一个临时副本的技能文件上不会直接覆盖原文件。重新评估对修复后的技能副本立即运行一次新的/eval-skill。验证与决策比较修复前后的评估结果。验证逻辑非常严格核心目标目标维度D3的分数必须有提升。回归检查其他任何维度的分数尤其是 D4功能和 D3安全本身不能出现显著下降通常定义为分数降低超过阈值如10分。安全门禁如果 D3 出现了新的 Critical 问题直接否决。结果处理验证通过SkillCompass 会询问你是否要应用这个修复到原文件。你可以查看具体的差异diff确认无误后接受。验证未通过修复被丢弃工具会分析原因例如修复引入了新 bug并可能尝试另一种修复策略或者直接告诉你自动修复失败需要手动干预。这个闭环的精髓在于“验证”。它确保每一次修改都是正向的、非破坏性的。你不再是“改了再说”而是“改了且证明它更好”。完成 D3 的修复后SkillCompass 会自动建议你进行下一轮改进瞄准新的“最薄弱维度”比如 D2 触发如此循环直到技能达到“PASS”状态或改进陷入平台期。4.4 批量审计与自动化演进当你拥有大量技能时逐个评估效率太低。SkillCompass 提供了强大的批量操作能力。批量审计/eval-audit ./my-skills-directory/这个命令会扫描指定目录下的所有技能对每个技能进行快速评估可能比单个评估稍快但深度足够然后生成一个汇总报告并按照从最差到最好的顺序排列。这样你可以一眼看出哪个技能问题最严重应该优先投入时间修复最大化你的改进效率。自动化演进 对于有决心彻底改造一个技能的用户有/eval-evolve命令。/eval-evolve code-commenter --rounds 8这个命令会自动化执行“评估-改进-验证”的闭环连续进行多轮默认6轮可通过--rounds指定。在每一轮中它都会攻击当前的最薄弱维度。这个过程会持续直到技能达到“PASS”状态。达到最大轮数限制。连续两轮分数没有显著提升达到平台期。 这相当于为你的技能运行了一个自动化的“强化训练”非常适合将那些“能用但不好用”的技能快速提升到高质量标准。5. 技能生命周期管理与用量洞察SkillCompass 不仅仅是一个评估工具它更是一个全生命周期的技能管理平台。它通过一系列智能的、数据驱动的方式帮助你从安装到废弃的整个周期内管理好技能。5.1 技能收件箱你的智能待办清单“技能收件箱”Skill Inbox是 SkillCompass 的神经中枢。它不是一个需要你主动打开的收件箱而是一个基于规则引擎、持续为你生成优先级待办事项的系统。工作原理SkillCompass 通过极其轻量的钩子Hooks被动记录每一次技能的调用。这些数据如调用时间、技能名、上下文被本地存储和分析。内置的9条规则会持续扫描这些数据和你技能库的状态。常见的收件箱建议包括“技能 X 已超过 N 天未使用”基于用量衰减提示你可能需要重新评估该技能的价值或考虑归档。“技能 Y 的安全评估已过期超过30天”安全威胁在变化旧的安全评估可能失效提示你需要重新扫描。“技能 Z 的使用频率在过去两周下降 50%”这可能意味着技能功能不再匹配你的工作流或者出现了更好的替代品。“技能 A 有可用的 Git 更新”如果你通过 Git 管理技能它会检测本地版本与远程仓库的差异。“技能 B 被高频使用但从未进行过深度评估”提示你对这个核心技能进行质量检查避免“黑盒”依赖。建议的生命周期每个建议都有状态待处理pending、已处理acted、已暂缓snoozed、已忽略dismissed。你可以根据情况处理。例如对一个暂时不用的技能选择“暂缓30天”30天后如果仍未被使用建议会再次出现。如果你修复了问题相关建议会自动标记为“已处理”。这种设计确保了待办事项的动态性和相关性。5.2 全生命周期钩子无感守护SkillCompass 在技能生命周期的多个关键节点设置了“钩子”自动执行检查防患于未然。安装时钩子当你安装一个新技能无论是通过skills add还是手动复制SkillCompass 会自动触发一次快速扫描重点检查明显的安全反模式D3和结构问题D1。这就像一道入门安检。编辑时钩子预接受门禁这是极其重要的一个功能。当你在 Claude Code 或其他集成编辑器中修改任何 SKILL.md 文件并保存时这个钩子会被触发。它会在文件被实际写入磁盘前对修改内容进行一次快速但关键的安全和结构检查。如果发现高风险操作如新增了可疑的 Shell 命令、引入了潜在的注入漏洞它会发出警告但不会阻止保存。这给了你一个“最后看一眼”的机会防止在改进技能时不小心引入安全漏洞。变更时钩子版本快照每次对技能进行成功的“改进”操作后或者定期地SkillCompass 会为技能文件创建 SHA-256 哈希快照。如果某次“改进”后重新评估发现功能D4或安全D3出现严重倒退你可以轻松地回滚到上一个已知的良好版本。这提供了类似 Git 的版本安全网但更轻量、更专注于技能内容本身。更新时钩子智能合并当你从远程仓库如 GitHub更新技能时SkillCompass 可以协助进行三方合并。它会比较远程版本、本地版本以及 SkillCompass 维护的、包含你个人改进的版本并尝试自动合并。这可以最大程度地保留你对技能的个性化改进同时吸收上游的 bug 修复和新功能。5.3 反馈信号标准连接外部工具SkillCompass 定义了一个开放的feedback-signal.json模式。这允许任何外部工具例如监控 AI 助手使用情况的日志系统、A/B 测试框架向 SkillCompass 提供关于技能使用情况的量化反馈。你可以通过命令行导入这些反馈/eval-skill ./my-skill/SKILL.md --feedback ./path/to/feedback-signals.json反馈信号可以包括trigger_accuracy技能被正确触发的比例。correction_count用户在使用技能后需要手动纠正结果的次数。usage_frequency调用频率。ignore_rate技能被建议但用户选择忽略的比例。这些真实的用量数据会被 SkillCompass 吸收用于更精准地计算 D2触发、D5比较优势等维度的分数使得评估不再仅仅是基于代码的静态分析而是结合了真实世界的效用数据。这个开放设计让 SkillCompass 可以成为你 AI 工作流质量管道的中心节点。6. 集成实践与高级场景SkillCompass 的设计是开放和可集成的它可以与你的其他开发工具和流程无缝结合。6.1 与 CI/CD 管道集成对于团队或追求工程化的个人你可以将 SkillCompass 集成到持续集成流程中作为技能合并请求Pull Request的质量门禁。使用--ci标志运行评估它会输出机器可读的 JSON 格式结果并返回符合 Unix 惯例的退出码。/eval-audit ./skills/ --ci audit-report.json退出码 0所有被扫描的技能状态均为 PASS。退出码 1存在一个或多个 CAUTION 状态的技能。退出码 2存在一个或多个 FAIL 状态的技能或出现致命错误。你可以在 CI 脚本如 GitHub Actions, GitLab CI中运行此命令如果退出码非 0则让流水线失败或发出警告阻止低质量或不安全的技能被合并到主技能库中。6.2 与技能创建工具配合SkillCompass 与技能创建工具如 Claudeception 或各种 Skill Creator不是竞争关系而是互补。典型的流程是创建使用工具快速生成一个技能原型。评估立即用/eval-skill扫描这个原型发现结构、安全、逻辑上的明显问题。改进根据评估报告使用/eval-improve或手动修复问题。验证再次评估确保问题已解决且无回归。发布将高质量的技能版本纳入你的技能库。这形成了一个“创建-评估-改进”的快速迭代循环显著提升了新技能的原型质量。6.3 与自改进型智能体结合这是一个更前沿的场景。如果你在构建能够自我记录错误或用户反馈的智能体系统你可以将这些反馈日志整理成 SkillCompass 的feedback-signal.json格式。例如智能体记录到“用户请求技能 X 做 A 功能但输出了错误 B用户手动纠正了”。这条记录可以被转化为一个包含correction_patterns的信号。当 SkillCompass 接收到这个信号后在下次评估技能 X 时可以将其作为 D4功能维度的一个负面证据从而驱动针对性的改进例如改进处理 A 功能的逻辑。这就实现了从用户真实反馈到技能自动优化的闭环。7. 常见问题排查与实战心得在实际使用 SkillCompass 近半年后我积累了一些排查问题的经验和心得这些在官方文档中不一定能找到。7.1 评估过程卡住或报错问题运行/eval-skill时长时间无响应或提示 Claude API 错误。排查步骤检查 API 密钥与模型首先确认你的 AI 助手Claude Code/OpenClaw配置的 Anthropic API 密钥有效且有调用 Claude Opus 4.6/4.7 模型的权限。SkillCompass 的评估严重依赖此 API。检查网络连接虽然评估逻辑在本地但 AI 分析步骤需要联网调用 API。确保网络通畅。查看详细日志尝试在命令后增加--verbose标志如果支持或查看 AI 助手自身的调试信息看错误具体发生在哪个阶段如“发送请求到 Claude API 失败”。技能文件过大或复杂如果 SKILL.md 文件极大超过数万行或包含极其复杂的逻辑Claude API 的处理时间会变长甚至可能超时。考虑将技能拆分为更小、更专注的模块。我的心得为 SkillCompass 单独设置一个速率限制稍高、稳定的 API 密钥是值得的。评估虽非高频操作但一旦进行稳定的 API 访问是体验的保障。7.2 安全扫描D3误报或漏报问题工具将一些无害的代码模式标记为高风险误报或者未能发现真正的安全隐患漏报。理解与应对误报常见原因工具使用模式匹配可能会将一些合法的、类似危险模式的代码例如一个用于生成安全令牌的、格式类似密钥的字符串常量标记出来。处理方式仔细阅读评估报告中的具体行和上下文。如果确认是误报你可以在技能文件中添加特定的注释标记如// skillcompass-ignore: hardcoded-secret具体格式需查看最新文档来让扫描器忽略该行但务必谨慎确保你忽略的确实不是真正的秘密。漏报的局限性静态分析有其极限。它无法发现运行时才暴露的逻辑漏洞、依赖库的潜在风险、或非常隐蔽的攻击模式。处理方式不要完全依赖工具的 D3 评分。将其视为一道强大的自动化防线但开发者自身的安全意识和代码审查仍是不可替代的。对于高敏感度的技能建议辅以手动安全审计。我的心得把 D3 的扫描结果当作一份高质量的“安全审查提示清单”。它帮你找到了需要人工复核的疑点大大缩小了人工审查的范围。7.3 改进/eval-improve未能提升分数问题运行改进命令后目标维度分数没有变化甚至下降或者改进内容不符合预期。排查与策略阅读 AI 生成的改进理由SkillCompass 在提供改进方案时通常会附带一段解释。仔细阅读看 AI 是否误解了问题或提出的方案不切实际。检查验证规则改进被拒绝很可能是因为它虽然提升了目标维度但导致其他维度尤其是 D4 功能分数下降超过了安全阈值。查看详细的对比报告理解分数变化的具体原因。手动干预自动改进并非万能。对于特别复杂或需要领域知识的逻辑问题AI 可能无法生成完美方案。此时报告已经为你指明了问题和方向你应该基于报告的建议进行手动编码修复然后再运行评估验证。迭代进行有时一个问题需要多轮改进才能解决。例如修复一个安全漏洞D3可能会暂时使代码更复杂影响可读性间接影响 D4。先接受 D3 的修复然后在下一轮中专门针对代码清晰度作为 D4 的一部分进行改进。我的心得将/eval-improve视为一个强大的“结对编程助手”而不是全自动的代码编写机器人。它的价值在于提供思路、发现盲点、执行机械性修改。最终的决策权和复杂逻辑的实现仍然需要你这位主导工程师。7.4 用量追踪不准确或收件箱无建议问题技能明明被使用了但“技能收件箱”没有显示相关用量或者“未使用”的建议不准确。排查步骤确认钩子已安装SkillCompass 的用量追踪依赖于安装在技能目录中的轻量级钩子文件。检查你的技能目录中是否存在 SkillCompass 相关的钩子文件通常是一些.js或.json文件。在首次运行/skillcompass时它应该会尝试安装这些钩子。检查技能调用路径钩子可能只对通过正规方式如 Claude Code 的技能调用机制触发的技能生效。如果你直接执行技能的底层脚本用量可能不会被记录。查看本地数据文件SkillCompass 的用量数据存储在本地具体路径可在其配置或日志中查找。检查该文件是否存在以及是否有更新可以确认追踪是否在工作。规则灵敏度“未使用”等规则有阈值如默认可能为30天。刚安装不久的技能不会立即触发此类建议。我的心得用量追踪是一个辅助性、建议性的功能其绝对精度并非核心。即使有少量遗漏它提供的趋势性洞察哪些技能常用、哪些已荒废仍然具有极高的参考价值。不要纠结于个别记录的缺失关注宏观模式。SkillCompass 从根本上改变了我管理和使用 AI 技能的方式。它把一种模糊的、依赖直觉的实践变成了一个可测量、可迭代、有保障的工程流程。最大的体会是它带来的不仅是技能质量的提升更是一种心理上的踏实感。我知道我的技能库里有什么知道它们各自的状态知道下一步该优化哪里也知道任何修改都经过了一道安全验证。对于任何在 AI 辅助编程领域投入了真金白银时间也是金钱的开发者来说投资这样一套质量管理体系回报远大于投入。它让你从技能的“消费者”和“猜测者”转变为技能的“管理者”和“建筑师”。