再次了解 AI Harness

这其实是一次 tenantId 联调 bug暴露了 AI 项目最缺的不是模型而是Harness前面没整理完的关于Harness Engineering的文章为啥整理这一篇是因为这让我意识到一个趋势正在形成AI 开发正在从写提示词转向构建评估系统。什么是 Harness•❌ 不是业务逻辑•✅ 是包在系统外面的一层控制系统二、这个词的来源非常关键“harness”本来是个很形象的词马具给马套上的控制装置 核心隐喻核心本质让一个有能力但不可控的系统变得可控。类比理解类比 1马具Horse HarnessHarness 的原意就是马具。马很有能力能跑能拉但如果不加马具•你没法控制方向•你没法让它停下来•你没法让它拉车马具 控制框架让有能力但不可控的马变成可控的生产力。类比 2赛车游戏的手柄想象你在玩赛车游戏•Prompt Engineering 你告诉 AI往左拐•Context Engineering 你给 AI 看地图、车速、油量•Harness Engineering 你给它一个手柄让它能实际操作还能看仪表盘知道自己开得怎么样手柄 仪表盘 赛道规则 Harness类比 3你熟悉的 JUnit写 Java 的同学都知道 JUnitTest public voidtestAdd(){assertEquals(4, calculator.add(2,2));}JUnit 做了什么•控制测试的执行顺序•提供断言方法验证结果•收集测试结果生成报告JUnit 就是一个 Test Harness。一句话定义Harness 用来控制、驱动、约束、评估一个系统行为的外部执行框架它不是业务逻辑本身而是包在业务逻辑外面的一套控制系统。二、为什么 AI 突然需要 Harness先理解 AI 和传统软件的区别|维度|传统软件|AILLM|| — | — | — ||确定性|同样的输入永远同样的输出|同样的 prompt可能不同结果||可预测性|bug 能复现|“幻觉随机出现||验证方式|assertEquals(expected, actual)|输出是自然语言难断言||调试方式|打断点、看堆栈|不知道它怎么想的”|关键问题AI 是个黑盒概率系统有能力但不可控。2025 年底发生了什么AI 从聊天工具变成了自主干活的工人。Cursor 的实验[1]让 AI 自主写浏览器5 个月生成 100 万 行代码人类零手写代码。Anthropic 的实验[2]16 个 Claude 并行工作2 周从零写出 C 编译器。OpenClaw7x24 小时自主运行的 AI不需要人类一直盯着。新问题出现了•AI 干到一半停了下次怎么接上•AI 说我做完了怎么验证真的做完了•怎么保证 AI 不跑偏不乱改其他代码•多个 AI 一起干活怎么协作这些都不是 prompt 能解决的需要 Harness。三、AI Harness 的 6 个核心组件一个完整的 AI Harness 包含以下 6 部分┌─────────────────────────────────────┐ │ AI Harness 架构 │ ├─────────────────────────────────────┤ │1. 可读环境Legible Environment │ │ → AI 能读懂项目状态 │ ├─────────────────────────────────────┤ │2. 测试数据集Test Dataset │ │ → 有标准答案才能评估 │ ├─────────────────────────────────────┤ │3. 执行器Executor │ │ → 控制 AI 怎么运行 │ ├─────────────────────────────────────┤ │4. 评估器Evaluator │ │ → 判断 AI 做得对不对 │ ├─────────────────────────────────────┤ │5. 端到端验证E2E Verification │ │ → 防止 AI假完成│ ├─────────────────────────────────────┤ │6. 工具设计Tooling │ │ → 给 AI 用什么工具 │ └─────────────────────────────────────┘组件 1可读环境最重要但最容易被忽视场景AI 干到一半停了断电、超时、出错下个 AI 怎么接手反面教材•项目里到处是TODO、FIXME不知道哪个是真的待办•进度散落在聊天记录、个人笔记、脑子里•新 AI 花了半小时才搞懂现在做到哪了正确做法写清楚进度文件project/ ├── AGENTS.md# 项目架构、技术栈、开发规范├── features.json# 功能清单和完成状态│ └──[{name:登录,status:done},...]├── progress.md# 当前进度、阻塞项、下一步│ └──卡在微信支付签名需要测试密钥└── init.sh# 一键初始化环境关键原则每个新 AI 应该几分钟内读懂项目而不是猜。OpenAI 的实践证明[3]结构化的进度跟踪文件比复杂的记忆系统更有效。组件 2测试数据集核心问题怎么判断 AI 做得好不好不能靠感觉需要有标准答案。怎么做1.收集 50-100 个真实场景的输入输出对2.覆盖正常 case、边界 case、错误 case3.每次改 Prompt 或换模型跑一遍看准确率示例客服意图识别[{input:这个太贵了,expected:价格异议},{input:能便宜点吗,expected:价格异议},{input:谢谢我先看看,expected:暂缓决策},{input:怎么退款,expected:售后问题}]目的把感觉好不好变成指标好不好准确率 85% vs 92%。组件 3执行器Executor控制 AI 怎么运行•用哪个模型GPT-4 / Claude / DeepSeek•温度参数多少0.2 稳定0.8 有创意•超时时间多长•失败怎么重试•要不要并行跑多个模型对比作用让 AI 的执行过程可控、可复现。组件 4评估器EvaluatorAI 的输出怎么评分|评估方式|适用场景|示例|| — | — | — ||规则匹配|结构化输出|JSON 字段存在、值在范围内||LLM 打分|主观质量|用 GPT-4 给回答打 1-10 分||人工评审|复杂场景|抽样检查、关键路径||混合评估|通用|规则先过滤LLM 再评估|示例请评估以下 AI 回复 问题怎么重置密码AI 回答...请从以下维度评分1-101. 准确性步骤是否正确2. 完整性是否漏了关键步骤3. 清晰度用户能否看懂组件 5端到端验证E2E—— 防止假完成最大的坑AI 特别喜欢说我做完了其实有 bug。为什么单元测试不够•代码通过了测试但功能不工作•实现了功能但破坏了其他模块•API 能调通但前端展示错了怎么做|项目类型|验证方式|| — | — ||Web 应用|Playwright 自动跑一遍用户流程||API 服务|集成测试调接口 → 查数据库 → 验状态||代码生成|编译 运行 测试通过||数据处理|输出格式 关键字段非空 无重复|反馈循环AI 说完成 → 自动测试 → 发现 bug → 反馈给 AI → 修复 → 重新验证这比人工检查快得多。组件 6工具设计——少即是多Vercel 的真实案例[4]原来给 AI 20 个精细设计的专用工具•查询用户工具、查询订单工具、更新状态工具…问题AI 经常选错工具切换开销大。改进后删掉 80%只留 2 个通用工具1.bash 命令- 文件操作2.SQL 执行- 数据库查询结果•成功率80% →100%•速度快 3.5 倍为什么模型对 bash、SQL 这类通用工具理解更深不用猜该用哪个工具。设计原则优先给 AI 通用工具文件、bash、SQL别搞复杂的专用工具链。四、真实数据优化 Harness 比换模型更有效案例 1Hashline[5]——只改格式模型没变问题AI 改代码时经常定位错行。解法不改模型只改文件格式——每行加哈希# 传统格式functionhello(){returnworld;}# Hashline 格式1:a3|functionhello(){2:f1|returnworld;3:0e|}AI 通过哈希引用行“替换 2:f1”不用精确重现字符串。结果•模型得分6.7% → 68.3%10 倍提升•模型权重完全没变案例 2LangChain[6]——固定模型只优化 Harness条件固定 GPT-5.2只改进 Harness改进加了一个自动分析失败模式的工具结果•分数52.8% → 66.5%•排名30 名 → 5 名结论别急着买更贵的模型先优化 HarnessROI 更高。五、给你的落地建议5 步走第一步写 AGENTS.md项目根目录放这个文件内容包括•项目结构目录怎么组织的•技术栈用什么语言、框架、数据库•构建命令怎么编译、怎么跑测试•常见坑之前踩过什么坑、怎么规避原则每次 AI 犯错就加一条规则防止再犯。第二步整理测试集找 30-50 个真实场景的输入输出对•从生产日志里挑真实的•覆盖正常 case、边界 case、错误 case•存成 JSON方便批量跑第三步加 E2E 验证别让 AI 自己说做完了让它证明做完了•Web 项目用 Playwright 自动跑核心流程•API 项目写集成测试•代码生成必须能编译、能跑通测试第四步简化工具链检查你给 AI 用的工具•超过 10 个考虑合并•能用 bash/SQL 解决的别搞专用工具•优先用模型熟悉的通用工具第五步建进度看板用简单的 markdown 跟踪## 已完成 ✅-[x]用户登录接口## 进行中 -[]支付接口卡在签名验证## 阻塞项 - 需要测试环境密钥## 下一步 1. 搞定签名2. 写回调接口相关阅读•Anthropic用并行 Claude 团队构建 C 编译器[7]•Mitchell HashimotoHarness Engineering 概念提出[8]References[1]Cursor 的实验:https://cursor.com/blog/scaling-agents[2]Anthropic 的实验:https://www.anthropic.com/engineering/building-c-compiler[3]OpenAI 的实践证明:https://openai.com/index/harness-engineering/[4]Vercel 的真实案例:https://vercel.com/blog/we-removed-80-percent-of-our-agents-tools[5]Hashline:https://twitter.com/canboluk/status/1889741473075372500[6]LangChain:https://blog.langchain.dev/scaling-our-coding-agent-from-30-to-5/[7]Anthropic用并行 Claude 团队构建 C 编译器:https://www.anthropic.com/engineering/building-c-compiler[8]Mitchell HashimotoHarness Engineering 概念提出:https://mitchellh.com/writing/my-ai-adoption-journey更多关注公众号Gamehu