AI项目从Demo到落地的8个关键突破

为什么我们用AI两周就能做出惊艳的Demo却在接下来一个月里怎么也把它推不出去我们团队在做微信支付数字员工时就掉进了这个坑里。把 AI 从 Demo 做成数字员工我们靠这 8 招搞定了 AI 的“不靠谱”最近这半年AI 辅助编程火得一塌糊涂。Cursor、Copilot 这些工具一出来大家都在晒半天时间用 AI 搭出了带前端、后端、数据库的全栈应用Vibe Coding只要说清楚想要啥AI 就能给你写好代码。我自己也试过确实爽以前要写一周的代码AI 一天就给你整出来了。但冷静下来就发现一个很矛盾的事这么多 AI 做的项目怎么大部分都停在了 Demo 阶段真要拿到线上给人用怎么就这么难我们团队做微信支付商业收银台的数字员工就完整踩了这个坑。一开始两周就做出了效果惊艳的 Demo结果接下来一个月愣是没把它推广出去。后来我们用了 Harness Engineering 的思路才把这个 “实验品”变成了真正能扛事的数字员工。今天就把我们的踩坑和救场经验用大家都能听懂的话讲给你听。为什么 AI 写代码很快却做不出能用的产品你有没有过这种感觉用 AI 搭了个小玩具看起来特别厉害功能都有界面也好看就像搭了个漂亮的积木小房子。但真要把它变成能住人的商品房你就傻了地基稳不稳水电通不通消防过不过关验收能不能过这些东西AI 可不会帮你考虑。我们的项目也是这样。一开始的 Demo你问它 “收银台的验密流程是啥”它能给你输出带流程图的回答看起来特别专业。但真要上线我们才发现缺的东西太多了边界条件谁来管比如用户问的问题太模糊AI 会不会理解偏了真实系统对接的问题比合规要求如能不能让 AI 乱碰生产代码比如并发多了服务器会不会崩线上稳定性比如卡住了怎么办出错了怎么办而且还有个很坑的“高产出幻觉”你觉得 AI 一天写了一周的代码效率超高但实际上真正能用的可能只有一小部分。剩下的都是要你自己收拾的烂摊子。我们一开始就是两周做完 Demo然后卡了一个月怎么都推不出去。踩坑实录把 2000 行规则塞给 AI它直接懵了一开始出问题的时候我跟很多人一样第一反应是AI 不够聪明给它的信息不够多那行我把所有东西都给你你自己搞定总行了吧我们写了一个巨大的 Skills 文件超过 2000 行里面啥都有收银台的领域知识四大阶段、术语对照表模块架构表哪个文档在哪哪个代码在哪个目录搜索约束不许搜 test 目录不许用 Bash输出模板回复要啥结构mermaid 要怎么写再加上工具定义、历史对话、系统指令一次请求的上下文直接达到了 50K tokens我当时还美滋滋的给了这么多知识和工具这 AI 不得变成业务大神看完资料自己就能把活干了结果跑起来一看我傻了这 AI 简直蠢得离谱简单问题它思考十几分钟拿到这么一大信息AI 先花一堆 token “思考”然后疯狂调工具搜 20 次、30 次文件。搜到最后上下文窗口快满了前面的关键信息直接忘了。有个典型的例子用户问 “收银台验密流程是怎样的”它搜了 12 个文件最后给出的回答居然只基于最后 3 个文件把 “签名验证” 和 “密码验证” 混在一起说了而我们写在最前面的术语区分早就从上下文里遗出去了。没搜完就敢宣布胜利AI 根本没有明确的结束指标搜了两三个模块找到点看起来相关的内容就开始写答案了。它太会用流畅的话掩盖信息空白了看起来回答得头头是道其实核心模块压根没碰。有次测试用户问合单支付的下单流程AI 输出了结构完整的回答还有漂亮的 mermaid 流程图结果整个回答完全没提合单的核心逻辑它搜索第一个模块的时候就觉得 “够了”直接开始写了。把常量当成已上线的功能更坑的是它搜到一个代码里的常量定义、或者一个 protobuf 的字段就敢当成“这个功能已经上线了”来跟你说。输出格式也乱有时候遵守模板有时候不遵守mermaid 语法错一堆前端根本渲染不出来它自己还不会检查。越调越笨越改越乱出了问题我就想加规则啊编造路径加一条 “禁止编造文件路径”输出格式不对加详细的格式示例搜到 test 代码加 “禁止搜索 test 目录”忘了术语搜到 test 代码每一条规则单独看都没问题结果叠在一起Skills 文件从几百行膨胀到 2000 多行AI 光理解这些规则就花了大半的注意力真正用来分析代码的精力反而没多少了。最后变成啥样同一个问题问三次三次答案都不一样有时候 AI 干脆无视所有约束直接吐一堆代码出来调一次问题花 3-5 万 tokens全是钱改完 Prompt 觉得好了过两天换个问题又不行了项目就这么卡了快一个月Demo 能看但就是用不了。救场思路把 AI 当新人带就对了后来我才想明白Harness Engineering 这东西根本不是什么高大上的黑科技就是最朴素的工程思维。你想啊你公司新来一个实习生你会把一整个项目的所有资料都甩给他然后说 “你自己搞定搞不定就加班” 吗肯定不会啊你会怎么做把大任务拆成一个个小步骤告诉他第一步干啥第二步干啥给他清晰的指引什么阶段能用什么工具每做完一步你检查一下不对就让他重做不会指望他自己把所有事都做对你给他搭好脚手架对 AI 也是一样啊别指望 AI 自己把所有事做对你得用代码给它搭好架子每一步该干什么、能用什么工具、输出什么格式都由程序控制而不是靠在 Prompt 里写“请你不要 XXX”来许愿。想通了这个我们就开始改造一步步把这个不靠谱的 AI变成了靠谱的数字员工。第一步拆成小步骤让 AI 别想一口吃成个胖子原来的模式是啥“一次调用搞定一切”—— 一个 Prompt一个 Agent跑完拉倒。就像你让实习生一天之内把需求、设计、开发、测试、上线全做完他能不懵吗我们改了把整个流程拆成了四个独立的阶段问题评估先搞清楚用户问的是啥属于哪个模块任务规划根据问题规划要搜哪些目录、哪些文件信息搜索按照规划去搜索对应的代码和文档结果汇总把搜索到的信息整理成用户能看懂的回答每个阶段都是一次独立的 Agent 调用阶段之间的数据用 JavaScript 代码来传不用靠 AI 的记忆。就像奶茶店做奶茶先点单确认再准备原料再做奶茶最后打包出品。每个步骤分开做完一个再做下一个不会乱。我们还加了超时保护防止 AI 卡在某个阶段无限等下去。就这么一步拆分整个流程的稳定性一下子就上来了。第二步给 AI 的工具加个 “权限锁”比如评估阶段本来只需要它 “想一想” 用户的问题结果你给了它 Grep 工具它忍不住就要去搜两下搜索阶段本来只该读文件结果它看到 Bash 可用就偷偷跑个 find /data \-name \\#34;\*\.cpp\\#34;把整个目录都给你遍历了。之前我们在 Prompt 里写 “禁止使用 Bash”、“禁止遍历目录”有用吗70% 的情况有用剩下 30%AI 会觉得 “这次用一下效率更高”直接绕过去。后来我们想明白了Prompt 里的约束靠不住得用代码来管我们直接在不同的阶段给 AI 不同的工具权限评估和规划阶段零工具啥都不让用就让它老老实实思考搜索阶段只给只读工具Read、Glob、Grep别的都没有汇总阶段还是零工具就让它专心写答案甚至我们把评估阶段的工作目录刻意设成了/tmp就算万一 AI 拿到了什么工具它也只能在临时目录里折腾碰不到真正的代码目录。你看这比在 Prompt 里写 “不要用 Bash” 靠谱多了吧Prompt 里的规则AI 可以选择忽略但代码里的权限它连尝试的机会都没有。第三步加个 Todo List让用户知道 AI 在做什么拆完阶段我们又遇到了新问题用户体验变差了。原来的 AI虽然不稳定但你能看到它在干嘛在搜什么文件在调什么工具。现在拆成了多阶段用户面对的就是一个长时间的空白他不知道后台在干什是不是卡住了是不是死机了就跟你点了外卖不知道商家做没做干等着特别焦虑。所以我们加了个 To-o List 机制。在每个阶段我们都会把当前的任务进度实时推给前端比如 “正在分析用户问题”、“正在搜索验密模块”、“正在整理结果”。就像你点外卖的时候能看到清晰的进度商家已接单、正在备餐、骑手取餐中、配送中。一下子用户就不焦虑了他知道 AI 在工作不是卡住了。而且我们调试的时候也能一眼看到哪个阶段出问题了特别方便。第四步那些 “无聊” 的代码才是 Demo 到生产的差距前面几步都是在让 AI 更聪明、更可控。但真要从 Demo 变成线上服务光有这些还不够。你得做那些看起来特别 “无聊” 的工程代码并发控制、超时保护、连接保活、异常兜底。这些东西跟 AI 一点儿关系都没有但少了任何一个你都上不了线。比如并发控制我们加了两层保护同一个用户不能连续发请求得等前一个处理完整个服务器最多同时处理 100 个请求人多了就告诉你 “当前并发太多请稍后”就像餐厅的排队叫号防止一下子人太多把餐厅挤爆了。全局超时我们设了 15 分钟的硬底线不管 AI 卡在哪个阶段到点就掐断给用户一个友好的提示“这个问题我实在答不上来了你问问别人吧”不会让用户无限等下去。心跳保活因为用了长连接我们每秒发一个心跳包防止 NGINX 把连接断了用户莫名其妙收不到消息。中断检查每个阶段结束我们都会检查一下用户是不是已经离了是不是发了新的问题如果是的话我们就直接停了别浪费资源处一个已经没人要的请求。这些代码看起来特别无聊就是普通的 Web 服务工程。但你想想Demo 阶段你根本不需要这些啊一个人在本地跑没有并发不需要超时断了重启就行。但就是这些 “无聊” 的代码才是 Demo 和生产环境之间最大的差距。第五步把大文件拆成三层按需加载不浪费之前我们那个 2000 行的大 Skills 文件每次都全量塞给 AI大部分内容当前阶段根本用不上纯属浪费 token。后来我们把它拆成了三层架构按需加载Layer 1基础层只有 60 行就是最基础的功能介绍、任务流程索引每次对话都加载。Layer 2任务层每个任务一个小文件比如理解问题的、搜索旧架构的、搜索新架构的、格式化输出的每个只有 20-30 行执行哪个任务才加载哪个。Layer 3参考层就是那些目录树、搜索规则、输出模板、术语映射这些只有任务需要的时候才会加载。就像你去快递驿站取快递你买了 10 个包裹驿站不会一次性把 10 个都拿给你你要哪个他给你拿哪个。这么一拆效果立竿见影 初始的 Prompt从 631 行直接降到了 60 行省了 90% 的 token 每个阶段的上下文最多也就几千 token跟之前的 50K 比差了一个数量级。AI 不用再从一堆不相关的规则里大海捞针般找指令了效率高了好多。而且加新任务也方便只要加个 Layer2 的文件在 Layer1 里注册一下就行不用改全局的结构。第六步给 AI 加个 “兜底”就算它翻车也不怕就算我们做了这么多AI 还是有可能翻车啊比如输出的 JSON 格式不对或者字段缺了这时候我们不能让整个系统卡住吧所以我们加了个降级兜底的机制。比如 AI 输出 JSON 的时候我们不要求它严格只输出 JSON那样反而容易把它搞蒙。我们允许它自由发挥然后用正则把它输出里的 JSON 提取出来能解析就用解析不了没关系我们有保底方案。我们预定义了默认的搜索路径要是 AI 的规划失败了我们就用这些默认的路径从 AI 的输出里扒几个关键词凑合用。就像你点外卖你选的商家卖完了平台不会让你白等它自动给你推荐附近的同款商家你至少能吃到饭只是可能不是你最开始选的那家但总比啥都没有强。我们还在搜索完之后加了个“审稿人”的角色让 AI 自己检查一下搜索到的结果够不够回答用户的问题不够的话就自动补搜。就算 AI 翻车了系统也能正常运用户至少能拿到结果。第七步标准化输出让 AI 每次都交出 “合格答卷”最后输出的问题我们也给它标准化了。之前 AI 的输出那叫一个乱有时候直接把搜到的代码贴出来用户是业务人员根本看不懂有时候回答结构忽长忽短毫无章法mermaid 流程图语法错一堆前端根本渲染不出来。所以在汇总阶段我们给它定死了输出的规则不能贴代码、不能贴文件名所有技术细节都要转成业务人员能看懂的术语必须是四段式的结构总结回答、流程图、详细说明、询问是否需要更多帮助mermaid 的语法我们也定死了节点 ID 必须用英文不能用中文不能用 end 当节点名等等就像奶茶店的标准化出品不管哪个店员做不管什么时候做出来的奶茶都是一样的杯子一样的配料一样的包装用户拿到的永远是标准的产品。而且这个输出模板是单独的一个 27 行的文件产品要改格式特别方便。比如后来产品说表格里要加一列“影响范围”我们改了这 27 行的模板直接就上线了不用碰服务器代码不用调 Prompt。第八步给 AI 装上记忆别让它每次都 “失忆”最后还有个问题之前的 AI每次新会话都是 “失忆” 的。你上一轮问了 “验密流程”这一轮想追问 “那验密失败的重试机制呢”它完全不记得之前聊了什么你得重新说一遍特别麻烦。所以我们给 AI 装上了分层的记忆长期记忆领域知识存在知识库的 MD 文件里一直都有情景记忆让 AI 自己把对话的内容记录下来跨会话都能用工作记忆把历史的会话压缩整理一下保留关键信息短期记忆每次对话保留最近 3 轮的问答让它记得刚才聊了啥就像你和朋友聊天他记得上次你们聊了周末要去爬山这次见面直接就问你 “上次说的爬山你准备好装备了吗”不用你每次都重新说一遍。我们还给了 AI 一张 “地图”就是我们的目录架构表不用它自己花半天跑 ls、find去搞清楚目录结构了。还有那些反直觉的命名比如 “联合收银台” 对应的是 jointpay不是 unionpay后者其实是合单支付我们直接写进术语映射表里AI 就不会搞错了。最后Prompt 迭代从“碰运气”到“可控调试”做完这些之后我们再回头调 Prompt发现完全不一样了。原来调 Prompt就是碰运气所有指令混在一起你改了一行不知道哪个行为会受影响就像开车没有方向盘车乱晃你只能瞎掰方向盘碰运气。现在不一样了每个阶段的 Prompt 都是隔离的改评估阶段的不会影响搜索改搜索的不会影响汇总改输出的不会影响前面的任何阶段。就像开车你有了方向盘、刹车、油门你能精准地控制方向改了哪里效果立刻就能看到。比如评估的 Prompt我们迭代了三版第一版太开放“分析问题返回 JSON”结果 AI 的打分标准飘忽不定第二版太严格列了一堆评分标准要求不能有额外文字结果 AI 老是纠结反而输出不合格第三版找到了平衡允许它自由理解给它具体的例子把评分做成内部的不让它有压力这一下就稳了。搜索的 Prompt 也是原来只是“去搜这个目录”后来我们加了自我批判要求它必须标注功能的启用状态是确认启用了还是只有定义没启用还是受开关控制把开放的问题变成了选择题AI 再也不能打太极、含糊其辞了。调试的时候我们也能精准定位哪个阶段出问题就单独测哪个阶段不会改了一个问题又搞出别的问题。写在最后以前我们管程序员现在我们管 AI。别指望 AI 自己能把所有事都做对你得给它搭好脚手架拆好任务约束好边界把它从一个野生的、不靠谱的 AI变成一个听话、靠谱、能扛事的数字员工。现在我们的这个数字员工已经在团队里用了很久了帮大家查代码、理流程省了好多时间。最后想问问大家 你有没有用过 AI 做项目卡在 Demo 阶段推不出去的经历或者你是怎么给 AI 加约束让它变靠谱的评论区聊聊你的踩坑经验吧