我用 AI 生成测试用例，效率提升 3 倍但发现了这 5 个问题

专栏《AI 测试实战手册》第 5 篇作者一线测试工程师适合人群手工测试转型、自动化测试提效、测试人搞副业开篇真实项目案例这是我上个月在一个电商项目中的真实经历。项目背景新上线一个会员积分系统需求文档 30 页要求 3 天内完成测试用例编写预估工作量500 条用例传统方式需要 5-6 天但这次我用了 AI 辅助实际用时 1.5 天。效率确实提升了但也踩了不少坑。今天把经验和问题都分享给你。一、我的 AI 用例生成流程1.1 第一步整理需求把需求文档拆成小块每块一个功能点1. 积分获取 - 签到得积分 - 购物得积分 - 评价得积分 2. 积分使用 - 积分抵扣 - 积分兑换 - 积分赠送 3. 积分管理 - 积分查询 - 积分明细 - 积分过期1.2 第二步设计 Prompt我的标准 Prompt 模板你是一个资深测试工程师有 10 年电商系统测试经验。 请为以下功能生成测试用例 【功能名称】积分获取 - 签到得积分 【功能描述】 - 用户每天可以签到一次 - 连续签到有额外奖励 - 第 7 天奖励翻倍 【业务规则】 1. 签到时间每天 00:00-23:59 2. 基础积分10 积分/次 3. 连续 3 天额外 20 积分 4. 连续 7 天额外 50 积分 5. 中断后重新计算 【测试要求】 1. 正常场景10 条 2. 边界条件10 条 3. 异常场景10 条 4. 性能场景5 条 【输出格式】 用例编号 | 用例标题 | 前置条件 | 测试步骤 | 预期结果 | 优先级1.3 第三步审核优化AI 生成的用例不能直接用需要删除重复的补充遗漏的修正错误的调整优先级的二、效率提升数据2.1 时间对比阶段传统方式AI 辅助提升需求分析4 小时2 小时50%用例编写16 小时5 小时69%用例评审4 小时3 小时25%总计24 小时10 小时58%2.2 用例数量对比类型传统方式AI 辅助变化正常场景150 条180 条20%边界条件120 条160 条33%异常场景100 条140 条40%性能场景30 条50 条67%总计400 条530 条32%2.3 用例质量对比指标传统方式AI 辅助变化需求覆盖率92%96%4%边界条件覆盖75%88%13%用例重复率5%12%-7%评审通过率90%85%-5%三、发现的 5 个问题问题 1边界条件覆盖不足现象AI 生成的边界条件看似很多但仔细一看都是表面边界。比如积分系统AI 会测0 积分、最大积分但不会测积分精度问题小数点后几位也不会测并发签到时的积分计算原因AI 没有实际业务经验不知道哪些边界容易出 bug。解决人工补充关键边界建立边界条件检查清单把历史 bug 场景喂给 AI问题 2业务逻辑理解偏差现象AI 会生成一些逻辑上正确业务上错误的用例。比如用例用户使用积分后申请退款 AI 预期积分原路返回 实际业务积分不退回这是业务规则原因需求文档里没写清楚AI 按常识推断。解决需求文档要写清楚隐性规则Prompt 里明确说明特殊规则人工审核时重点检查业务逻辑问题 3需要大量上下文输入现象想让 AI 生成高质量用例需要喂给它很多信息需求文档接口定义历史 bug业务规则问题整理这些信息本身就要时间大模型有输入长度限制信息太多 AI 会抓不住重点解决建立需求模板结构化输入分功能点逐个生成不要一次性全给用摘要 详情的方式组织信息问题 4误报率高仍需人工审核现象AI 生成的用例大约 15-20% 是有问题的步骤不可执行预期结果错误前置条件缺失数据不合理原因AI 无法真正理解系统只是模仿用例格式。解决必须人工审核不能直接用建立用例审核 checklist把常见错误反馈给 AI让它改进问题 5需求变更后维护困难现象需求变了用 AI 更新用例时AI 不知道哪些用例受影响可能生成和旧用例冲突的新用例版本管理混乱案例V1.0签到得 10 积分 V1.1签到得 15 积分 AI 生成的新用例里有的写 10 积分有的写 15 积分解决用例编号要规范需求变更时标注影响范围定期清理过时用例四、AI 生成用例的正确姿势4.1 什么场景适合用 AI✅推荐需求明确的常规功能边界条件多的场景重复性高的用例编写新人学习写用例❌不推荐业务逻辑复杂的核心功能需求模糊的新功能涉及安全、资金的场景需要创造性思维的探索性测试4.2 正确的使用方式AI 是助手不是替代者错误方式需求 → AI → 直接用 正确方式需求 → AI → 人工审核 → 修改 → 使用建议比例AI 生成70%人工补充20%人工修改10%五、我的 Prompt 模板库5.1 通用用例生成你是一个资深测试工程师请为以下功能生成测试用例 【功能名称】{功能名} 【功能描述】{描述} 【业务规则】{规则列表} 【测试要求】{正常/边界/异常数量} 【输出格式】{表格格式}5.2 边界条件专项请专门针对边界条件生成测试用例 【功能】{功能名} 【输入字段】{字段列表及约束} 【边界类型】 - 最小值/最大值 - 空值/ null - 特殊字符 - 超长输入 - 精度边界 请每个字段至少生成 5 条边界用例。5.3 异常场景专项请针对异常场景生成测试用例 【功能】{功能名} 【异常类型】 - 网络异常 - 数据异常 - 超时 - 并发 - 权限不足 - 资源不足 请每个类型至少生成 3 条用例。六、效率提升小技巧6.1 建立用例模板库把常用的用例格式存起来让 AI 按模板生成标准用例模板 1. 用例编号模块_功能_序号 2. 用例标题动词 对象 预期 3. 前置条件不超过 3 条 4. 测试步骤编号列表每步一个动作 5. 预期结果可验证的结果 6. 优先级P0/P1/P2/P36.2 批量生成不要一个功能一个功能地问可以请为以下 5 个功能分别生成测试用例 1. 用户登录 2. 用户注册 3. 密码找回 4. 账号注销 5. 信息修改 每个功能生成 15 条用例按相同格式输出。6.3 迭代优化第一轮生成后可以刚才生成的用例中边界条件不够充分。 请补充以下场景的测试用例 1. 网络超时 2. 并发操作 3. 数据一致性 每个场景补充 5 条用例。写在最后AI 生成测试用例效率提升是真实的但问题也是真实的。我的建议用起来—— 先体验效率提升别全信—— 必须人工审核持续优化—— 积累自己的 Prompt 库AI 是工具你才是专家。下一篇预告《AI 写自动化测试脚本PytestAI 实战记录》从 0 到 1 写脚本AI 生成的代码能直接用吗调试和优化的技巧如果本文对你有帮助欢迎点赞、收藏、关注专栏第一时间获取更新