【免费福利】AI测试：测试技能包进阶：造数、压测、视觉回归、CI 全流程串联

免费福利测试员周周全网同名关注回复关键字【skills】可领取全量skills文中提到的所有内容均包含或者直接github直达testzhouzhou/aitest-skills上一篇讲了怎么快速上手。这篇聊聊更深层的东西AI 生成的用例会不会漏、怎么解决实际问题、技术实现细节、进阶用法、CI集成、视觉回归以及从需求到复盘的完整流程。用例生成标准会不会漏东西这是很多人关心的问题AI 生成的测试用例会不会只覆盖正常流程漏掉边界和异常直接说结论会漏但我们加了防护。原来的问题最基础的用例生成 skill 只分了四类场景正常流程、异常流程、边界条件、特殊场景。这个分类太粗了。LLM 拿到后大概率只生成登录成功密码错误这种功能用例。会漏掉的东西数据测试空值、超长输入、特殊字符、SQL 注入、XSS状态测试状态机转换、并发竞争、幂等性集成测试跨模块数据传递、异步回调、第三方依赖异常非功能测试性能、安全、兼容性、可用性我们加了什么在 generator skill 里我们加了一个扩展测试维度章节明确告诉 AI 除了正常/异常/边界还要测这些数据测试每个输入字段都要考虑空值测试必填字段传空、null、空字符串超长输入超过字段最大长度特殊字符HTML 标签、SQL 关键字、转义字符编码问题中文、emoji、全角字符格式验证邮箱、电话、URL 格式错误业务规则重复值、黑名单值、保留字状态测试涉及状态变更的功能必须测状态机转换每个合法转换路径非法转换不允许的状态跳转是否被拒绝并发竞争同时操作同一资源幂等性重复执行相同操作结果一致超时处理操作超时后的状态集成测试跨模块交互必须测数据传递上游数据变更影响下游跨模块调用A 模块操作触发 B 模块行为异步回调延迟、重试、最终一致性第三方依赖外部服务不可用时的处理事件驱动事件发布/订阅的正确性非功能测试检查清单性能响应时间、并发能力、资源利用率安全认证绕过、越权、注入攻击、敏感数据泄露兼容性多浏览器、多版本、移动端适配可用性错误提示友好、操作有确认、关键操作可撤销reviewer 的防护光 generator 知道还不够。reviewer skill 里加了一个覆盖度检查清单评审时逐项核对功能覆盖 - [ ] 正向流程是否覆盖 - [ ] 反向流程是否覆盖 - [ ] 边界值是否覆盖 数据覆盖 - [ ] 空值测试 - [ ] 超长输入 - [ ] 特殊字符 - [ ] 编码问题 - [ ] 格式验证 状态覆盖 - [ ] 状态机转换 - [ ] 非法状态转换 - [ ] 并发操作 - [ ] 幂等性 集成覆盖 - [ ] 跨模块数据传递 - [ ] 异步回调 - [ ] 第三方依赖异常 非功能覆盖 - [ ] 性能 - [ ] 安全 - [ ] 兼容性reviewer 评审用例时必须逐项打勾。没覆盖到的打回重做。实际效果加上这些防护后AI 生成的用例覆盖率从原来的 60-70% 提升到 85-90%。剩下的 10-15% 主要是特定业务的特殊场景这个只能靠人工补充。但比手写强在哪手写用例时人也会漏。而且人漏的时候自己不知道。AI 有检查清单兜底漏了会提醒你。解决了什么问题每次新项目都要从零写测试脚本看接口文档 → 手写 pytest → 调定位器 → 跑不通 → 改 → 再跑。一个中等项目至少花两天。现在选一个内置模板改改base_url和接口路径30 秒出脚本。11 个内置模板覆盖了 API 冒烟、API 认证、API 多步场景、UI 登录、UI 表单、UI E2E、造数、性能压测、视觉回归等常见场景。测试用例和测试脚本是两回事用例写在 Excel 或 Jira 里脚本是另一套代码。用例更新了脚本忘了改跑了个寂寞。现在 spec 文件既是用例文档又是脚本来源。改 spec → 重新生成 → 脚本自动同步。一个文件搞定。UI 定位器太脆弱页面一改版全挂以前用 CSS 选择器或 XPath页面结构一变就找不到元素。现在生成器默认用 Playwright 的 L1 定位get_by_label、get_by_role、get_by_test_id。页面结构变了只要 label 没变脚本照样跑。SKILL.md 里也明确写了定位策略L1 优先L2 备选L3 最后手段。AI 生成的代码质量不稳定让 ChatGPT 或 Cursor 写测试脚本每次生成结果不一样。有时候漏断言、有时候定位器写错、有时候生成的代码根本跑不了。SKILL.md 就是给 AI 的操作手册。AI 读了这些文档知道测试用例该怎么设计、API 要覆盖哪五类场景、UI 定位用什么策略。生成质量稳定得多。测试设计原则没人看团队里写了一堆测试规范文档没人看。新人来了还是按自己的方式写。SKILL.md 就是规范本身而且是 AI 能读懂的规范。你不需要逼团队看文档你只需要让 AI 读。AI 生成的代码自然符合规范。改了代码忘了跑测试开发改了接口测试不知道跑的还是旧脚本。或者跑了测试但没跑全漏了回归。CI 流水线接上。代码一提交5 类测试自动跑。API 冒烟、API 认证、UI 登录、视觉回归、性能检查一个不落。失败了 GitHub 直接通知你。底层怎么跑的生成器怎么工作的codegen/run_spec.py是一个纯 Python 脚本依赖只有 PyYAML。工作流程读取 Markdown 文件解析 YAML frontmatter根据kind选择渲染器render_api_pytest/render_ui_pytest/render_data_factory/render_perf_test/render_visual_regression用模板引擎展开成 Python 代码写入.py文件全程不调用 AI纯本地执行。生成的代码是标准 pytest / Locust / pymysql 脚本可以直接跑。为什么不用 JSON 或 YAML 写 spec因为 Markdown 人可读。你写出来的 spec 既是脚本来源也是测试文档。团队成员打开就能看懂测了什么不需要额外维护文档。错误处理生成器对常见错误有友好提示❌ 找不到文件: my_spec.md 请检查文件路径是否正确 ❌ spec 格式错误: 缺少 YAML Frontmatter 文件开头需要 --- ... --- 包裹的 YAML frontmatter ❌ 生成失败: cases 不能为空不会甩一堆 Python traceback 给用户。更高级的用法OpenAPI 导入有现成的 OpenAPI 文档不用手动写 spec直接导入# 从本地文件导入 ./generate.sh --import-openapi openapi.json # 从 URL 导入 ./generate.sh --import-openapi http://localhost:8899/api/docs.json # 指定输出文件名 ./generate.sh --import-openapi openapi.yaml -o my_spec.md它会解析所有接口定义自动生成对应的 spec 文件。你可以在生成的 spec 上补充断言和边界测试比从头写快得多。支持 OpenAPI 3.0 和 Swagger 2.0 格式JSON 和 YAML 都行。环境变量管理多环境部署时硬编码地址太麻烦。用.env文件管理# 1. 复制示例文件 cp .env.example .env.staging # 2. 编辑 .env.staging # 3. 生成时指定环境 ./generate.sh my_spec.md --env .env.staging.env文件里写BASE_URL、TEST_USERNAME、TEST_PASSWORD等变量生成的脚本会自动读取。优先级--env指定的文件 .env spec 中的base_url 系统环境变量。执行报告生成的 pytest 脚本支持 Allure 报告# 方式一用 --report 选项推荐 ./generate.sh my_spec.md --report # 自动生成脚本 运行 pytest 生成 Allure 报告 # 方式二手动运行 pip install allure-pytest pytest -v --alluredirallure-results allure serve allure-results报告包含每个用例的通过/失败状态请求和响应的详细信息失败用例的错误堆栈执行时间统计对于 UI测试还可以结合 Playwright 的 trace 功能录制完整的操作过程方便排查问题。视觉回归测试新增这是最近加的新功能。页面改版了你不知道有没有影响其他页面视觉回归测试帮你自动检测。# 首次运行生成基线截图 ./generate.sh templates/visual_regression.md cd output pytest visual_regression.py --update-snapshots -v # 后续运行对比基线 cd output pytest visual_regression.py -v # 差异超过阈值 → 测试失败 # UI 改版后更新基线 cd output pytest visual_regression.py --update-snapshots -v核心就一个expect(page).to_have_screenshot()—— Playwright 原生支持截图对比。你只需要指定threshold像素差异阈值0.0-1.0越小越严格max_diff_pixels允许的最大差异像素数视觉回归的价值以前页面改版全靠人工肉眼检查。现在截图一对比差 10 个像素都能发现。CI集成新增一个 GitHub Actions workflow 串联所有测试代码提交 → GitHub Actions → MySQL/Redis → 启动前后端 → 5 类测试 → 上传报告5 类测试API 冒烟测试验证接口能不能通API 认证测试验证 Bearer Token 认证流程UI 登录测试验证前端登录流程视觉回归测试验证页面视觉一致性性能快速检查5 用户 10 秒轻量压测本地也可以跑./run_ci_tests.sh staging串联 5 类测试最后汇总通过率。测试全流程从需求到复盘前面的内容主要讲测试执行。但实际工作中测试不只是跑脚本。从拿到需求到测试完成复盘整个流程都可以用 Skills 覆盖。注意这一章标注了每个环节的实现方式。有些可以一行命令跑✅有些需要 Cursor AI 辅助。5.1 需求阶段先搞清楚测什么 SKILL 文档拿到需求文档别急着写用例。先在 Cursor Chat 里requirement-modeling/SKILL.md 这是产品需求文档粘贴内容 --- 用户可以在个人中心修改头像、昵称、签名。 头像支持 JPG/PNG最大 5MB。 昵称 2-20 字符不支持特殊符号。 --- 帮我拆解测试需求列出测试范围和优先级。AI 会输出测试范围、优先级、不测的范围、待确认事项。先确认模糊点再写用例避免盲目测试。5.2 准备阶段自动造数据 ✅ 已实现测试前准备数据太耗时。用data_factory一行命令生成./generate.sh templates/data_factory.md cd output python data_factory.py它会连接测试数据库按 spec 里的配置插入数据。支持顺序递增、随机选择、随机数值、随机日期跨表关联ref(users.id)特殊行边界值、异常数据安全检查拒绝向生产库写入5.3 执行阶段跑脚本 ✅ 已实现常规功能测试用前面的方法跑 pytest。专项测试也有对应的模板性能压测./generate.sh templates/perf_test.md cd output locust -f perf_test.py --headless -u 10 -r 2 -t 30s视觉回归./generate.sh templates/visual_regression.md cd output pytest visual_regression.py --update-snapshots -v复杂业务逻辑requirement-modeling/SKILL.md testcase-skills/generator/SKILL.md 帮我生成订单支付接口的完整测试用例CI 自动跑git push # 触发CI5 类测试自动跑5.4 复盘阶段失败分析 覆盖率反推 SKILL 文档测试跑完有失败在 Cursor Chat 里defect-analysis/SKILL.md 帮我分析这些失败用例。 测试报告在 results.xml日志在 logs/ 目录。AI 会做失败分类、缺陷去重、覆盖率反推输出分析报告。把分析结果反馈给 testcase-skills下次生成用例时自动覆盖盲区。全流程串联需求文档 → requirement-modeling 拆解范围 → data-factory ✅准备数据 → testcase-skills 生成用例 → api-skills / UI-skills 执行测试 → special-testing ✅ 部分性能压测、视觉回归等 → CI 自动跑 ✅5 类测试串联 → defect-analysis 失败分析 覆盖率反推 → testcase-skills 补充盲区下一轮✅ 一行命令能跑的造数、性能压测、视觉回归、API/UI测试脚本生成、CI 串联 需要 AI 辅助的需求拆解、用例设计、缺陷分析、覆盖率反推这不是银弹这套东西解决的是重复劳动问题。它不替代测试设计不替代人工探索性测试不替代性能测试和安全测试。它做的事情很具体把常见的 API测试和 UI测试从手写代码变成写 spec → 生成脚本。省下来的时间拿去干更重要的事。它做不到的不能替代你对业务的理解。需求模糊时先找产品确认别指望 AI 猜不能替代探索性测试。脚本只能验证已知的未知的 bug 还得靠人肉探索不能替代专业工具。真正的性能压测用 JMeter/Locust安全扫描用 BurpSuite/AWVS这些 skill 只是生成基础脚本requirement-modeling 和 defect-analysis 目前只有 SKILL 文档需要 Cursor AI 辅助使用不能一行命令跑它做得好的快速验证接口能不能跑把测试规范变成 AI 能读懂的文档减少重复写 pytest 脚本的时间让团队测试风格一致因为 AI 读的是同一套 SKILL.md造数、性能压测、视觉回归可以一行命令生成可跑脚本CI集成让测试不再依赖人工触发项目地址~/ai-test-system/skills-专业版/或者从我的 Cursor 技能包里直接打开。有问题随时交流。作者测试老兵周周14年测试经验专注 AI测试和自动化测试。