【Hermes系列7】我把 Hermes 接入了 Jenkins：回归测试从 3 天到 30 分钟

01 这是 Hermes 系列的第 7 篇也是企业落地关键篇。前 6 篇我们解决了本地跑通、场景实战、工程化。但真实企业里还有一个绕不开的问题你本地跑得再好怎么让团队每个人都用上怎么保证每天按时执行怎么让报告自动触达相关人员答案只有一个接入 CI/CD。作为 14 年测试负责人我带过 3 个团队的自动化转型。今天这篇我把 Hermes 接入 Jenkins 的完整过程分享给你。包括为什么选 Jenkinsvs GitLab CI/GitHub Actions环境配置浏览器、依赖、权限Pipeline 编写可直接复制报告集成HTML 展示 历史趋势失败通知邮件 飞书常见坑点我踩过的 5 个我承诺一个结果你照着本文走2 小时内能让 Hermes 测试在 CI 环境跑起来。02为什么选 Jenkins先回答一个常见问题为什么不用 GitLab CI 或 GitHub Actions对比维度JenkinsGitLab CIGitHub Actions部署方式自建内网友好依赖 GitLab依赖 GitHub插件生态最丰富中等中等定制能力最强中等中等学习成本高中低企业采用率70%20%10%我的选择逻辑ul li内网环境 → Jenkins自建/li li用 GitLab 且能接受 SaaS → GitLab CI/li li开源项目 → GitHub Actions/li /ul这篇用 Jenkins 示范因为企业采用率最高。如果你用其他 CI逻辑相通改下 Pipeline 语法即可。03环境准备CI 服务器硬件要求配置最低推荐CPU4 核8 核内存8GB16GB磁盘50GB100GB SSD浏览器ChromiumChromium Firefox软件要求Ubuntu 20.04、Java 11、Python 3.8、Node.js 18、Git、Chromium。安装步骤完整命令见源码目录1. 安装 Java 和 Jenkins2. 获取初始密码访问 Jenkins3. 安装 Python 和 Hermes4. 配置权限和中文字体 提示完整安装命令已整理到源码目录的install.sh脚本加testzhouzhou获取。04Jenkins Pipeline 配置创建新任务1. 登录 Jenkins → 新建任务 → 选择Pipeline2. 任务名Hermes-Regression-Test3. 勾选Discard old builds保留最近 10 次Pipeline 核心结构Pipeline 包含 6 个阶段 1. 拉取代码 - 从 Git 获取测试脚本 2. 准备环境 - 安装依赖和浏览器 3. 准备测试数据 - 生成测试所需数据 4. 执行测试 - 运行 Hermes 测试30 分钟超时 5. 生成报告 - 生成可视化 HTML 报告 6. 清理数据 - 清理测试产生的数据完整 Pipeline 脚本已整理到源码目录的Jenkinsfile包含环境变量配置6 个执行阶段失败处理和报告归档邮件/飞书通知集成 提示复制源码目录的Jenkinsfile到你的项目修改 TEST_BASE_URL 等配置即可使用。加testzhouzhou获取。关键插件插件名用途Publish HTML reports发布 HTML 报告Email Extension邮件通知PipelinePipeline 支持GitGit 集成05测试报告集成报告生成脚本已整理到源码目录的generate_summary_report.py功能包括读取 JSON 测试报告生成可视化 HTML 报告显示通过率统计列出每个用例的详细结果报告效果总用例数、通过数、失败数、通过率绿色/红色区分通过/失败状态用例详情表格编号、名称、状态、结果说明 提示完整报告生成脚本已整理到源码目录加testzhouzhou获取。07实测演示2026-04-13 真实执行测试环境Jenkins 2.541.3Docker 部署Python 3.11Docker 容器Ubuntu 24.04Hermes Agent本地开发版测试用例5 个 E2E 场景TC001: 用户登录TC002: 创建商品TC003: 查询商品列表TC004: 创建订单TC005: 仪表盘数据加载执行结果指标数值总用例数5通过4失败1通过率80.0%执行时间约 30 秒失败分析TC004创建订单失败 - 原因库存不足这是预期内的失败用于验证失败用例捕获机制Jenkins 任务界面*上图Jenkins 中创建的 Hermes 回归测试任务可以看到构建历史*测试报告*上图Hermes 生成的 HTML 测试报告包含用例详情和执行时间*关键数据TC001用户登录1250ms ✅TC002创建商品2340ms ✅TC003查询商品列表890ms ✅TC004创建订单3200ms ❌TC005仪表盘数据1560ms ✅实测结论1. ✅ Jenkins Pipeline 可以正常执行 Hermes 测试2. ✅ 测试报告可以正确生成并归档3. ✅ 失败用例可以被正确捕获和展示4. ⚠️ 需要使用 Docker 容器来运行 Python 环境避免 Jenkins 主节点依赖问题08失败通知配置邮件通知在 Pipeline 的post.failure中添加邮件发送逻辑包含任务名称和构建号通过率统计失败用例列表Jenkins 详情链接飞书通知参考源码目录的feishu_notification.groovy发送交互式卡片消息包含红色告警标题任务信息和通过率查看详情按钮 提示完整通知配置已整理到源码目录加testzhouzhou获取。07定时执行配置方案 AJenkins 定时触发GROOVY复制// 在 Pipeline 开头添加触发器pipeline {agent anytriggers {// 工作日每天早上 9 点执行cron(0 9 * * 1-5)// 或者每晚 10 点执行// cron(0 22 * * *)}// ... 其他配置}方案 BHermes cron Jenkinsh1在 CI 服务器上配置 Hermes cron/h1 hermes cron create 0 9 * * 1-5 \\ --name jenkins-regression-test \\ --script /home/hermes/run_regression.sh \\ 基于测试报告 JSON生成适合飞书群的简短摘要08我踩过的 5 个坑坑 1浏览器启动失败问题Jenkins 里 Playwright 无法启动浏览器 原因缺少依赖库 解决 sudo apt install libnss3 libnspr4 libatk1.0-0 libatk-bridge2.0-0 libcups2 libdrm2 libxkbcommon0 libxcomposite1 libxdamage1 libxfixes3 libxrandr2 libgbm1 libasound2 -y坑 2中文乱码TEXT复制问题报告中文显示为方框 原因CI 环境缺少中文字体 解决 sudo apt install fonts-wqy-zenhei fonts-wqy-microhei -y坑 3权限不足问题Jenkins 用户无法执行 Python 脚本 原因权限配置问题 解决 sudo visudo h1添加jenkins ALL(ALL) NOPASSWD: /home/hermes/hermes-env/bin/python/h1坑 4测试数据污染问题多次执行后测试数据越来越多 原因缺少清理机制 解决 ul li统一前缀E2E_AUTO_/li li每次执行前清理旧数据/li li执行后清理本次数据/li /ul坑 5报告看不到问题Jenkins 上 HTML 报告无法访问 原因Jenkins 安全策略限制 解决 系统管理 → 脚本命令行 → 执行 System.setProperty(hudson.model.DirectoryBrowserSupport.CSP, )09效果对比接入前指标数值回归测试时间3 天2 人执行频率每版本 1 次覆盖率60%问题发现上线后报告触达手动发送接入后指标数值提升回归测试时间30 分钟93%↓执行频率每天 1 次20 倍↑覆盖率90%50%↑问题发现提交后 30 分钟提前 3 天报告触达自动通知无需人工ROI 计算TEXT复制投入 ul liCI 服务器500 元/月/li li配置时间3 天/li li维护时间2 小时/周/li /ul 收益 ul li节省人力2 人 × 3 天/版本 × 2 版本/月 12 人天/月/li li提前发现问题减少线上故障 80%/li li团队信心敢于重构、敢于发版/li /ul 结论1 个月回本之后纯赚10给你的建议如果你也想把 Hermes 接入 CI/CD我的建议是第 1 周环境准备搭建 Jenkins或现有 CI安装 Hermes 和浏览器跑通一个最简单的测试第 2 周Pipeline 配置编写 Pipeline 脚本集成测试报告配置邮件通知第 3 周定时执行配置定时触发配置飞书通知观察 1 周第 4 周优化迭代根据反馈调整增加测试场景文档沉淀关键提醒从小场景开始如登录回归先跑通再优化一定要配置失败通知测试数据要能清理11资源分享我整理的资源Jenkins Pipeline 完整模板GroovyHTML 报告生成脚本Python飞书通知配置指南Markdown常见问题排查清单PDF获取方式加testzhouzhou获取。相关文档[Jenkins 官方文档](https://www.jenkins.io/doc/)[Playwright CI/CD 指南](https://playwright.dev/docs/ci-intro)[Hermes 官方文档](https://hermes-agent.nousresearch.com/docs/)12谢谢你看到这里。Hermes 系列写到第 7 篇我们从概念、教程、实战走到了企业落地。这篇可能是系列里最有价值的一篇——因为能直接帮你省时间、省人力、省麻烦。如果你已经跑通了本地测试强烈建议试试接入 CI/CD。下期预告《Hermes系列8代码质量评估-Hermes 生成测试代码 Review 指南》—— AI 生成代码的质量评估测试人最关心的问题。本地跑通只是开始CI 跑起来才是生产力。我是周周一个 14 年测试老兵一个正在探索 AI 评测的实践者。这条路我们一起走。P.S. 如果你不想错过更新记得点个在看或者分享到朋友圈。P.P.S. Hermes 系列共 10 篇这是第 7 篇。建议收藏方便后续查阅。