当前位置: 首页 > news >正文

pytestx容器化执行引擎

系统架构

前端、后端、pytest均以Docker容器运行服务,单独的容器化执行引擎,项目环境隔离,即用即取,用完即齐,简单,高效。

  • 前端容器:页面交互,请求后端,展示HTML报告

  • 后端容器:接收前端请求,启动任务,构建镜像,触发运行pytest,挂载HTML报告

  • pytest容器:拉取项目代码,指定目录执行,生成HTML报告

说明:构建镜像目前是在宿主机启动后端服务来执行docker命令的,暂未支持Kubernetes编排。宿主机安装了Docker,启动服务后,可以执行docker命令。如果采用容器部署后端,容器里面不包含Docker,无法构建,个人想法是可以借助K8S来编排,当前版本还未实现

系统流程

支持2种运行模式配置:容器和本地。

容器模式:判断是否支持docker,如果支持,构建pytest镜像,在构建时,通过git拉取项目代码,再运行容器,按照指定目录执行pytest,生成测试报告,并将报告文件挂载到后端。如果不支持,降级为本地运行。

本地模式:模拟容器行为,在本地目录拉取代码,执行pytest,生成测试报告。

效果展示

任务管理:

容器模式:

本地模式:

平台大改造

pytestx平台更轻、更薄,移除了用例管理、任务关联用例相关功能代码,只保留真正的任务调度功能,backend的requirements.txt解耦,只保留后端依赖,pytest相关依赖转移到tep-project。

那如何管理用例呢?约定大于配置,我们约定pytest项目已经通过目录维护好了一个稳定的自动化用例集,也就是说需要通过平台任务调度的用例,都统一存放在目录X下,这些用例基本不需要维护,可以每日稳定执行,然后将目录X配置到平台任务信息中,按指定目录执行用例集。对于那些不够稳定的用例,就不能放到目录X下,需要调试好以后再纳入。

为什么不用marker?pytest的marker确实可以给测试用例打标记,也有人是手动建立任务和用例进行映射,这些方式都不如维护一个稳定的自动化用例集方便,在我们公司平台上,也是维护用例集,作为基础用例集。使用pytest项目同理。

核心代码

一键部署

#!/bin/bash
PkgName='backend'Dockerfile='./deploy/Dockerfile.backend'
DockerContext=./echo "Start build image..."
docker build -f $Dockerfile -t $PkgName $DockerContext
if [ $? -eq 0 ]
thenecho "Build docker image success"echo "Start run image..."docker run -p 8000:80 $PkgName
elseecho "Build docker image failed"
fi
FROM python:3.8ENV LANG C.UTF-8
ENV TZ=Asia/ShanghaiRUN /bin/cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo 'Asia/Shanghai' >/etc/timezoneWORKDIR /app
COPY ./backend .
RUN pip install -r ./requirements.txt -i \https://pypi.tuna.tsinghua.edu.cn/simple \--default-timeout=3000CMD ["python", "./manage.py", "runserver", "0.0.0.0:80"]

数据库表

更精简,只有project和task两张表,简化平台功能,聚焦任务调度:

需要说明的是,如果多人运行任务,只会存储最后一次执行结果,这个问题不是核心,个人精力有限,不打算在开源项目中开发,更侧重于实现任务调度,供大家参考

执行任务

settings配置任务模式,判断执行不同分支:

def run(self):logger.info("任务开始执行")if settings.TASK_RUN_MODE == TaskRunMode.DOCKER:  # 容器模式try:self.execute_by_docker()except Exception as e:logger.info(e)if e == TaskException.DockerNotSupportedException:logger.info("降级为本地执行")self.execute_by_local()if settings.TASK_RUN_MODE == TaskRunMode.LOCAL:  # 本地模式self.execute_by_local()self.save_task()

容器模式

先根据docker -v命令判断是否支持docker,然后docker build,再docker run

def execute_by_docker(self):logger.info("运行模式:容器")output = subprocess.getoutput("docker -v")logger.info(output)if "not found" in output:raise TaskException.DockerNotSupportedExceptionbuild_args = [f'--build-arg CMD_GIT_CLONE="{self.cmd_git_clone}"',f'--build-arg GIT_NAME="{self.git_name}"',f'--build-arg EXEC_DIR="{self.exec_dir}"',f'--build-arg REPORT_NAME="{self.report_name}"',]cmd = f"docker build {' '.join(build_args)} -f {self.dockerfile_pytest} -t {self.git_name} {BASE_DIR}"logger.info(cmd)output = subprocess.getoutput(cmd)logger.info(output)cmd = f"docker run -v {REPORT_PATH}:/app/{os.path.join(self.exec_dir, 'reports')} {self.git_name}"logger.info(cmd)output = subprocess.getoutput(cmd)logger.info(output)

将项目仓库、执行目录、报告名称信息,通过参数传入Dockerfile.pytest

FROM python:3.8ENV LANG C.UTF-8
ENV TZ=Asia/Shanghai
ARG CMD_GIT_CLONE
ARG GIT_NAME
ARG EXEC_DIR
ARG REPORT_NAMERUN /bin/cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo 'Asia/Shanghai' >/etc/timezoneWORKDIR /app
RUN $CMD_GIT_CLONE
RUN pip install -r ./$GIT_NAME/requirements.txt -i \https://pypi.tuna.tsinghua.edu.cn/simple \--default-timeout=3000WORKDIR $EXEC_DIR
ENV HTML_NAME=$REPORT_NAME
CMD ["pytest", "--html=./reports/$HTML_NAME", "--self-contained-html"]

docker run的-v参数将容器报告挂载在后端服务,当报告生成后,后端服务也会生成一份报告文件。再将文件内容返给前端展示:

def report(request, *args, **kwargs):task_id = kwargs["task_id"]task = Task.objects.get(id=task_id)report_path = task.report_pathwith open(os.path.join(REPORT_PATH, report_path), 'r', encoding="utf8") as f:html_content = f.read()return HttpResponse(html_content, content_type='text/html')

测试报告使用的pytest-html,重数据内容,轻外观样式。

本地模式

模拟容器行为,把本地.local目录当做容器,拉代码,执行pytest,生成报告,复制报告到报告文件夹,删除本地目录:

def execute_by_local(self):logger.info("运行模式:本地")os.makedirs(self.local_path, exist_ok=True)os.chdir(self.local_path)cmd_list = [self.cmd_git_clone, self.cmd_pytest]for cmd in cmd_list:logger.info(cmd)output = subprocess.getoutput(cmd)if output:logger.info(output)os.makedirs(REPORT_PATH, exist_ok=True)shutil.copy2(self.project_report_path, REPORT_PATH)shutil.rmtree(LOCAL_PATH)

本地模式,主要用于本地调试,在缺失Docker环境时,也能调试其他功能。

配置

TASK_RUN_MODE = TaskRunMode.DOCKER
LOCAL_PATH = os.path.join(BASE_DIR, ".local")
REPORT_PATH = os.path.join(BASE_DIR, "task", "report")
class TaskRunner:def __init__(self, task_id, run_user_id):self.task_id = task_idself.directory = Task.objects.get(id=task_id).directoryself.project_id = Task.objects.get(id=task_id).project_idself.git_repository = Project.objects.get(id=self.project_id).git_repositoryself.git_branch = Project.objects.get(id=self.project_id).git_branchself.git_name = re.findall(r"^.*/(.*).git", self.git_repository)[0]self.local_path = os.path.join(LOCAL_PATH, str(uuid.uuid1()).replace("-", ""))self.run_user_id = run_user_idself.current_time = time.strftime("%Y-%m-%d-%H-%M-%S", time.localtime(time.time()))self.report_name = f"{str(self.git_name)}-{self.task_id}-{self.run_user_id}-{self.current_time}.html"self.project_report_path = os.path.join(self.local_path, self.git_name, "reports", self.report_name)self.dockerfile_pytest = os.path.join(DEPLOY_PATH, "Dockerfile.pytest")self.exec_dir = os.path.join(self.git_name, self.directory)self.cmd_git_clone = f"git clone -b {self.git_branch} {self.git_repository}"self.cmd_pytest = f"pytest {self.exec_dir} --html={self.project_report_path} --self-contained-html"

tep-project更新

1、整合fixture,功能类放在fixture_function模块,数据类放在其他模块,突出fixture存放数据概念,比如登录接口fixture_login存储用户名密码、数据库fixture_mysql存储连接信息、文件fixture_file_data存储文件路径

2、改造fixture_login,数据类fixture代码更简洁

import pytest
from loguru import logger@pytest.fixture(scope="session")
def login(http, file_data):logger.info("----------------开始登录----------------")response = http("post",url=file_data["domain"] + "/api/users/login",headers={"Content-Type": "application/json"},json={"username": "admin", "password": "qa123456"})assert response.status_code < 400logger.info("----------------登录成功----------------")response = response.json()return {"Content-Type": "application/json", "Authorization": f"Bearer {response['token']}"}@pytest.fixture(scope="session")
def login_xdist(http, tep_context_manager, file_data):"""该login只会在整个运行期间执行一次"""def produce_expensive_data(variable):logger.info("----------------开始登录----------------")response = http("post",url=variable["domain"] + "/api/users/login",headers={"Content-Type": "application/json"},json={"username": "admin", "password": "qa123456"})assert response.status_code < 400logger.info("----------------登录成功----------------")return response.json()response = tep_context_manager(produce_expensive_data, file_data)return {"Authorization": "Bearer " + response["token"]}

3、改造fixture_mysql,支持维护多个连接,并且保持简洁

fixture_function.py

@pytest.fixture(scope="class")
def executor():class Executor:def __init__(self, db):self.db = dbself.cursor = db.cursor()def execute_sql(self, sql):try:self.cursor.execute(sql)self.db.commit()except Exception as e:print(e)self.db.rollback()return self.cursorreturn Executor

fixture_mysql.py

@pytest.fixture(scope="class")
def mysql_execute(executor):db = pymysql.connect(host="host",port=3306,user="root",password="password",database="database")yield executor(db).execute_sqldb.close()@pytest.fixture(scope="class")
def mysql_execute_x(executor):db = pymysql.connect(host="x",port=3306,user="x",password="x",database="x")yield executor(db).execute_sqldb.close()

4、改造fixture_file_data,并添加示例test_file_data.py

import osimport pytestfrom conftest import RESOURCE_PATH@pytest.fixture(scope="session")
def file_data(resource):file_path = os.path.join(RESOURCE_PATH, "demo.yaml")return resource(file_path).get_data()@pytest.fixture(scope="session")
def file_data_json(resource):file_path = os.path.join(RESOURCE_PATH, "demo.json")return resource(file_path).get_data()

5、添加接口复用的示例代码

tests/base就是平台调度使用的稳定自动化用例集。

接口代码复用设计

5条用例:

  1. test_search_sku.py:搜索商品,前置条件:登录

  2. test_add_cart.py:添加购物车,前置条件:登录,搜索商品

  3. test_order.py:下单,前置条件:登录,搜索商品,添加购物车

  4. test_pay.py:支付,前置条件:登录,搜索商品,添加购物车,下单

  5. test_flow.py:完整流程

怎么设计?

  • 登录,每条用例前置条件都依赖,定义为fixture_login,放在fixtures目录下

  • 搜索商品,test_search_sku.py用例本身不需要复用,被前置条件依赖3次,可以复用

①定义为fixture_search_sku放在fixtures❌ 弊端:导致fixtures臃肿

②复制用例文件,允许多份代码,平行展开✅ 好处:高度解耦,不用担心依赖问题

总结,定义为fixture需要具备底层性,足够精炼。对于业务接口用例的前置条件,尽量在用例文件内部处理,保持文件解耦,遵循独立可运行的原则。

复制多份文件?需要修改的话要改多份文件?

是的,但这种情况极少。我能想到的情况:一、框架设计不成熟,动了底层设计,二、接口不稳定,改了公共接口,三、用例设计不合理,不能算是自动化。接口自动化要做好的前提,其实就是框架成熟,接口稳定,用例设计合理,满足这些前提以后,沉淀下来的自动化用例,几乎不需要大批量修改,更多的是要针对每条用例,去修改内部的数据,以满足不同场景的测试需要。也就是说,针对某个用例修改这个用例的数据,是更常见的行为。

如果项目变动实在太大,整个自动化都不能用了,不管是做封装还是平行展开,维护量都非常大,耦合度太高的话,反而还不好改。

跟着pytestx学习接口自动化框架设计,更简单,更快速,更高效

https://github.com/dongfanger/pytestx

https://gitee.com/dongfanger/tep-project

相关文章:

pytestx容器化执行引擎

系统架构 前端、后端、pytest均以Docker容器运行服务&#xff0c;单独的容器化执行引擎&#xff0c;项目环境隔离&#xff0c;即用即取&#xff0c;用完即齐&#xff0c;简单&#xff0c;高效。 前端容器&#xff1a;页面交互&#xff0c;请求后端&#xff0c;展示HTML报告 后…...

(动态规划) 剑指 Offer 42. 连续子数组的最大和 ——【Leetcode每日一题】

❓ 剑指 Offer 42. 连续子数组的最大和 难度&#xff1a;简单 输入一个整型数组&#xff0c;数组中的一个或连续多个整数组成一个子数组。求所有子数组的和的最大值。 要求时间复杂度为 O(n)。 示例1: 输入: nums [-2,1,-3,4,-1,2,1,-5,4] 输出: 6 解释: 连续子数组 [4,-1…...

OLED透明屏曲面技术:创新突破引领显示行业未来

OLED透明屏曲面技术作为一项重要的显示技术创新&#xff0c;正在成为显示行业的焦点&#xff0c;其引人注目的优势和广泛应用领域使其备受关注。 本文将详细介绍OLED透明屏曲面技术的优势、应用领域以及市场前景&#xff0c;同时展望其未来的发展趋势&#xff0c;以期带给读者…...

视频云存储/安防监控EasyCVR视频汇聚平台分发rtsp流时,出现“用户已过期”提示该如何解决?

视频云存储/安防监控EasyCVR视频汇聚平台基于云边端智能协同&#xff0c;支持海量视频的轻量化接入与汇聚、转码与处理、全网智能分发、视频集中存储等。音视频流媒体视频平台EasyCVR拓展性强&#xff0c;视频能力丰富&#xff0c;具体可实现视频监控直播、视频轮播、视频录像、…...

调用paddleocr接口实现文本检测与识别,并在图像中显示识别结果

目录 一、按照官网步骤安装paddlepaddle和paddleocr(paddlepaddle我安装的是cpu版本) 二、运行下面的脚本 三、图像结果 一、按照官网步骤安装paddlepaddle和paddleocr(paddlepaddle我安装的是cpu版本) doc/doc_ch/quickstart.md PaddlePaddle/PaddleOCR - Gitee.com 二、…...

如何提升winform程序性能

提升WinForms程序性能是一个关键的优化任务&#xff0c;以下是一些可以帮助你提升性能的方法&#xff1a; 1. **UI延迟加载&#xff1a;** 如果你的WinForms界面很复杂&#xff0c;可以考虑将不必要的UI元素延迟加载&#xff0c;只在需要时加载&#xff0c;以减少启动时间和内…...

按钮权限控制

搜索关键字&#xff1a; 自定义指令传参| "自定义指令""dataset"|自定义指令dataset| "Vue""directives"|vue按钮权限实现 1、完整代码&#xff1a; <template> <div> <el-breadcrumb separator-class"el-icon…...

【脚本式设置环境变量】

在linux系统中&#xff0c;如果我打开一个软件需要如下操作&#xff0c;那将会是一件很麻烦的事情 cd dir #软件的文件路径 conda deactivate conda activate chatgpt python main.py【首先写一个chatgpt.sh脚本内容如下】 #!/bin/bash cd dir conda run -n chatgpt python m…...

软件开发bug问题跟踪与管理

一、Redmine 项目管理和缺陷跟踪工具 官网&#xff1a;https://www.redmine.org/ Redmine 是一个开源的、基于 Web 的项目管理和缺陷跟踪工具。它用日历和甘特图辅助项目及进度可视化显示&#xff0c;同时它又支持多项目管理。Redmine 是一个自由开源软件解决方案&#xff0c;…...

springboot+mp完成简单案例

目录 1.框架搭建 2.前端搭建 3.后端编写 需求&#xff1a;完成简单的连表条件查询以及添加即可 1.框架搭建 1.创建springboot项目 2.相关依赖 <!--web依赖--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boo…...

cuml机器学习GPU库 sklearn升级版AutoDL使用

CUML库 最近在做机器学习任务的时候发现我自己的数据集太大&#xff0c;直接用sklearn 跑起来时间很长&#xff0c;然后问GPT得知了有CUML库&#xff0c;后来去研究了一下&#xff0c;发现这个库只支持linux系统&#xff0c;从官网直接获取下载命令基本上也实现不了最后&#…...

C语言练习题Day1

从今天开始分享C语言的练习题&#xff0c;每天都分享&#xff0c;差不多持续16天&#xff0c;看完对C语言的理解可能更进一步&#xff0c;让我们开始今天的分享吧&#xff01; 题目一 执行下面的代码&#xff0c;输出结果是&#xff08;&#xff09; int x5,y7; void swap()…...

使用kubeadm安装和设置Kubernetes(k8s)

用kubeadm方式搭建K8S集群 kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。 这个工具能通过两条指令完成一个kubernetes集群的部署&#xff1a; # 创建一个 Master 节点 kubeadm init# 将一个 Node 节点加入到当前集群中 kubeadm join <Master节点的IP和端口…...

Docker安装延迟队列插件

下载插件地址&#xff1a;https://www.rabbitmq.com/community-plugins.html 插件上传服务器 选择跟我们rabbitmq版本一致或者小于的插件即可。版本可在web管理首页查看。 将下载的插件上传到Linux系统上&#xff0c;使用 docker 命令将插件复制到容器内部 plugins目录下 do…...

推荐前 6 名 JavaScript 和 HTML5 游戏引擎

推荐&#xff1a;使用 NSDT场景编辑器 助你快速搭建3D应用场景 事实是&#xff0c;自从引入JavaScript WebGL API以来&#xff0c;现代浏览器具有直观的功能&#xff0c;使它们能够渲染更复杂和复杂的2D和3D图形&#xff0c;而无需依赖第三方插件。 你可以用纯粹的JavaScript开…...

【Django】 Task5 DefaultRouter路由组件和自定义函数

文章目录 【Django】 Task5 DefaultRouter路由组件和自定义函数1.路由组件1.1路由组件介绍1.2SimpleRouter1.3DefaultRouter1.4DefaultRouter示例1.5查看访问服务接口url 2.自定义函数 【Django】 Task5 DefaultRouter路由组件和自定义函数 Task5 主要了解了DefaultRouter路由…...

Git拉取分支、基于主分支创建新的开发分支、合并开发分支到主分支、回退上一次的merge操作

系列文章目录 第1章 Git拉取分支、基于主分支创建新的开发分支、合并开发分支到主分支、回退上一次的merge操作 文章目录 系列文章目录一、拉取分支二、如何从master分支创建一个dev分支三、如何将dev分支合并到master分支四、如何回退上一次的merge 一、拉取分支 项目文件夹…...

SpringBoot实现定时任务操作及cron在线生成器

spring根据定时任务的特征&#xff0c;将定时任务的开发简化到了极致。怎么说呢&#xff1f;要做定时任务总要告诉容器有这功能吧&#xff0c;然后定时执行什么任务直接告诉对应的bean什么时间执行就行了&#xff0c;就这么简单&#xff0c;一起来看怎么做 步骤①&#xff1a;…...

数据结构(Java实现)-栈和队列

栈&#xff1a;一种特殊的线性表&#xff0c;其只允许在固定的一端进行插入和删除元素操作。 先进后出 栈的使用 栈的模拟实现 上述的主要代码 public class MyStack {private int[] elem;private int usedSize;public MyStack() {this.elem new int[5];}Overridepublic …...

毕业季如何做好IT技术面试

在IT技术面试过程中&#xff0c;面试者需要展示多个方面的能力和素质&#xff0c;以确保其能够成功地适应公司的文化和环境&#xff0c;并为公司的发展做出贡献。本文将详细介绍IT技术面试的各个方面&#xff0c;并给出建议和指导。 简历和求职信 简历和求职信是面试官了解面…...

Flask RESTful 示例

目录 1. 环境准备2. 安装依赖3. 修改main.py4. 运行应用5. API使用示例获取所有任务获取单个任务创建新任务更新任务删除任务 中文乱码问题&#xff1a; 下面创建一个简单的Flask RESTful API示例。首先&#xff0c;我们需要创建环境&#xff0c;安装必要的依赖&#xff0c;然后…...

Zustand 状态管理库:极简而强大的解决方案

Zustand 是一个轻量级、快速和可扩展的状态管理库&#xff0c;特别适合 React 应用。它以简洁的 API 和高效的性能解决了 Redux 等状态管理方案中的繁琐问题。 核心优势对比 基本使用指南 1. 创建 Store // store.js import create from zustandconst useStore create((set)…...

【JVM】- 内存结构

引言 JVM&#xff1a;Java Virtual Machine 定义&#xff1a;Java虚拟机&#xff0c;Java二进制字节码的运行环境好处&#xff1a; 一次编写&#xff0c;到处运行自动内存管理&#xff0c;垃圾回收的功能数组下标越界检查&#xff08;会抛异常&#xff0c;不会覆盖到其他代码…...

2.Vue编写一个app

1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template> <!--html--> </template>…...

高防服务器能够抵御哪些网络攻击呢?

高防服务器作为一种有着高度防御能力的服务器&#xff0c;可以帮助网站应对分布式拒绝服务攻击&#xff0c;有效识别和清理一些恶意的网络流量&#xff0c;为用户提供安全且稳定的网络环境&#xff0c;那么&#xff0c;高防服务器一般都可以抵御哪些网络攻击呢&#xff1f;下面…...

大学生职业发展与就业创业指导教学评价

这里是引用 作为软工2203/2204班的学生&#xff0c;我们非常感谢您在《大学生职业发展与就业创业指导》课程中的悉心教导。这门课程对我们即将面临实习和就业的工科学生来说至关重要&#xff0c;而您认真负责的教学态度&#xff0c;让课程的每一部分都充满了实用价值。 尤其让我…...

初探Service服务发现机制

1.Service简介 Service是将运行在一组Pod上的应用程序发布为网络服务的抽象方法。 主要功能&#xff1a;服务发现和负载均衡。 Service类型的包括ClusterIP类型、NodePort类型、LoadBalancer类型、ExternalName类型 2.Endpoints简介 Endpoints是一种Kubernetes资源&#xf…...

深入浅出Diffusion模型:从原理到实践的全方位教程

I. 引言&#xff1a;生成式AI的黎明 – Diffusion模型是什么&#xff1f; 近年来&#xff0c;生成式人工智能&#xff08;Generative AI&#xff09;领域取得了爆炸性的进展&#xff0c;模型能够根据简单的文本提示创作出逼真的图像、连贯的文本&#xff0c;乃至更多令人惊叹的…...

Python网页自动化Selenium中文文档

1. 安装 1.1. 安装 Selenium Python bindings 提供了一个简单的API&#xff0c;让你使用Selenium WebDriver来编写功能/校验测试。 通过Selenium Python的API&#xff0c;你可以非常直观的使用Selenium WebDriver的所有功能。 Selenium Python bindings 使用非常简洁方便的A…...

32单片机——基本定时器

STM32F103有众多的定时器&#xff0c;其中包括2个基本定时器&#xff08;TIM6和TIM7&#xff09;、4个通用定时器&#xff08;TIM2~TIM5&#xff09;、2个高级控制定时器&#xff08;TIM1和TIM8&#xff09;&#xff0c;这些定时器彼此完全独立&#xff0c;不共享任何资源 1、定…...