深入浅出 Python Testcontainers:用容器优雅地编写集成测试
在现代软件开发中,自动化测试已成为敏捷开发与持续集成中的关键环节。单元测试可以快速验证函数或类的行为是否符合预期,而集成测试则确保多个模块协同工作时依然正确。问题是:如何让集成测试可靠、可重复且易于维护?
这时,Python 的 Testcontainers 库登场了。它结合了 Docker 和 Python 的强大能力,让你可以在测试中启动数据库、消息队列或其他服务的容器,并与之交互。无需再手动部署测试环境,真正实现“一次运行,到处测试”。
本文将从以下几个方面系统介绍 Testcontainers:
- 为什么需要 Testcontainers?
- Testcontainers 核心原理
- 安装与基本用法
- 支持的容器类型及高级特性
- 实践案例:测试依赖 PostgreSQL 的应用
- 与 pytest 集成
- 常见问题与最佳实践
- 总结与发展方向
一、为什么我们需要 Testcontainers?
在集成测试中,我们常常遇到如下问题:
- 测试环境复杂且脆弱:测试数据库或 Redis 服务运行在特定机器,难以管理。
- 环境不一致导致测试失败:开发机、CI、线上测试环境版本不一致,测试结果不同。
- 测试污染问题:多个测试共享同一个数据库,互相污染数据。
传统解决方案如使用 Mock 或 Stub 无法真正验证外部系统交互的正确性。我们需要一个能自动启动、隔离、销毁测试依赖环境的工具,这就是 Testcontainers 的优势。
Testcontainers 提供“真实”依赖服务(如数据库、消息队列)的 Docker 容器,自动化地创建和销毁它们,从而实现可重复、可靠、独立的集成测试。
二、Testcontainers 的原理
Testcontainers 使用 Python 对 Docker SDK 的封装,在测试用例执行前自动启动容器,并在测试完成后销毁容器。其原理如下:
- 读取所需镜像与配置(如数据库、端口等)
- 使用 Docker 创建容器
- 等待服务健康检查通过(如端口可连接)
- 暴露服务连接信息(如 host, port, 用户名等)供测试使用
- 测试完成后销毁容器
你无需关心如何配置数据库、启动服务、清理测试数据等底层细节,Testcontainers 帮你搞定一切。
三、安装与入门示例
安装
pip install testcontainers
前提是你已在本机安装 Docker 并已启动服务。
入门示例:PostgreSQL 测试容器
from testcontainers.postgres import PostgresContainer
import psycopg2def test_postgres_connection():with PostgresContainer("postgres:15") as postgres:conn = psycopg2.connect(host=postgres.get_container_host_ip(),port=postgres.get_exposed_port(5432),user=postgres.USER,password=postgres.PASSWORD,dbname=postgres.DB)cur = conn.cursor()cur.execute("SELECT 1;")assert cur.fetchone()[0] == 1conn.close()
运行这个测试时,Testcontainers 会自动:
- 拉取 PostgreSQL 镜像(如果本地没有)
- 启动容器
- 等待端口开放
- 提供连接信息
- 在测试结束时销毁容器
如此轻松就构建了一个完全隔离的数据库测试环境。
四、支持的容器类型与功能
Testcontainers 提供了多种现成支持的服务容器模块,包括但不限于:
服务类型 | 模块名 |
---|---|
PostgreSQL | testcontainers.postgres |
MySQL | testcontainers.mysql |
Redis | testcontainers.redis |
MongoDB | testcontainers.mongodb |
Kafka | testcontainers.kafka |
Elasticsearch | testcontainers.elasticsearch |
此外,还支持:
- 自定义镜像容器(GenericContainer)
- 设置环境变量、端口映射、挂载卷等
- 健康检查与日志打印
- 使用容器网络
示例:自定义 Redis 容器
from testcontainers.redis import RedisContainer
import redisdef test_redis():with RedisContainer("redis:7") as redis_container:r = redis.Redis(host=redis_container.get_container_host_ip(),port=int(redis_container.get_exposed_port(6379)))r.set("key", "value")assert r.get("key") == b"value"
五、实战案例:测试依赖 PostgreSQL 的 Web 应用
假设你有一个使用 SQLAlchemy 和 FastAPI 构建的 Web 服务。数据库模型如下:
Base = declarative_base()class User(Base):__tablename__ = "users"id = Column(Integer, primary_key=True)username = Column(String, unique=True)
测试代码如下:
from testcontainers.postgres import PostgresContainer
from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
from myapp.models import Base, Userdef test_user_creation():with PostgresContainer("postgres:15") as postgres:db_url = postgres.get_connection_url()engine = create_engine(db_url)Base.metadata.create_all(engine)Session = sessionmaker(bind=engine)session = Session()user = User(username="alice")session.add(user)session.commit()assert session.query(User).count() == 1
这样你就完成了一个无污染、自动隔离的真实数据库测试。
六、与 pytest 集成
Testcontainers 完美支持 pytest
的使用习惯。你可以用 fixture 启动容器,复用连接配置。
import pytest
from testcontainers.postgres import PostgresContainer@pytest.fixture(scope="module")
def postgres_db():with PostgresContainer("postgres:15") as postgres:yield postgres.get_connection_url()
测试函数中使用:
def test_something(postgres_db):engine = create_engine(postgres_db)...
七、常见问题与最佳实践
1. 如何加快测试速度?
- 本地预拉镜像:
docker pull postgres:15
- 设置容器重用(支持后):避免每次拉起新容器
- 控制容器 scope,避免过度启动/销毁
2. 容器无法启动?
- 检查本地 Docker 是否启动
- 检查端口冲突、防火墙
- 使用
.with_log_level("DEBUG")
打印日志
3. 多容器依赖怎么办?
可使用 Docker Compose 模拟多容器协作。
from testcontainers.compose import DockerComposedef test_with_compose():with DockerCompose("/path/to/docker-compose.yml") as compose:assert compose.get_service_port("db", 5432) is not None
八、发展方向与总结
Testcontainers 源于 Java 社区,后扩展到 Python、Node.js、Go 等语言,是解决集成测试与依赖服务管理的现代利器。
其优势在于:
- 用最真实的服务容器替代 Mock
- 测试环境完全可控、易于复现
- 与 CI/CD 系统无缝集成
- 测试代码结构清晰、无环境耦合
对于需要测试数据库、Redis、消息队列、微服务交互等系统,Testcontainers 不啻为最佳选择。
后记
无论你是后端开发者、数据工程师,还是 DevOps 实践者,Testcontainers 都能帮你编写更稳定、可靠的测试代码。如果你还在为测试依赖环境而痛苦,不妨现在就试试 Testcontainers。
真正的测试环境,不再靠运气,而靠容器。
相关文章:
深入浅出 Python Testcontainers:用容器优雅地编写集成测试
在现代软件开发中,自动化测试已成为敏捷开发与持续集成中的关键环节。单元测试可以快速验证函数或类的行为是否符合预期,而集成测试则确保多个模块协同工作时依然正确。问题是:如何让集成测试可靠、可重复且易于维护? 这时&#…...

Cmake编译gflags过程记录和在QT中测试
由于在QT中使用PaddleOCR2.8存在这样那样的问题,查找貌似是gflags相关问题导致的,因此从头开始按相关参考文章编译一遍gflags源码,测试结果表明Qt5.14.2中使用MSVC2017X64编译器运行的QTgflags项目是正常。 详细编译步骤如下: 1、…...

项目中Warmup耗时高该如何操作处理
1)项目中Warmup耗时高该如何操作处理 2)如何在卸载资源后Untracked和Other的内存都回收 3)总Triangles的值是否包含了通过GPU Instancing画的三角形 4)有没有用Lua来修复虚幻引擎中对C代码进行插桩Hook的方案 这是第432篇UWA技术知…...

制作一款打飞机游戏53:子弹样式
现在,我们有一个小程序可以发射子弹,但这些子弹并不完美,我们稍后会修复它们。 子弹模式与目标 在开始之前,我想修正一下,因为我观察到在其他射击游戏中有一个我想复制的简单行为。我们有静态射击、瞄准射击和快速射击…...
Windows磁盘无法格式化及磁盘管理
简述:D盘使用了虚拟分区,结果导致无法格式化。 一、无法格式化磁盘 因为以前划分C盘的时候,空间划小了,所以在下载一些程序的依赖包之后爆红。当我想要把D盘的空间分给C盘时,发现D盘无法格式化。在网上没有找到合适的…...
每日算法 -【Swift 算法】Z 字形变换(Zigzag Conversion)详解与实现
Swift | Z 字形变换(Zigzag Conversion)详解与实现 🧩 题目描述 给定一个字符串 s 和一个行数 numRows,请按照从上往下、再从下往上的“Z”字形排列这个字符串,并按行输出最终结果。例如: 输入ÿ…...

Docker运维-5.3 配置私有仓库(Harbor)
1. harbor的介绍 Harbor(港湾),是一个用于存储和分发 Docker 镜像的企业级 Registry 服务器。以前的镜像私有仓库采用官方的 Docker Registry,不便于管理镜像。 Harbor 是由 VMWare 在 Docker Registry 的基础之上进行了二次封装,加进去了很…...

day 36
利用前面所学知识,对之前的信贷项目,利用神经网络训练 # 先运行之前预处理好的代码 import pandas as pd import pandas as pd #用于数据处理和分析,可处理表格数据。 import numpy as np #用于数值计算,提供了高效的数组…...

mybatis-plus使用记录
MyBatis-Plus 学习笔记 一、 快速入门 MyBatis-Plus (MP) 是一个 MyBatis 的增强工具,在 MyBatis 的基础上只做增强不做改变,为简化开发、提高效率而生。 1. 引入 Maven 依赖 要使用 MyBatis-Plus,首先需要在项目的 pom.xml 文件中引入相…...

Mcu_Bsdiff_Upgrade
系统架构 概述 MCU BSDiff 升级系统通过使用二进制差分技术,提供了一种在资源受限的微控制器上进行高效固件更新的机制。系统不传输和存储完整的固件映像,而是只处理固件版本之间的差异,从而显著缩小更新包并降低带宽要求。 该架构遵循一个…...

有监督学习——决策树
任务 1、基于iris_data.csv数据,建立决策树模型,评估模型表现; 2、可视化决策树结构; 3、修改min_samples_leaf参数,对比模型结果 代码工具:jupyter notebook 参考资料 20.23 决策树(1)_哔哩哔哩_bil…...

华为OD机试真题——启动多任务排序(2025B卷:200分)Java/python/JavaScript/C/C++/GO最佳实现
2025 B卷 200分 题型 本专栏内全部题目均提供Java、python、JavaScript、C、C++、GO六种语言的最佳实现方式; 并且每种语言均涵盖详细的问题分析、解题思路、代码实现、代码详解、3个测试用例以及综合分析; 本文收录于专栏:《2025华为OD真题目录+全流程解析+备考攻略+经验分…...
AWS云与第三方通信最佳实践:安全、高效的数据交互方案
引言 在当今的云计算时代,企业经常需要在AWS云环境中存储和处理数据,同时还需要与第三方应用或服务进行数据交互。如何安全、高效地实现这种通信是许多企业面临的挑战。本文将详细探讨几种AWS云与第三方通信的方案,并分析它们的优缺点,帮助您为自己的业务场景选择最佳解决…...
Ubuntu Server 24 设置 WiFi 网络的方案
一、配置流程 1. 确认无线网卡信息 首先需明确无线网卡接口名称及当前连接状态: ip link show # 查看网络接口(寻找状态为 "UP" 的无线接口,如 wlan0、wlx* 或 wlp1s0) iwconfig # 确认无线网…...
【redis】redis和hiredis的基本使用
总结: 介绍了一下redis和hiredis的安装步骤,用一个简单的demo演示了使用redis的基本过程。 启动redis步骤 1、下载redis:https://github.com/redis/redis 2、编译命令:make 3、编译产物:libredis.a(静…...

大模型时代,Python 近红外光谱与 Transformer 模型:学习的必要性探究
在当下大语言模型盛行的时代,各类新技术如潮水般不断涌现,让人应接不暇。身处这样的浪潮之中,不少人心中都会泛起疑问:Python 近红外光谱和 Transformer 模型还有学习的必要性吗?今天,就让我们深入探讨一番…...
产品经理常用术语大全
作为一名产品经理,不仅需要具备跨领域的知识和技能,还需要熟练掌握一系列专业术语,以便更有效地沟通、规划和执行产品开发过程中的各项任务。以下是一篇详细介绍产品经理日常工作中常见术语的文章,旨在帮助新手快速入门࿰…...

梯度优化提示词:精准引导AI分类
基于梯度优化的提示词工程方法,通过迭代调整提示词的嵌入向量,使其能够更有效地引导模型做出正确分类。 数据形式 训练数据 train_data 是一个列表,每个元素是一个字典,包含两个键: text: 需要分类的文本描述label: 对应的标签(“冲动"或"理性”)示例数据: …...

AUTOSAR 运行时环境 (RTE)
目录 往期推荐 什么是运行时环境? AUTOSAR 中的运行时环境 (RTE) RTE 的应用 RTE 的生成 关于RTE API的一些信息 RTE生成后文件之间的关系 往期推荐 2025汽车行业新宠:欧企都在用的工具软件ETAS工具链自动化实战指南<一>ET…...
Bolt.new:重塑 Web 开发格局的 AI 利器
根据 Menlo Ventures 2024 年的调查,在主流 AI 应用场景中,AI 编程工具的采用率以 51% 位居榜首,代码生成成为最易落地且受欢迎的场景。科技巨头谷歌 CEO Sundar Pichai 在 2024 年 10 月财报会议上透露,公司超四分之一的新代码由…...
RK3588 RKNN ResNet50推理测试
RK3588 RKNN ResNet50推理测试 一、背景二、性能数据三、操作步骤3.1 安装依赖3.2 安装rknn-toolkit,更新librknnrt.so3.3 下载推理图片3.4 生成`onnx`模型转换脚本3.5 生成rknn模型3.6 运行rknn模型一、背景 在嵌入式设备上进行AI推理时,我们面临着算力有限、功耗敏感等挑战…...

SQLMesh 宏操作符详解:提升 SQL 查询的灵活性与效率
SQLMesh 提供了一系列强大的宏操作符(如 WITH、JOIN、WHERE 等),用于动态构建 SQL 查询。这些操作符不仅简化了复杂查询的编写,还提高了代码的可读性和可维护性。本文将深入探讨这些操作符的使用场景、语法及实际案例,…...
leetcode513.找树左下角的值:递归深度优先搜索中的最左节点追踪之道
一、题目本质与核心诉求解析 在二叉树算法问题中,"找树左下角的值"是一个典型的结合深度与位置判断的问题。题目要求我们找到二叉树中最深层最左边的节点值,这里的"左下角"有两个关键限定: 深度优先:必须是…...

基于Flink的数据中台管理平台
基于Flink做的数据中台工程项目。数据从source到clickhouse全流程的验证。集成元数据管、数据资产、数据发现功能,自主管理元数据变更,集成元数据版本管理。 同时,对整个大数据集群使用到的组件或者是工具进行管理。比如nacos、kafka、zookee…...

AI-Ready TapData:如何基于 MCP 协构建企业级 AI 实时数据中枢?(含教程)
随着企业对私有大模型、行业大模型的探索逐渐深入,“AI应用是否真正落地”,越来越取决于企业是否拥有结构化、实时、可交互的高质量数据。而现实是,大多数企业的核心业务数据依旧被困在多个异构系统、孤岛数据库和 ETL 流程之中,导…...

Spring Boot 登录实现:JWT 与 Session 全面对比与实战讲解
Spring Boot 登录实现:JWT 与 Session 全面对比与实战讲解 2025.5.21-23:11今天在学习黑马点评时突然发现用的是与苍穹外卖jwt不一样的登录方式-Session,于是就想记录一下这两种方式有什么不同 在实际开发中,登录认证是后端最基础也是最重要…...
【HTML-5】HTML 实体:完整指南与最佳实践
1. 什么是 HTML 实体? HTML 实体是一种在 HTML 文档中表示特殊字符的方法,这些字符如果直接使用可能会与 HTML 标记混淆,或者无法通过键盘直接输入。实体由 & 符号开始,以 ; 分号结束。 <p>这是一个小于符号的实体&am…...

SpringBoot 项目实现操作日志的记录(使用 AOP 注解模式)
本文是博主在做关于如何记录用户操作日志时做的记录,常见的项目中难免存在一些需要记录重要日志的部分,例如权限和角色设定,重要数据的操作等部分。 博主使用 Spring 中的 AOP 功能,结合注解的方式,对用户操作过的一些…...

AI|Java开发 IntelliJ IDEA中接入本地部署的deepseek方法
目录 连接本地部署的deepseek: IntelliJ IDEA中使用deepseek等AI: 用法一:让AI写代码 用法二:选中这段代码,右键,可以让其解释这段代码的含义。这时显示的解释是英文的。 连接本地部署的deepseek&#…...
【疑难杂症】Vue前端下载文件无法打开 已解决
由于刚学了VUE不久,不清楚底层逻辑。我遇到从后台下载文件无法打开的问题。 测试下来是,请求时未设置 responseType: blob。 axios 默认的 responseType 是 json ,会尝试将响应体解析为JSON。但文件下载场景需要后端返回二进制流࿰…...