告别混乱调度：用DolphinScheduler + Docker Compose快速搭建个人数据工作流测试环境

告别混乱调度用DolphinScheduler Docker Compose快速搭建个人数据工作流测试环境在数据工程领域工作流调度系统如同交响乐团的指挥协调着各个数据处理任务的执行节奏。传统部署方式往往需要耗费大量时间在环境配置和依赖管理上就像在音乐会开始前需要手动调试每一件乐器。而容器化技术则将这些繁琐的准备工作打包成标准化的乐谱让开发者能够专注于创作数据处理的交响乐本身。本文将带你体验如何用Docker Compose快速搭建Apache DolphinScheduler测试环境这种方案特别适合需要快速验证工作流设计的开发者希望保持本地环境整洁的学习者需要频繁重建测试环境的团队1. 为什么选择容器化部署传统物理机/虚拟机部署与容器化方案对比对比维度传统部署Docker Compose方案环境准备时间30分钟~数小时5分钟依赖管理手动安装配置声明式定义一键解决环境隔离性容易产生依赖冲突完全隔离清理难度需要手动卸载各种组件docker-compose down即可完全清理可移植性需要重复配置配置文件即环境核心优势在于可重复性和隔离性。想象一下当你需要测试不同版本的DolphinScheduler时传统方式可能需要准备多台虚拟机而容器化方案只需修改一个版本号就能创建全新的测试环境。2. 环境准备与Docker配置2.1 基础环境检查确保你的系统已经安装以下组件Docker Engine 20.10Docker Compose v2.0至少4GB可用内存10GB磁盘空间验证Docker安装docker --version docker-compose version提示在Linux系统上建议将当前用户加入docker组以避免频繁使用sudosudo usermod -aG docker $USER newgrp docker2.2 编写Docker Compose文件创建docker-compose.yml文件我们将定义三个核心服务version: 3 services: zookeeper: image: zookeeper:3.8 container_name: ds-zookeeper ports: - 2181:2181 volumes: - zk_data:/data - zk_datalog:/datalog mysql: image: mysql:5.7 container_name: ds-mysql environment: MYSQL_ROOT_PASSWORD: dolphinscheduler MYSQL_DATABASE: dolphinscheduler MYSQL_USER: dolphinscheduler MYSQL_PASSWORD: dolphinscheduler ports: - 3306:3306 volumes: - mysql_data:/var/lib/mysql command: --character-set-serverutf8mb4 --collation-serverutf8mb4_unicode_ci dolphinscheduler: image: apache/dolphinscheduler:3.1.3 container_name: ds-server depends_on: - zookeeper - mysql environment: DATABASE_HOST: mysql DATABASE_PORT: 3306 DATABASE_USERNAME: dolphinscheduler DATABASE_PASSWORD: dolphinscheduler ZOOKEEPER_QUORUM: zookeeper:2181 ports: - 12345:12345 volumes: - ds_data:/opt/dolphinscheduler volumes: zk_data: zk_datalog: mysql_data: ds_data:关键配置说明网络隔离所有服务默认加入同一个网络可通过服务名互相访问数据持久化使用命名卷保存数据库和工作流数据版本控制明确指定各组件版本确保环境一致性3. 启动与初始化3.1 一键启动服务在包含docker-compose.yml的目录执行docker-compose up -d观察服务启动状态docker-compose ps预期输出应显示三个服务状态均为running。3.2 初始化数据库虽然MySQL容器已经创建了数据库但DolphinScheduler还需要初始化表结构docker exec ds-server bash -c /opt/dolphinscheduler/script/create-dolphinscheduler.sh注意首次执行可能需要1-2分钟完成初始化可通过日志观察进度docker-compose logs -f dolphinscheduler4. 访问与基础配置4.1 登录Web界面服务启动完成后访问http://localhost:12345/dolphinscheduler使用默认凭证登录用户名admin密码dolphinscheduler123首次登录后应立即修改密码点击右上角用户头像选择用户信息在修改密码选项卡中设置新密码4.2 配置工作环境建议进行以下基础配置创建租户进入安全中心 → 租户管理点击创建租户输入租户名称如test选择关联的队列默认default创建工作队列进入安全中心 → 队列管理点击创建队列输入队列名称如test_queue设置队列容量如100分配资源docker exec ds-server mkdir -p /tmp/dolphinscheduler docker exec ds-server chown -R dolphinscheduler:dolphinscheduler /tmp/dolphinscheduler然后在Web界面进入安全中心 → 资源管理点击创建目录输入路径/tmp/dolphinscheduler选择所属租户5. 创建测试工作流让我们创建一个简单的数据管道示例新建项目进入项目管理 → 创建项目输入项目名称如ETL_Pipeline选择租户和队列定义工作流进入项目 → 工作流定义 → 创建工作流拖拽以下节点到画布Shell节点数据提取Python节点数据转换Spark节点数据分析连接节点形成线性流程配置节点# Python节点示例代码 import pandas as pd df pd.read_csv(/tmp/input.csv) df[new_column] df[value] * 2 df.to_csv(/tmp/output.csv, indexFalse)保存并运行点击保存按钮点击上线使工作流可执行点击运行触发工作流6. 环境管理与维护6.1 日常维护命令操作场景命令停止所有服务docker-compose down重启单个服务docker-compose restart zookeeper查看实时日志docker-compose logs -f dolphinscheduler备份数据docker-compose pause 备份卷数据升级版本修改yml中的镜像版本后重新up6.2 常见问题排查问题1Web界面无法访问检查端口冲突netstat -tulnp | grep 12345验证容器状态docker-compose ps问题2工作流执行失败查看执行节点日志docker exec ds-server tail -f /opt/dolphinscheduler/logs/worker-server.log检查资源权限docker exec ds-server ls -l /tmp/dolphinscheduler问题3数据库连接问题测试MySQL连接docker exec ds-server mysql -hmysql -udolphinscheduler -pdolphinscheduler dolphinscheduler7. 进阶配置技巧7.1 自定义镜像构建如需添加自定义依赖可创建DockerfileFROM apache/dolphinscheduler:3.1.3 # 安装Python依赖 RUN apt-get update \ apt-get install -y python3-pip \ pip3 install pandas numpy # 添加自定义插件 COPY custom-plugins /opt/dolphinscheduler/plugins然后修改docker-compose.yml中的dolphinscheduler服务dolphinscheduler: build: . image: custom-ds:1.0 # 其余配置保持不变...7.2 多节点部署配置对于需要更高性能的场景可以扩展worker节点dolphinscheduler-worker: image: apache/dolphinscheduler:3.1.3 command: [worker-server] depends_on: - zookeeper - mysql environment: ZOOKEEPER_QUORUM: zookeeper:2181 deploy: replicas: 37.3 监控集成添加Prometheus监控monitoring: image: prom/prometheus ports: - 9090:9090 volumes: - ./prometheus.yml:/etc/prometheus/prometheus.yml示例prometheus.yml配置scrape_configs: - job_name: dolphinscheduler static_configs: - targets: [dolphinscheduler:12345]8. 环境清理与重建当需要完全重置环境时# 停止并删除所有容器 docker-compose down # 删除持久化数据谨慎操作 docker volume rm $(docker volume ls -q | grep ds_) # 重新创建环境 docker-compose up -d对于日常开发建议使用不同的compose文件管理多个环境# 测试环境 docker-compose -f docker-compose.test.yml up # 演示环境 docker-compose -f docker-compose.demo.yml up