verl分布式训练实战：从单机多卡到多机多卡的完整配置指南

1. 分布式训练基础概念与verl框架简介第一次接触分布式训练的朋友可能会被单机多卡、多机多卡这些术语吓到。其实理解起来很简单就像搬家时找帮手一样单机多卡相当于在一套房子里叫来几个家人一起打包多机多卡则是把整栋楼的邻居都动员起来。verl框架就是那位经验丰富的搬家队长能高效协调这些帮手的工作。verl作为集成了SFT监督微调和RL强化学习的大模型训练框架最大的优势是配置灵活性和易用性。我去年在7B到70B参数规模的项目中反复验证过相比其他框架verl的分布式实现有两个明显特点一是配置文件采用模块化设计像搭积木一样容易调整二是对计算资源利用率更高实测在8卡A100上训练吞吐量能提升30%左右。在实际工业场景中分布式训练的必要性主要体现在三个方面首先是模型规模越来越大单卡根本放不下其次是数据量动辄TB级别需要并行处理最重要的是训练时间成本比如7B模型全参数微调单卡可能要跑一个月8卡可能只需要3-4天。下面这张表格对比了不同配置下的典型训练效率模型规模单卡V1004卡A1008卡A100多机7B全参数28天6天3天13B LoRA15天3天36小时2. 单机多卡配置实战2.1 环境准备与依赖安装配置单机多卡环境就像准备一个多人协作的工作室。首先确保你的机器至少有2张以上NVIDIA显卡建议A100/H100我测试过在3090上也能运行但会遇到显存瓶颈。软件环境需要# 基础环境 conda create -n verl python3.10 conda activate verl pip install torch2.3.0cu121 --index-url https://download.pytorch.org/whl/cu121 pip install verl transformers4.40.0 # 必要依赖 pip install flash-attn2.5.8 wandb swanlab特别注意CUDA版本要与PyTorch匹配这是最容易踩的坑。上周帮同事debug时就发现cuda118和121混用导致奇怪的通信错误。验证环境是否就绪可以跑个简单测试import torch print(torch.cuda.device_count()) # 应该显示实际GPU数量 print(torch.distributed.is_available()) # 必须返回True2.2 SFT任务配置详解verl的配置文件就像烹饪食谱我习惯把sft.yaml放在verl/trainer/config目录下。关键参数需要根据硬件条件调整data: train_batch_size: 64 # 全局batch size micro_batch_size_per_gpu: 2 # 每卡处理的样本数 max_length: 8192 # 根据模型上下文长度调整 fsdp_config: cpu_offload: True # 显存不足时启用 offload_params: False # 通常保持False optim: lr: 2e-5 # 学习率需随GPU数量调整 warmup_steps_ratio: 0.1这里有个实用技巧micro_batch_size_per_gpu设置不是越大越好。在40GB显存的A100上对于7B模型设为2-4效果最佳。可以通过nvidia-smi监控显存使用情况动态调整。启动脚本run_sft.sh的核心参数#!/bin/bash nproc_per_node4 # 实际使用的GPU数量 torchrun --nproc_per_node$nproc_per_node \ -m verl.trainer.fsdp_sft_trainer \ --config_pathyour_config_path.yaml3. 多机多卡部署方案3.1 集群环境配置多机部署就像组建分布式办公室需要确保各节点说同一种语言。首先在所有机器上配置统一的docker镜像或conda环境设置NCCL网络关键步骤export NCCL_IB_DISABLE0 export NCCL_SOCKET_IFNAMEeth0 export NCCL_DEBUGINFO配置SSH免密登录各节点验证网络连通性# 主节点执行 torchrun --nnodes2 --nproc_per_node1 \ --master_addr主节点IP --master_port29500 \ test_communication.py3.2 RL任务多机配置RL训练比SFT复杂在于需要协调多个组件。配置文件关键调整trainer: nnodes: 4 # 机器总数 n_gpus_per_node: 8 # 每台机器GPU数 rollout: tensor_model_parallel_size: 2 # 建议每台机器分成2-4组启动时需要特别注意端口冲突问题。我推荐使用端口范围# 每台机器的启动脚本 MASTER_PORT$((29500 $RANDOM % 1000)) # 随机选择端口避免冲突 torchrun --nnodes4 --node_rank$RANK \ --master_addr$MASTER_ADDR --master_port$MASTER_PORT \ -m verl.trainer.main_ppo --config_pathgrpo.yaml4. 常见问题排查手册4.1 显存溢出(OOM)解决方案遇到OOM时不要慌按这个顺序检查降低micro_batch_size_per_gpu启用梯度检查点model: enable_gradient_checkpointing: True开启CPU offloadfsdp_config: cpu_offload: True param_offload: True4.2 分布式训练卡住问题典型症状日志停止更新但GPU仍在工作。建议排查NCCL通信超时增加超时阈值export NCCL_TIMEOUT1800网络带宽不足改用InfiniBand检查是否有进程挂起watch -n 1 nvidia-smi -q -d PROCESS | grep Process4.3 模型转换实用技巧训练完成后转换模型时这个脚本能自动处理多节点文件合并# convert_model.py import verl.utils.convert_tools as ct ct.merge_checkpoints( input_diroutput/checkpoints, output_pathfinal_model, max_shard_size10GB )记得先在所有worker节点执行同步rsync -avz worker1:/path/to/checkpoints /local/path