双机H100+ROCE网络部署DeepseekSeek-R1-671B实战指南

1. 环境准备与硬件配置在开始部署DeepseekSeek-R1-671B之前首先要确保硬件环境满足要求。我们使用的是双机配置每台服务器配备8块H100 GPU每块GPU拥有80GB显存。这种配置能够提供足够的计算能力来运行如此庞大的模型。网络方面我们采用了ROCERDMA over Converged Ethernet技术来连接两台服务器。ROCE能够提供低延迟、高带宽的网络通信这对于分布式训练和推理至关重要。具体来说我们使用了8个400G网卡用于ROCE网络通信另外还有2个100G网卡用于管理用途。软件环境方面我们选择了Ubuntu 22.04作为操作系统内核版本为5.15.0-92-generic。关键的软件组件包括网卡驱动24.10-1.1.4GPU驱动550.54.14CUDA12.4PyTorch2.5.1NCCL2.21.5OpenMPI4.1.3SGLang0.4.4.post1在实际部署中我发现硬件兼容性检查非常重要。建议在开始前使用lspci命令确认所有GPU和网卡都被正确识别并使用nvidia-smi检查GPU状态。如果发现任何设备未被识别可能需要检查PCIe插槽的分配或重新安装驱动程序。2. ROCE网络配置与优化ROCE网络的正确配置是保证双机通信性能的关键。首先需要确认网卡固件和驱动都已更新到最新版本。我们使用的是Mellanox ConnectX-6系列网卡通过ibv_devices命令可以查看可用的RDMA设备。网络配置的核心是确保两台服务器之间的直接内存访问RDMA能够正常工作。这需要配置正确的IP地址和子网启用巨帧建议MTU设置为4096或更大配置正确的路由规则一个常见的性能瓶颈是GPU Direct RDMAGDR没有正确启用。GDR允许GPU内存直接与网卡通信绕过CPU这能显著降低延迟。要启用GDR需要加载nvidia_peermem内核模块modprobe nvidia_peermem另一个重要的优化点是关闭ACSAccess Control Services。ACS是PCIe的一个安全特性但在高性能计算场景下可能会影响性能。可以通过以下脚本关闭ACSfor BDF in lspci -d *:*:* | awk {print $1}; do sudo setpci -v -s ${BDF} ECAP_ACS0x6.w /dev/null if [ $? -ne 0 ]; then continue; fi sudo setpci -v -s ${BDF} ECAP_ACS0x6.w0000 done3. NCCL测试与性能验证在正式部署模型前强烈建议先进行NCCL测试来验证双机通信性能。NCCLNVIDIA Collective Communications Library是分布式训练和推理的核心通信库。首先需要从NVIDIA官网下载NCCL和nccl-tests源码并编译cd /root/nccl-2.21.5-1 make -j24 cd /root/nccl-tests-master make -j MPI1 MPI_HOME/usr/lib/x86_64-linux-gnu/openmpi CUDA_HOME/usr/local/cuda NCCL_HOME/root/nccl-2.21.5-1/build测试时需要特别注意环境变量的设置mpirun --allow-run-as-root --mca btl_tcp_if_include eth0 --hostfile /root/hostfile \ -x LD_LIBRARY_PATH/root/nccl-2.21.5-1/build/lib \ -x NCCL_IB_HCA^mlx5_3 \ -x NCCL_SOCKET_IFNAMEeth0 \ -x NCCL_IB_GID_INDEX3 \ /root/nccl-tests-master/build/all_reduce_perf -b 4G -e 4G -f 2 -g 1关键环境变量说明NCCL_IB_HCA指定要使用的RDMA网卡这里排除了管理网卡mlx5_3NCCL_SOCKET_IFNAME指定NCCL初始化时使用的网络接口NCCL_IB_GID_INDEX指定RDMA通信使用的GID索引通常3对应IPv4 ROCEv2如果测试结果不理想可以启用NCCL调试日志来排查问题export NCCL_DEBUGINFO export NCCL_DEBUG_SUBSYSALL4. DeepseekSeek-R1-671B模型部署模型部署我们选择了SGLang作为推理引擎。SGLang是一个专门为大规模语言模型优化的推理框架支持多机多卡部署。首先需要创建Python虚拟环境并安装必要的软件包conda create -n test python3.10 conda activate test pip3 install sglang0.4.4.post1 pip3 install torch2.5.1 pip3 install Pillow orjson uvicorn uvloop fastapi psutil vllm sgl_kernel decord pynvml torchao pyzmq pip3 install transformers4.48.3 pip3 install flashinfer_python conda install libsqlite3.48.0部署时需要特别注意分布式通信的配置。两台机器都需要设置以下环境变量export GLOO_SOCKET_IFNAMEeth0 export NCCL_SOCKET_IFNAMEeth0 export NCCL_IB_HCA^mlx5_3,mlx5_4 export NCCL_IB_GID_INDEX3然后在第一台机器上启动服务python3 -m sglang.launch_server --model /root/DeepSeek-R1-671B --tp 16 --nccl-init-addr 10.0.0.1:3000 --nnodes 2 --node-rank 0 --trust-remote-code在第二台机器上启动服务python3 -m sglang.launch_server --model /root/DeepSeek-R1-671B --tp 16 --nccl-init-addr 10.0.0.1:3000 --nnodes 2 --node-rank 1 --trust-remote-code这里有几个关键参数需要注意--tp 16表示使用16路张量并行每台机器8卡共16卡--nccl-init-addr指定NCCL初始化的地址和端口--nnodes 2表示使用2个节点--node-rank指定当前节点的rank0或15. 性能测试与优化部署完成后我们需要对系统进行压力测试以评估性能。首先下载测试数据集wget https://hf-mirror.com/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered/resolve/main/ShareGPT_V3_unfiltered_cleaned_split.json然后运行性能测试python3 -m sglang.bench_serving --backend sglang --dataset-name random --random-input 64 --random-output 512 --random-range-ratio 1 --num-prompts 1000 --dataset-path /root/ShareGPT_V3_unfiltered_cleaned_split.json测试结果会显示多个关键指标请求吞吐量req/s输入token吞吐量tok/s输出token吞吐量tok/s端到端延迟ms首token时间mstoken间延迟ms如果性能不理想可以考虑以下几个优化方向检查NCCL通信是否确实使用了ROCE网络确认GPU Direct RDMA是否正常工作调整模型的分片策略和并行配置优化批处理大小和序列长度在实际测试中我们发现当输入序列长度为64输出序列长度为512时系统能够达到约3243 tokens/s的总吞吐量。端到端延迟的中位数约为88.5秒首token时间的中位数约为4.5秒。这些数据可以作为性能调优的基准参考。6. 常见问题排查在部署过程中可能会遇到各种问题。以下是一些常见问题及其解决方法问题1NCCL测试无法启动或性能低下检查nvidia-fabricmanager服务是否运行systemctl status nvidia-fabricmanager确认nvidia_peermem模块已加载检查ACS是否已关闭确认网卡固件和驱动版本兼容问题2模型加载失败检查模型文件是否完整确认有足够的GPU显存每卡至少80GB检查Python依赖版本是否兼容问题3分布式训练/推理通信失败检查防火墙设置确保3000端口开放确认两台机器可以互相ping通检查NCCL环境变量设置是否正确问题4性能波动大检查系统负载避免其他进程占用资源监控GPU温度和功耗确保没有降频检查网络带宽使用情况遇到问题时建议逐步缩小问题范围。可以先在单机单卡上测试模型是否能正常运行然后再扩展到单机多卡最后再尝试双机部署。这种渐进式的方法可以帮助快速定位问题所在。