CANN/cann-recipes-train：DeepSeek-V3 MXFP8/HiF8低精度预训练优化实践

DeepSeek-V3 MXFP8/HiF8 低精度预训练优化实践样例【免费下载链接】cann-recipes-train本项目针对LLM与多模态模型训练业务中的典型模型、加速算法提供基于CANN平台的优化样例项目地址: https://gitcode.com/cann/cann-recipes-train概述本样例针对DeepSeek-V3 裁剪模型基于MindSpeed 框架在 8 卡 Atlas A5 上完成完成8K序列MXFP8/HiF8 低精度预训练优。MXFP8/HiF8 低精度预训练介绍可参见HiF8精度与性能双优面向大模型训练的低精度优化实践。硬件要求产品型号Atlas A5 950DT 系列最少卡数8 张 A5构建环境手动安装相关依赖。安装PyTorch# 下载并安装PyTorch框架 wget https://download.pytorch.org/whl/cpu/torch-2.7.1%2Bcpu-cp310-cp310-manylinux_2_28_aarch64.whl pip3 install torch-2.7.1cpu-cp310-cp310-manylinux_2_28_aarch64.whl # 下载并安装torch_npu插件 wget https://gitcode.com/Ascend/pytorch/releases/download/v7.3.0-pytorch2.7.1/torch_npu-2.7.1.post2-cp310-cp310-manylinux_2_28_aarch64.whl pip3 install torch_npu-2.7.1.post2-cp310-cp310-manylinux_2_28_aarch64.whl #源码准备。# 请根据实际路径进行替换当前支持A5的商发cann包暂时未发布发布后安装即可 source /usr/local/Ascend/cann/set_env.sh source /usr/local/Ascend/nnal/atb/set_env.sh # 创建代码目录工程 cd /home mkdir train_code cd train_code # 下载 MindSpeed git clone https://gitcode.com/ascend/MindSpeed.git cd MindSpeed git checkout master # checkout commit from MindSpeed master pip3 install -r requirements.txt pip3 install -e . cd .. # 下载 MindSpeed-LLM git clone https://gitcode.com/ascend/MindSpeed-LLM.git # 从github下载 Megatron-LM请确保网络能访问 git clone https://github.com/NVIDIA/Megatron-LM.git cd Megatron-LM git checkout core_v0.12.1 cp -r megatron ../MindSpeed-LLM/ cd ../MindSpeed-LLM git checkout master mkdir logs pip3 install -r requirements.txt # 安装其余依赖库 # 下载 cann-recipes仓对应的脚本 cd ../ git clone https://gitcode.com/cann/cann-recipes-train.git cp ./cann-recipes-train/llm_pretrain/DeepSeekV3/run_pretrain_dsk3_A5_8P_hif8.sh ./MindSpeed-LLM cp ./cann-recipes-train/llm_pretrain/DeepSeekV3/run_pretrain_dsk3_A5_8P_mxfp8.sh ./MindSpeed-LLM数据集准备首先创建数据集路径mkdir -p ./tests/assets/enwiki下载enwiki 的parquet数据到./tests/assets/enwiki路径下面可以使用下面的命令下载数据集cd ./tests/assets/ git clone https://huggingface.co/datasets/lsb/enwiki20230101/tree/main/data cd ../..数据集转换示例可以参考修脚本data_convert_deepseek3_pretrain.sh修改原始数据集路径模型配置文件路径和目标输出路径cd ./MindSpeed-LLM bash examples/mcore/deepseek3/data_convert_deepseek3_pretrain.sh模型权重准备本样例使用的 DeepSeek-V3 模型权重准备方法如下# 从魔塔社区下载模型的基础文件存放至样例的 ./assets/hf/DeepSeek-V3 目录下不加载权重实验也需要执行这步操作 mkdir -p /data/models/DeepSeek-V3 pip install modelscope # 下载DeepSeek-V3完整模型文件 但是不包括权重当前是裁剪模型可以不下载权重 modelscope download --model deepseek-ai/DeepSeek-V3 --local_dir /data/models/DeepSeek-V3权重转换拉起示例可以参考MindSpeed-LLM中转换脚本修改原始权重路径以及保持的路径以及对应的切分裁剪策略# 转换为mcore权重 bash examples/mcore/deepseek3/ckpt_convert_deepseek3_hf2mcore.shpretrain执行cd /home/train_code/MindSpeed-LLM export GLOO_SOCKET_IFNAMEeth0 export HCCL_HOST_SOCKET_PORT_RANGEauto # 请根据实际路径进行替换当前支持A5的商发cann包暂时未发布发布后安装即可 source /usr/local/Ascend/cann/set_env.sh source /usr/local/Ascend/nnal/atb/set_env.sh export HCCL_TOPO_FILE_PATH/etc/superpod_1d_noroce.json export HCCL_CONNECT_TIMEOUT200 export HCCL_EXEC_TIMEOUT200 # 示例执行 MXPF8 量化训练2层1moe1dense裁剪模型 bash ./run_pretrain_dsk3_A5_8P_mxfp8.sh # 示例执行 HiF8 量化训练2层1moe1dense裁剪模型 bash ./run_pretrain_dsk3_A5_8P_hif8.sh【免费下载链接】cann-recipes-train本项目针对LLM与多模态模型训练业务中的典型模型、加速算法提供基于CANN平台的优化样例项目地址: https://gitcode.com/cann/cann-recipes-train创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考