CANN/cann-recipes-train基于verl-retool的agent样例

基于verl-retool的agent样例【免费下载链接】cann-recipes-train本项目针对LLM与多模态模型训练业务中的典型模型、加速算法提供基于CANN平台的优化样例项目地址: https://gitcode.com/cann/cann-recipes-train概述本样例参考verl/recipe中的retool项目在NPU上进行agent RL训练。训练过程分为如下两步SFT训练使用ReTool-SFT数据集对Qwen3-4B-Instruct-2507模型进行SFT训练帮助模型学会调用Sandbox工具进行python编程RL训练使用DAPO-Math-17k数据集对前一步SFT过的模型进行RL训练帮助模型更好地使用Sandbox工具辅助自身推理思考。本样例将帮助大家了解verl中的asyncLLM和agent_loop特性使用昇腾NPU完成agent RL训练任务。支持的产品型号Atlas A3系列产品。 本样例所需计算资源8卡A316die文件说明文件路径说明0001-Fix-reward-function-not-accessing-num_turns.patch修复奖励函数获取不到num_turns值的bug0002-Update-paths-in-retool_sft_preprocess.py.patch修改retool_sft_preprocess.py中的路径配置0003-Modify-compute_score-to-encourage-tool-call.patch修改奖励函数鼓励工具调用环境准备使用Docker构建环境请根据实际产品选择Docker镜像和设备数量文档以A3为例。# 获取Docker镜像 docker pull quay.io/ascend/vllm-ascend:v0.10.2rc1-a3 # 构建Docker容器 docker run \ --device/dev/davinci0 --device/dev/davinci1 --device/dev/davinci2 --device/dev/davinci3 --device/dev/davinci4 --device/dev/davinci5 --device/dev/davinci6 --device/dev/davinci7 --device/dev/davinci8 --device/dev/davinci9 --device/dev/davinci10 --device/dev/davinci11 --device/dev/davinci12 --device/dev/davinci13 --device/dev/davinci14 --device/dev/davinci15 --device/dev/davinci_manager --device/dev/devmm_svm --device/dev/hisi_hdc \ -v /etc/localtime:/etc/localtime \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ -v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware \ -v /var/log/npu/:/usr/slog \ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \ -v /sys/fs/cgroup:/sys/fs/cgroup:ro \ -v /etc/ascend_install.info:/etc/ascend_install.info \ -v ${HOST_WORKSPACE}:${HOST_WORKSPACE} \ -w ${HOST_WORKSPACE} \ --shm-size100g \ --privilegedtrue \ -itd \ --nethost \ --name ${YOUR_CONTAINER_NAME} \ quay.io/ascend/vllm-ascend:v0.10.2rc1-a3 \ /bin/bash # 进入容器 docker exec -it ${YOUR_CONTAINER_NAME} bash其中-v ${HOST_WORKSPACE}:${HOST_WORKSPACE}为挂载业务目录-w ${HOST_WORKSPACE}为设置工作目录进入后直接操作--name ${YOUR_CONTAINER_NAME}为配置容器名下载项目源码并安装依赖的python库。git clone https://gitcode.com/cann/cann-recipes-train.git cd cann-recipes-train/agent_rl/qwen3_tool_agent pip install -r requirements.txt安装verl。git clone https://github.com/volcengine/verl.git cd verl # 切换至包含retool的历史版本retool已从verl迁移至verl-recipe仓库最新分支无该项目 git checkout 95470480 # 使能patch修改 git am ../patches/*.patch pip install -e . cd recipe/retoolSFT训练准备数据集。执行sft数据集处理脚本。python3 retool_sft_preprocess.py准备模型权重。hf download Qwen/Qwen3-4B-Instruct-2507 --local-dir ReTool-SFT/model/Qwen3-4B-Instruct-2507将SFT训练脚本run_qwen3_4b_sft_npu.sh从qwen3_tool_agent移动到qwen3_tool_agent/verl/recipe/retool目录下开始SFT训练。mkdir -p log/sft_run_log bash run_qwen3_4b_sft_npu.sh合并训练好的模型权重。python3 -m verl.model_merger merge \ --backend fsdp \ --local_dir checkpoint/multiturn-sft-qwen-3-4b-instruct/global_step_186 \ --target_dir checkpoint/multiturn-sft-qwen-3-4b-instruct/global_step_186/huggingfaceRL训练准备Sandbox环境。参考SandboxFusion/README.md准备Sandbox服务该README中提供了Docker和Manual两种安装方法Docker安装方法需要获取服务器支持的镜像如果无法获取建议采用Manual安装方法具体流程如下1将SandboxFusion源码拉取到cann-recipes-train/agent_rl/qwen3_tool_agent目录下。git clone https://github.com/bytedance/SandboxFusion.git cd SandboxFusion2创建sandbox conda环境并安装依赖。conda create -n sandbox -y python3.12 conda activate sandbox pip install poetry poetry install mkdir -p docs/build3创建sandbox-runtime conda环境并安装依赖。# 返回到cann-recipes-train/agent_rl/qwen3_tool_agent目录。 conda create -n sandbox-runtime -y python3.10 conda activate sandbox-runtime # 样例中的requirements-runtime.txt修改自SandboxFusion/runtime/python/requirements.txt移除了安装失败的依赖包。 pip install -r requirements-runtime.txt4启动Sandbox服务。cd SandboxFusion conda activate sandbox make run-online启动成功后会显示如下信息INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:8080 (Press CTRLC to quit)Sandbox服务启动后不要关闭agent在训练时需要实时交互重新打开一个终端进入容器和qwen3_tool_agent/verl/recipe/retool目录后再执行后续命令。准备训练数据集和验证数据集。# train hf download BytedTsinghua-SIA/DAPO-Math-17k --repo-typedataset --local-dir dataset/BytedTsinghua-SIA/DAPO-Math-17k # val hf download yentinglin/aime_2025 --repo-typedataset --local-dir dataset/yentinglin/aime_2025将RL训练脚本run_qwen3_4b_dapo_npu.sh从qwen3_tool_agent移动到qwen3_tool_agent/verl/recipe/retool目录下开始RL训练。mkdir -p log/rl_run_log bash run_qwen3_4b_dapo_npu.sh训练结果。val_before_trainstep 0aime_2025数据集验证指标如下val-core/aime_2025/acc/mean30: 0.29val-aux/num_turns/mean: 7.0130个step训练后aime_2025数据集验证指标如下val-core/aime_2025/acc/mean30: 0.57val-aux/num_turns/mean: 5.4训练后模型response样例从样例中可以看出训练后的模型在解决问题的时候先使用大段的文本推理图片中有所省略对用户输入的问题进行分析然后调用代码工具处理复杂的动态规划计算代码工具计算出结果后作为新的输入传输给模型模型对代码返回的结果校验后输出最终的答案。可以总结为如下流程问题输入$\longrightarrow$模型思考$\longrightarrow$调用代码工具$\longrightarrow$返回结果作为新一轮的输入$\longrightarrow$模型思考$\longrightarrow$生成答案模型response查看方法见附录 TensorBorard使用方法。关键训练曲线val-core/aime_2025/acc/mean30验证集的准确率。val-aux/num_turns/mean验证时num_turns的值每一次user或者assistant的输入都算一次num_turn。critic/rewards/mean训练时单step的平均奖励。response_length/mean训练时单step模型的平均响应长度。训练曲线查看方法见附录 TensorBorard使用方法。附录ToolAgent代码结构ToolAgentLoop是agent RL训练中的核心类是实现multi-turn交互中Agent reasoning$\longrightarrow$tool call循环的关键。其中的关键状态处理包括_handle_generating_state()和_handle_processing_tools_state()_handle_generating_state()负责调用大模型生成响应和检查是否需要调用工具_handle_processing_tools_state()负责执行工具调用和将工具返回结果格式化并作为下一轮的输入。AsyncLLMServerManager作为一个管理多个vLLMHttpServer的类具有以下两个功能负载均衡在首轮请求时选择请求最少的Server实例发送粘性会话将多轮会话的补全请求发送到同一个Server实例从而复用之前对话的缓存提高硬件利用率。ToolAgent异步流水在ToolAgent异步流水中每一个prompt的request都会遵循AsyncLLMServerManager的规则在此基础上实现vLLM推理和Python CI工具调用的异步并行。本样例rollout过程中模型推理与外部工具执行的并行情况如下图所示。TensorBoard使用方法TensorBoard的基础使用方法参考前序工作按流程配置后打开链接即可查看训练曲线和模型response。本样例在使用TensorBoard时还需要注意以下几点通过run_qwen3_4b_dapo_npu.sh脚本中的trainer.logger[console,tensorboard]参数配置使用TensorBoard默认已打开。通过run_qwen3_4b_dapo_npu.sh脚本中的trainer.log_val_generations10参数配置查看每次验证时模型的response数默认为10。本样例的TensorBoard日志输出路径为qwen3_tool_agent/verl/recipe/retool/tensorboard_log/retool。训练曲线在TensorBoard打开页面的TIME SERIES页签验证response文本在TEXT页签。【免费下载链接】cann-recipes-train本项目针对LLM与多模态模型训练业务中的典型模型、加速算法提供基于CANN平台的优化样例项目地址: https://gitcode.com/cann/cann-recipes-train创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考