Qwen3.5-9B训练复现：从SFT到RLHF的全流程开源实践指南

Qwen3.5-9B训练复现从SFT到RLHF的全流程开源实践指南1. 项目概述Qwen3.5-9B是一个拥有90亿参数的开源大语言模型具备强大的逻辑推理、代码生成和多轮对话能力。该模型支持多模态理解图文输入和长上下文处理最高可达128K tokens是当前开源社区中性能优异的中文大模型之一。1.1 核心特性多模态理解支持图片上传和分析能够理解图片内容并回答相关问题长文本处理最大支持128K tokens的上下文长度参数规模90亿参数规模在推理和生成任务上表现优异开源可用完全开源支持本地部署和二次开发2. 环境准备与部署2.1 基础环境配置项目运行在torch28 Conda环境下使用Supervisor进行进程管理服务端口为7860。以下是环境搭建的基本步骤# 创建conda环境 conda create -n torch28 python3.10 conda activate torch28 # 安装基础依赖 pip install torch2.8.0 transformers5.0.0 gradio6.x huggingface_hub1.3.02.2 项目结构项目目录结构如下/root/qwen3.5-9b/ ├── app.py # 主程序 (Gradio WebUI) ├── start.sh # 启动脚本 ├── service.log # 运行日志 └── history.json # 对话历史记录3. 模型训练流程3.1 SFT阶段监督微调监督微调(SFT)是模型训练的第一步使用高质量的人类标注数据进行微调from transformers import AutoModelForCausalLM, AutoTokenizer model AutoModelForCausalLM.from_pretrained(Qwen/Qwen3.5-9B) tokenizer AutoTokenizer.from_pretrained(Qwen/Qwen3.5-9B) # 加载SFT数据集 train_dataset load_dataset(your_sft_dataset) # 配置训练参数 training_args TrainingArguments( output_dir./results, num_train_epochs3, per_device_train_batch_size4, save_steps1000, save_total_limit2, learning_rate5e-5, fp16True ) # 开始训练 trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, tokenizertokenizer ) trainer.train()3.2 RLHF阶段基于人类反馈的强化学习RLHF阶段通过人类反馈数据进一步优化模型from trl import PPOTrainer, AutoModelForCausalLMWithValueHead # 加载SFT后的模型 model AutoModelForCausalLMWithValueHead.from_pretrained(your_sft_model) tokenizer AutoTokenizer.from_pretrained(your_sft_model) # 配置PPO训练器 ppo_trainer PPOTrainer( modelmodel, config{ batch_size: 8, learning_rate: 1.41e-5, ppo_epochs: 4 }, tokenizertokenizer ) # 加载偏好数据集 preference_dataset load_dataset(your_preference_data) # 执行RLHF训练 for epoch in range(3): for batch in preference_dataset: # 生成响应 query_tensors tokenizer(batch[query], return_tensorspt, paddingTrue) response_tensors ppo_trainer.generate(**query_tensors) # 计算奖励 rewards compute_rewards(batch[query], response_tensors) # PPO更新 ppo_trainer.step(query_tensors, response_tensors, rewards)4. 模型部署与使用4.1 服务启动与管理使用Supervisor管理服务进程配置文件位于/etc/supervisor/conf.d/qwen3.5-9b.conf[program:qwen3.5-9b] command/bin/bash /root/qwen3.5-9b/start.sh directory/root/qwen3.5-9b environmentHOME/root,USERroot,LOGNAMEroot,SHELL/bin/bash,PATH/opt/miniconda3/envs/torch28/bin:/usr/bin:/bin userroot autostarttrue autorestarttrue startsecs30 startretries3 redirect_stderrtrue stdout_logfile/root/qwen3.5-9b/service.log stopasgrouptrue killasgrouptrue常用管理命令# 查看服务状态 supervisorctl status qwen3.5-9b # 重启服务 supervisorctl restart qwen3.5-9b # 停止服务 supervisorctl stop qwen3.5-9b4.2 Web界面功能通过Gradio提供的Web界面支持以下功能文本对话支持中英文对话图片上传支持JPEG, PNG, GIF, WEBP等格式图片描述上传图片后可询问图片内容参数调节可调整max_tokens, temperature, top_p, top_k等参数5. 模型性能优化5.1 推理加速使用以下技术提升推理速度# 启用Flash Attention model AutoModelForCausalLM.from_pretrained( Qwen/Qwen3.5-9B, torch_dtypetorch.float16, device_mapauto, use_flash_attention_2True ) # 量化压缩 from transformers import BitsAndBytesConfig quantization_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_compute_dtypetorch.float16, bnb_4bit_quant_typenf4 ) model AutoModelForCausalLM.from_pretrained( Qwen/Qwen3.5-9B, quantization_configquantization_config )5.2 内存优化针对大模型的内存优化策略梯度检查点减少训练时的内存占用ZeRO优化分布式训练中的内存优化激活值压缩减少前向传播时的内存消耗6. 常见问题与解决方案6.1 模型加载问题问题模型加载缓慢或卡住解决方案检查GPU显存是否足够至少需要20GB确认模型文件完整约19GB首次加载需要2-3分钟耐心等待6.2 服务启动失败排查步骤检查conda环境是否正确激活查看日志文件/root/qwen3.5-9b/service.log确认端口7860未被占用6.3 图片上传无响应可能原因图片格式不支持图片文件损坏网络请求超时解决方案尝试较小尺寸的图片转换格式为PNG/JPEG检查网络连接7. 总结与展望Qwen3.5-9B作为一款开源大语言模型通过完整的SFT到RLHF训练流程在多模态理解和长文本处理方面表现出色。本文详细介绍了从模型训练到部署的全流程实践包括SFT阶段的监督微调方法RLHF阶段的强化学习优化模型部署与服务管理性能优化与问题排查未来可以进一步探索更大规模的分布式训练更高效的多模态融合方法更智能的对话策略优化获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。