阿里云百炼微调完整实战：从数据到部署

阿里云百炼微调完整实战从数据到部署目录什么是模型微调微调 vs RAG如何选择环境准备训练数据准备创建微调任务超参数配置详解模型部署LangChain 调用微调模型模型评测常见问题总结一、什么是模型微调模型微调Supervised Fine-Tuning简称 SFT是指使用特定领域的数据对已预训练的大模型进行进一步训练使其更好地适应特定业务场景的技术。1.1 微调能带来什么优化目标 说明 示例提升业务表现 让模型在特定行业表现更专业 医疗问答、法律咨询降低输出延迟 减少提示词长度加快推理 Few-shot → Zero-shot抑制幻觉 减少模型编造不存在的信息 企业内部知识问答对齐偏好 符合特定语气、表达习惯 客服话术、公文风格1.2 支持的模型根据阿里云百炼官方文档以下模型支持微调模型名称 模型代码 SFT全参训练 SFT高效训练(LoRA)千问3-32B qwen3-32b ✅ 支持 ✅ 支持千问3-14B qwen3-14b ✅ 支持 ✅ 支持千问3-VL-8B qwen3-vl-8b-instruct ✅ 支持 ✅ 支持训练方式对比对比项 全参训练 (SFT) 高效训练 (LoRA)适用场景 模型需要学习新能力追求全局效果最优 优化特定场景对训练时间和成本敏感训练时间 较长收敛速度慢 较短收敛速度快通用能力影响 较大可能遗忘通用能力 较小更好保留原有能力数据量要求 较大 相对较小推荐选择 数据量大、需要深度定制 初学者首选二、微调 vs RAG如何选择这是每个开发者都会遇到的问题。两者不是互斥的而是互补的对比维度 微调 (SFT) RAG 检索增强工作方式 将知识记住到模型参数中 运行时动态检索知识库知识更新 需要重新训练 实时改文档即可适用场景 固定格式、特定风格、表达习惯 知识频繁更新、长尾知识成本模式 一次性训练 推理费用 持续检索 推理费用最佳实践阿里云百炼官方推荐先构建 RAG 应用试运行收集足够数据后再用微调提升效果。两者可以结合使用微调解决语气、风格、格式问题RAG 解决专业知识问题。三、环境准备3.1 前提条件已开通阿里云百炼服务已获取 API Key以 sk- 开头可选已安装 Python 3.8 环境3.2 安装依赖如需通过 API 方式上传数据或调用模型pipinstalldashscope requests-ihttps://pypi.tuna.tsinghua.edu.cn/simple四、训练数据准备4.1 数据格式ChatML阿里云百炼采用 ChatML 格式每条数据是一个 JSON 对象放在一行.jsonl 文件要求每行一个 JSON。基本格式{messages:[{role:system,content:系统提示词可选},{role:user,content:用户问题},{role:assistant,content:期望的回答}]}4.2 单轮对话示例{messages:[{role:system,content:你是一个专业的Python编程助手},{role:user,content:写一个计算两个数之和的函数},{role:assistant,content:def add(a, b):\n return a b}]}4.3 多轮对话示例{messages:[{role:system,content:你是一个友好的AI助手},{role:user,content:我叫小明},{role:assistant,content:你好小明很高兴认识你},{role:user,content:我叫什么名字},{role:assistant,content:你叫小明}]}4.4 数据量要求目的 建议数据量 说明流程测试 几十条即可 验证上传、训练、部署能跑通让模型学会新格式 至少上百条 让模型记住特定表达方式正式微调 上千条优质数据 官方推荐数据集最少需要上千条优质调优数据⚠️ 重要数据质量比数据量更重要。大量质量差的数据可能导致模型效果反而变差。4.5 测试数据示例创建 test_data.jsonl{messages:[{role:user,content:Python中如何定义函数},{role:assistant,content:使用 def 关键字例如def my_func(): pass}]}{messages:[{role:user,content:什么是列表推导式},{role:assistant,content:列表推导式是一种简洁创建列表的方式例如[x*2 for x in range(10)]}]}{messages:[{role:user,content:如何安装pip包},{role:assistant,content:使用 pip install 包名例如pip install requests}]}{messages:[{role:user,content:什么是装饰器},{role:assistant,content:装饰器是一种修改函数行为的函数使用 语法糖}]}{messages:[{role:user,content:如何读取文件},{role:assistant,content:使用 open() 函数例如with open(file.txt, r) as f: content f.read()}]}4.6 验证数据格式importjsonwithopen(test_data.jsonl,r,encodingutf-8)asf:fori,lineinenumerate(f,1):try:datajson.loads(line.strip())ifmessagesnotindata:print(f第{i}行: 缺少 messages 字段)elifnotany(msg.get(role)assistantformsgindata[messages]):print(f第{i}行: 没有 assistant 回答)else:print(f第{i}行: ✅ 格式正确)exceptjson.JSONDecodeErrorase:print(f第{i}行: JSON格式错误 -{e})4.7 上传数据集控制台上传推荐新手访问 阿里云百炼控制台左侧菜单 → 数据管理 → 新增数据集选择类型SFT-文本生成上传 test_data.jsonl 文件点击发布API 上传可选curl-XPOST https://dashscope.aliyuncs.com/compatible-mode/v1/files\-HAuthorization: Bearer$DASHSCOPE_API_KEY\--formfile./test_data.jsonl\--formpurposefine-tune五、创建微调任务5.1 控制台创建左侧菜单 → 模型调优 → 训练新模型选择训练方式SFT有监督微调选择基础模型qwen3-14b推荐新手添加训练集刚才上传的数据集配置超参数新手可用默认值点击开始训练5.2 训练方式选择建议你的情况 推荐训练方式初学者、数据量小1000条 高效训练 (LoRA)数据量大、需要深度定制 全参训练 (SFT)希望保留模型通用能力 高效训练 (LoRA) 经验之谈高效训练LoRA能较好平衡训练时长和效果一般建议选择高效训练。六、超参数配置详解6.1 常用超参数参数 说明 推荐值 适用场景n_epochs 训练轮数模型遍历整个数据集的次数 小数据集1k条3-5轮 大数据集1w条1-2轮 数据集小可多跑几轮learning_rate 学习率控制权重调整幅度 高效训练1e-4 ~ 1e-5 全参训练1e-5 ~ 1e-6 学习率过大可能不收敛batch_size 批次大小每次训练处理的样本数 8、16、32默认16 取决于GPU显存max_length 单条数据最大 token 长度 2048默认需要时可设8192 长文本场景需调大lr_scheduler_type 学习率调度策略 “cosine”默认或 “linear” 通常默认即可warmup_ratio 预热比例初始阶段学习率从0逐步增加 0.05 ~ 0.1 帮助稳定初期训练lora_rank LoRA 低秩矩阵的秩仅LoRA 8默认可调至64 值越大效果越好但更慢6.2 新手配置模板# 推荐新手使用的配置training_type:efficient_sft# 高效训练n_epochs:3# 训练3轮learning_rate:1e-4# 学习率batch_size:16# 批次大小lora_rank:8# LoRA秩默认即可 小贴士如果您不了解超参数阿里云百炼也提供一套基于实验所得的默认配置您可以遵循默认配置进行首次训练。七、模型部署7.1 部署操作在模型调优页面找到训练成功的任务点击部署选择部署方式· 按量付费适合测试用多少付多少· 包月适合生产环境用量大时更划算等待部署完成通常几分钟7.2 获取调用信息部署成功后你会得到· 模型名称类似 qwen3-14b-finetuned-xxx可在模型快照列表中查看· API 地址https://dashscope.aliyuncs.com/compatible-mode/v1· API Key使用你的阿里云百炼 API Key八、LangChain 调用微调模型这是将微调成果应用到实际项目的关键一步。微调模型的使用方式和你之前学习的 LangChain 调用方式完全一致只需更换 model 参数8.1 基础调用importosfromdotenvimportload_dotenvfromlangchain_openaiimportChatOpenAIfromlangchain_core.messagesimportHumanMessage load_dotenv()# 只需要修改 model 参数modelChatOpenAI(modelqwen3-14b-finetuned-xxx,# ← 换成你的微调模型名称openai_api_keyos.getenv(DASHSCOPE_API_KEY),openai_api_basehttps://dashscope.aliyuncs.com/compatible-mode/v1,)responsemodel.invoke([HumanMessage(contentPython中如何定义函数)])print(response.content)8.2 结合 LangChain 高级功能微调模型可以与 LangChain 的各种组件无缝配合fromlangchain.memoryimportConversationBufferMemoryfromlangchain.chainsimportLLMChainfromlangchain_core.promptsimportChatPromptTemplate# 1. 添加对话记忆memoryConversationBufferMemory(return_messagesTrue)promptChatPromptTemplate.from_messages([(system,你是一个智能助手),(human,{input})])chainLLMChain(llmmodel,promptprompt,memorymemory)responsechain.invoke({input:你好})print(response[text])# 2. 结合输出解析器fromlangchain_core.output_parsersimportStrOutputParser chainprompt|model|StrOutputParser()responsechain.invoke({input:介绍Python})print(response)# 3. 结合 RAG微调模型 知识库fromlangchain.chainsimportcreate_retrieval_chain# ... 与之前学习的 RAG 代码相同 关键点微调模型与 LangChain 是无缝衔接的。你之前学习的所有功能——RAG、Agent、Memory、Chain——都可以直接使用微调模型只需要改 model 参数。九、模型评测9.1 评测方式模型微调完成后建议进行评测以验证效果评测方式 说明 适用场景人工评测 人工对比微调前后的回答质量 需要精细判断的场景自动评测 使用标准评测集自动评分 快速验证、效果对比在线测试 部署后调用 API 测试 真实业务场景验证9.2 使用阿里云百炼评测在控制台选择已部署的模型提交评测任务即可模型调优页面 → 选择训练好的模型点击模型评测选择评测数据集如 GSM8K或上传自定义评测集提交评测等待结果9.3 对比示例以小学数学作业助手场景为例SFT 前后的对比模型 GSM8K 评测分数基模未微调 75.74微调3k条数据 76.35微调10k条数据 76.80微调后模型数学能力有一定提升。十、常见问题Q1微调需要多少数据官方建议数据集最少需要上千条优质调优数据。但如果只是为了测试流程几十条数据足以验证。Q2训练失败怎么办检查数据格式是否正确用 Python 脚本验证 JSON 格式确保每条数据都有 assistant 回答检查数据集是否已发布查看控制台的错误提示Q3微调后效果反而变差可能原因· 过拟合训练数据量太少或不够多样或训练轮数过多· 数据质量差训练数据中存在错误· 灾难性遗忘模型丢失了通用能力解决方法提高数据质量增加数据多样性减少训练轮数或使用混合训练方案。Q4微调 vs RAG 选哪个两者不是互斥的。官方推荐先构建 RAG 应用收集数据再通过微调提升效果。微调解决格式、风格问题RAG 解决知识更新问题。Q5微调的费用如何按训练数据量计费· 千问3-14B$0.0016/千Token· 千问3-32B$0.008/千Token最小计费单位为 1 token。训练费用 训练数据 Token 总数 × 循环次数 × 训练单价。Q6如何提高微调效果提升数据质量宁缺毋滥确保每条数据正确无误增加数据多样性覆盖不同场景避免数据雷同调整超参数学习率从 1e-4 开始尝试epoch 从 3 轮开始选用更大参数的模型如 qwen3-32b 效果通常更好十一、与已有技能的联系将微调与你学过的内容串联起来你学过的技能 微调后如何应用LangChain 基础调用 模型名换成微调模型即可RAG 检索增强 微调模型可以更好地理解检索到的内容并按照特定格式回答Agent 智能代理 微调模型执行工具调用更稳定格式更规范输出解析器 微调模型可以直接按 JSON 格式输出解析成功率更高多模态文生图/图生图 微调模型可以与图像生成配合实现图文混合场景十二、总结本文完成了阿里云百炼微调的完整流程步骤 操作 状态1 环境准备与 API Key 配置 ✅2 训练数据准备ChatML 格式 ✅3 上传数据集 ✅4 创建微调任务 ✅5 超参数配置 ✅6 模型部署 ✅7 LangChain 调用微调模型 ✅8 模型评测 ✅关键流程图┌─────────────────────────────────────────────────────────────────┐ │ 阿里云百炼微调全流程 │ ├─────────────────────────────────────────────────────────────────┤ │ │ │ 阶段一准备数据 │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │ 准备问答对 │ - │ 格式化为 │ - │ 上传到 │ │ │ │ (至少上千条) │ │ JSONL格式 │ │ 数据管理 │ │ │ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │ │ │ ▼ │ │ 阶段二创建任务 │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │ 选择SFT训练 │ - │ 选择基础模型 │ - │ 配置超参数 │ │ │ │ (高效训练) │ │ (qwen3-14b) │ │ (可用默认) │ │ │ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │ │ │ ▼ │ │ 阶段三部署与调用 │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │ 训练完成 │ - │ 部署为API │ - │ LangChain │ │ │ │ (等待完成) │ │ (按量/包月) │ │ 一行调用 │ │ │ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────┘核心代码模板LangChain 调用微调模型fromlangchain_openaiimportChatOpenAI# 只需要修改 model 参数modelChatOpenAI(modelqwen3-14b-finetuned-xxx,# ← 你的微调模型名称openai_api_keyos.getenv(DASHSCOPE_API_KEY),openai_api_basehttps://dashscope.aliyuncs.com/compatible-mode/v1,)responsemodel.invoke(你的问题)print(response.content)