LLaMA-Factory大模型微调全流程指南

该文档为LLaMA-Factory大模型微调提供了完整的技术指导，涵盖了从环境搭建到模型训练、推理和合并模型的全流程，适用于需要进行大模型预训练和微调的技术人员。

一、docker 容器服务

请参考如下资料制作 docker 容器服务，其中，挂载的目录关系如下：

1、制作 docker 容器服务的资料列表

• 《基于docker的LLaMA-Factory全流程部署指南》

2、挂载目录列表

宿主机目录	容器目录(如：docker)
./LLaMA-Factory/hf_cache	/root/.cache/huggingface
./LLaMA-Factory/ms_cache	/root/.cache/modelscope
./LLaMA-Factory/om_cache	/root/.cache/openmind
./LLaMA-Factory/data	/app/data
./LLaMA-Factory/output	/app/output

二、下载模型

前往 ModelScope 下载模型，以 Qwen/Qwen2.5-3B-Instruct 模型举例，获取模型下载地址。

# 执行下面的命令，根据您的实际情况选择不同的下载方式
# 以 modelscope 方式下载（注：宿主机目录 ）
# modelscope download --model Qwen/Qwen2.5-3B-Instruct README.md --local_dir ./LLaMA-Factory/ms_cache/Qwen2.5-3B-Instruct
# 以 git 方式下载（注：宿主机目录 ）
git clone https://www.modelscope.cn/Qwen/Qwen2.5-3B-Instruct.git ./LLaMA-Factory/ms_cache/Qwen2.5-3B-Instruct

三、准备待微调数据

准备待微调的数据，假设已经创建文件 ./LLaMA-Factory/data/alpaca_zh_test.json（注：宿主机目录 ） 且 已经添加内容如下：

注：该 json 文件编码格式必须为UTF-8，否则，训练的模型输出内容会乱码，在linux环境可以执行file -i ./LLaMA-Factory/data/alpaca_zh_test.json 命令判断文件编码类型。

[{"instruction": "正式礼貌询问","input": "您好，能否请您详细做一下自我介绍呢？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "日常随意询问","input": "嘿，来跟我说说你自己呗","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "好奇探索式询问","input": "我很好奇，你能讲讲自己是个怎样的存在吗？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "开门见山式询问","input": "介绍下你自己","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "委婉请求式询问","input": "不知是否方便，能请您做个自我介绍吗？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "引导式询问","input": "想必你有很多特别之处，能给我讲讲自己吗？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "友好互动式询问","input": "哈喽，我们认识一下，你能介绍下自己吗？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "礼貌请教式询问","input": "您好，想请教下您能做个自我介绍吗？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "轻松调侃式询问","input": "嘿，快自报家门啦","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "好奇追问式询问","input": "我对您很好奇，您能详细说说自己吗？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "简洁命令式询问","input": "做个自我介绍","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "礼貌邀请式询问","input": "您好，诚挚邀请您做个自我介绍","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "温和建议式询问","input": "要不您给我讲讲自己吧","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "俏皮询问","input": "嘿，小可爱，介绍下自己呗","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "期待式询问","input": "好期待了解您，能做个自我介绍吗？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "试探式询问","input": "我想了解下您，不知能否做个自我介绍？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "尊重式询问","input": "尊敬的您，能做个自我介绍让我认识下吗？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "热情询问","input": "哇，好激动，快介绍下你自己呀","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "委婉好奇式询问","input": "有点好奇您的情况，能给我讲讲吗？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "礼貌请求补充式询问","input": "您好，麻烦做个自我介绍，详细些更好哦","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "轻松聊天式询问","input": "咱聊聊，你先介绍下自己呗","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "直截了当初识询问","input": "初次交流，介绍下你自己","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "礼貌询问用途式","input": "您好，能介绍下自己以及您能做什么吗？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "日常交流式询问","input": "嘿，跟我说说你是干嘛的，顺便介绍下自己","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "正式商务式询问","input": "您好，在开展交流前，烦请您做个自我介绍","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "友好好奇式询问","input": "你好呀，我很好奇你，能介绍下自己不？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "温和请求式询问","input": "可以请您介绍下自己吗，非常感谢","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "俏皮活泼式询问","input": "哈喽呀，快蹦出你的自我介绍","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "期待好奇式询问","input": "好期待你介绍自己，快说说吧","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "礼貌求知式询问","input": "您好，想学习了解下您，能做个自我介绍吗？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "轻松调侃好奇式询问","input": "嘿，神秘的你，快揭秘下自己","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "简洁直接式询问","input": "介绍下自己，谢谢","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "礼貌邀请详细式询问","input": "您好，邀请您详细介绍下自己","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "温和建议友好式询问","input": "要不你友好地介绍下自己呀","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "俏皮可爱式询问","input": "小可爱，快亮出你的自我介绍","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "期待热情式询问","input": "超级期待你热情介绍自己，快开始吧","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "试探礼貌式询问","input": "我想进一步认识您，不知能否麻烦您介绍下自己？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "尊重正式式询问","input": "尊敬的您，在交流前请您做个正式自我介绍","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "热情友好式询问","input": "哇哦，友好地介绍下你自己吧","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "委婉好奇深入式询问","input": "有点好奇您更深入的情况，能详细讲讲自己吗？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "礼貌请求丰富式询问","input": "您好，麻烦丰富地介绍下自己，谢谢","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "轻松聊天深入式询问","input": "咱深入聊聊，你先详细介绍下自己呗","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "直截了当初次交流式询问","input": "初次交流，全面介绍下你自己","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "礼貌询问多方面式","input": "您好，能介绍下自己以及您擅长的方面吗？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "日常交流深入式询问","input": "嘿，深入跟我说说你是干嘛的，顺便好好介绍下自己","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "正式商务详细式询问","input": "您好，在合作探讨前，烦请您详细做个自我介绍","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "友好好奇全面式询问","input": "你好呀，我很好奇你各方面情况，能全面介绍下自己不？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "温和请求细致式询问","input": "可以请您细致介绍下自己吗，十分感谢","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "俏皮活泼丰富式询问","input": "哈喽呀，快用丰富的方式介绍下自己","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "期待好奇全面式询问","input": "好期待你全面介绍自己，赶紧的","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "礼貌求知深入式询问","input": "您好，想深入学习了解下您，能详细做个自我介绍吗？","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "轻松调侃好奇深入式询问","input": "嘿，神秘的你，快深入揭秘下自己","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"},{"instruction": "简洁直接详细式询问","input": "详细介绍下自己，谢谢","output": "我是人工智能模型小智同学，具备多种能力，不管是知识问答还是内容创作等方面的问题，都可以问我。"}
]

在 ./LLaMA-Factory/data/dataset_info.json （注：宿主机目录 ） 文件里面添加数据集信息，假设已经创建该文件且添加内容如下：

{"alpaca_zh_test": {"file_name": "alpaca_zh_test.json","formatting":"alpaca","columns": {"prompt":"instruction","query": "input","response": "output"}}
}

注：alpaca_zh_test.json 必须跟 dataset_info.json 放在同一个目录下，否则会找不到文件。

四、训练及测试

1、命令行方式

在 ./LLaMA-Factory/data/alpaca_zh_test_train.yaml （注：宿主机目录 ） 文件里面添加用于【模型微调】的配置参数，假设已经创建该文件且添加内容如下：

# ========== 基础训练配置 ==========
# 训练阶段类型：指令监督微调（SFT）
stage: sft
# 启用训练模式（必须开启以启动训练流程）                     
do_train: true
# 模型权重路径（Hugging Face标识符或本地路径【注：容器目录】，需确保与模板匹配）
model_name_or_path: /root/.cache/modelscope/Qwen2.5-3B-Instruct
# 对话模板（Qwen系列必须使用default模板，否则影响对话格式)
template: default# ========== 数据集配置 ==========
# 数据集配置文件目录【注：容器目录】
dataset_dir: data
# 注册数据集名称（支持多个数据集逗号分隔）
dataset: alpaca_zh_test
# 文本处理最大长度（超过此值触发截断，长文本任务建议8192）
cutoff_len: 2048
# 最大训练样本数（用于限制大规模数据集内存占用）
max_samples: 100000# ========== 训练参数 ==========
# 单卡批次大小（4090显卡建议2到4，根据显存调整）
per_device_train_batch_size: 2
# 梯度累积（等效总批次=2*8=16，显存不足时优先调高此值）
gradient_accumulation_steps: 8
# 训练轮次（建议至少3轮，复杂任务需50+轮）
num_train_epochs: 50
# 初始学习率（LoRA建议0.00005，全参数微调建议0.00001）
learning_rate: 0.00005
# 学习率调度器（稳定收敛首选，对比step需配置warmup）
lr_scheduler_type: cosine
# 梯度裁剪阈值（防止梯度爆炸，常规任务建议0.5-1.0）
max_grad_norm: 1.0
# 优化器类型（优先选torch原生优化器）
optim: adamw_torch
# 首次训练/全新任务时设为false
resume_from_checkpoint: false
# 常规任务建议开启以优化内存
remove_unused_columns: true# ========== LoRA配置 ==========
# 微调策略（LoRA比QLoRA精度更高，4-bit量化选QLoRA），【注：如果是预训练模型，必须选择full】
finetuning_type: lora
# 矩阵分解维度（默认8，效果不足时可升到16）
lora_rank: 8
# 缩放系数（建议为秩的2倍，过高易过拟合）
lora_alpha: 16
# 丢弃率（常规任务设为0，数据量少时可设0.1）
lora_dropout: 0.0
# 作用模块（Qwen模型默认作用于c_attn,attn.c_proj等线性层）
lora_target: all# ========== 硬件加速配置 ==========
# 混合精度训练（A100/V100等支持BF16的显卡必开启）
bf16: true
# 自动启用FlashAttention（长序列任务显存降低30%）
flash_attn: auto
# 数据预处理线程数（建议等于CPU核数）
preprocessing_num_workers: 16
# 分布式训练超时（多卡训练需调高，单位毫秒）
ddp_timeout: 180000000# ========== 日志与模型输出 ==========
# 输出目录【注：容器目录】（含检查点和日志）
output_dir: saves/Qwen2.5-3B-Instruct/lora/train_000000001
# 覆盖已有输出目录
overwrite_output_dir: true
# 日志记录间隔（调试时建议1，常规训练5-10）
logging_steps: 5
# 模型保存间隔（根据存储空间调整，频繁保存影响速度）
save_steps: 100
# 生成损失曲线图（用于监控过拟合/欠拟合）
plot_loss: true# ========== 高级配置 ==========
# 信任远程代码（加载自定义模型结构时必须开启）
trust_remote_code: true
# 新增适配器（多任务训练时设为True防覆盖）
create_new_adapter: false
# 统计处理token数（用于计算训练成本）
include_num_input_tokens_seen: true

在 ./LLaMA-Factory/data/alpaca_zh_test_chat.yaml （注：宿主机目录 ） 文件里面添加用于【模型推理】的配置参数，假设已经创建该文件且添加内容如下：

# 模型权重路径（Hugging Face标识符或本地路径【注：容器目录】，需确保与模板匹配）
model_name_or_path: /root/.cache/modelscope/Qwen2.5-3B-Instruct
# 输出目录【注：容器目录】（含检查点和日志）
adapter_name_or_path: saves/Qwen2.5-3B-Instruct/lora/train_000000001
# 对话模板（Qwen系列必须使用default模板，否则影响对话格式)
template: default
# 推理引擎（huggingface/vllm）
infer_backend: huggingface
# 信任远程代码（加载自定义模型结构时必须开启）
trust_remote_code: true

在 ./LLaMA-Factory/data/alpaca_zh_test_export.yaml （注：宿主机目录 ） 文件里面添加用于【模型合并】的配置参数，假设已经创建该文件且添加内容如下：

# ========== 模型配置 ==========
# 模型权重路径（Hugging Face标识符或本地路径【注：容器目录】，需确保与模板匹配）
model_name_or_path: /root/.cache/modelscope/Qwen2.5-3B-Instruct
# 输出目录【注：容器目录】（含检查点和日志）
adapter_name_or_path: saves/Qwen2.5-3B-Instruct/lora/train_000000001
# 对话模板（Qwen系列必须使用default模板，否则影响对话格式)
template: default
# 信任远程代码（加载自定义模型结构时必须开启）
trust_remote_code: true# ========== 合并输出配置 ==========
# 必须修改：合并模型的输出目录（保存LoRA合并后的完整模型）
export_dir: output/Qwen2.5-3B-Instruct-new
# 单文件最大体积（单位：GB），超过时分割存储（默认值：2）
export_size: 5
# 导出设备类型（显存不足时设为cpu，可用gpu加速导出过程）
export_device: cpu
# 是否导出为旧版格式（兼容老版本推理框架需设为true）
export_legacy_format: false# ========== 导出量化配置 ==========
# 支持的量化位数枚举值：4（INT4）、8（INT8），仅限GPTQ等后训练量化方法使用
# export_quantization_bit: 4
# 量化校准数据集路径（JSON格式），需包含与目标任务匹配的数据分布
# export_quantization_dataset: data/c4_demo.json

注：以上三个文件建议跟 ./LLaMA-Factory/data/dataset_info.json 放在同一个目录下。

在宿主机的控制台执行该命令 docker exec -it llamafactory /bin/bash 进入 docker 容器，并且，在 docker 容器执行如下命令：

# 模型微调
llamafactory-cli train /app/data/alpaca_zh_test_train.yaml
# 模型推理
llamafactory-cli chat /app/data/alpaca_zh_test_chat.yaml
# 模型合并
llamafactory-cli export /app/data/alpaca_zh_test_export.yaml

2、WEB方式

请在浏览器中访问 http://localhost:7860/ ，即可访问 LLaMA-Factory 的 WEB 服务。

模型微调：除了用箭头标志的地方需要修改，其他地方建议使用默认值。

模型微调：除了用箭头标志的地方需要修改，其他地方建议使用默认值。