LLaMA-Factory 微调 Qwen2-7B-Instruct

一、系统环境

• 使用的 autoDL 算力平台
  

1、下载基座模型

pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com  # （可选）配置 hf 国内镜像站huggingface-cli download --resume-download shenzhi-wang/Llama3-8B-Chinese-Chat --local-dir /root/autodl-tmp/models/Llama3-8B-Chinese-Chat1

二、llama factory 框架

1、安装框架

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e .
pip install unsloth
pip install vllm==0.7.3
pip install torch==2.7.0

2、准备数据

• fintech.json 数据格式如下：

[{"instruction": "国际经济与贸易专业的就业前景是怎样的？","input": "","output": "国际经济与贸易专业的就业前景较为广阔。随着全球经济一体化的深入发展，国际贸易交流不断增加，对专业人才的需求也日益增长。毕业生可以在跨国公司、国际贸易企业、金融机构以及政府部门等领域找到就业机会。此外，随着国家对外贸易政策的不断调整与改善，国际经济与贸易专业的就业前景也将更加乐观。综合来看，国际经济与贸易专业具有较高的就业率和就业质量，为毕业生提供了良好的职业发展空间。","history": [["从事国际经济与贸易专业的人可以有哪些工作机会？","国际经济与贸易专业拥有广泛的就业领域。毕业生可以在进出口公司、物流公司、保险公司、银行中介类货代以及报关员、报检员等职位工作。此外，他们还可以在政府机构如外贸局、外汇局、商检局、海关等部门从事涉外经济贸易的实际业务、管理、调研和宣传策划工作。国际经济与贸易专业还培养了高素质的复合型涉外经贸人才，使他们具备从事国际经贸工作的能力和竞争力。"]]},{"instruction": "列出三种创造性的解决问题的技巧。","input": "","output": "1. 头脑风暴: 这种技巧旨在通过鼓励尽可能多的想法来产生新颖的解决方案。与团队成员合作，不管想法多么离奇都应该提出来。最终，团队成员可以一起筛选想法，找到可行的解决方案。\n2. 逆向思维: 这种技巧要求您从问题的根源入手，从结局反推回去。基于这种思想，您可以回顾失败的原因，找到问题的根本所在，并找到更好的解决方案。\n3. 生命周期思考: 这种技巧倡导从全局的角度思考问题。它要求您考虑问题的各个环节，从问题的产生，发展到最终的解决方案。每一个阶段都需要考虑，确保解决方案是全面和持久的。","history": []},...{"instruction": "多元化是否更好","input": "","output": "多元化更好。\n\n通过多元化，不同的观点、文化、价值观和经验可以在一个社会中得到广泛的表达和交流。多元化可以促进创新和进步，因为它鼓励不同的思维方式和方法的交流和融合。不同的人才和智慧可以相互启发和补充，从而推动社会的发展。\n\n多元化还可以提供更多的选择和机会。在一个多元化的社会中，人们可以自由选择自己感兴趣的事业、教育、生活方式等。这种多样性可以促进个人的发展和幸福感，同时也为社会的进步和繁荣创造更多的机会。\n\n此外，多元化还有助于促进社会的稳定和和谐。在一个多元化的社会中，人们可以更好地理解和尊重彼此的差异，增进相互之间的理解和合作。这有助于减少冲突和分裂，促进社会的和谐和稳定。\n\n总的来说，多元化可以带来更多的创新、选择和机会，同时也有助于社会的稳定和和谐。因此，多元化是更好的选择。","history": []}]

• identity.json 数据格式如下：

[{"instruction": "hi","input": "","output": "Hello! I am 东东, an AI assistant developed by 科研🐶. How can I assist you today?"},{"instruction": "hello","input": "","output": "Hello! I am 东东, an AI assistant developed by 科研🐶. How can I assist you today?"},...{"instruction": "Who are you?","input": "","output": "I am 东东, an AI assistant developed by 科研🐶. How can I assist you today?"}]

将训练数据放在 LLaMA-Factory/data/fintech.json
并且修改数据注册文件：LLaMA-Factory/data/dataset_info.json

"fintech": {"file_name": "fintech.json","columns": {"prompt": "instruction","query": "input","response": "output","history": "history"}
}

3、启动 webui 界面

• 注意：使用下述命令 将远程端口 转发到 本地端口

ssh -CNg -L 7860:127.0.0.1:7860 -p 12610 [e-mail]

• webui 启动命令

cd LLaMA-Factory
llamafactory-cli webui

• 启动成功显示
  

四、在 webui 中设置相关参数

• 语言选择 zh，切换为中文界面
• 选择支持的模型名称，填上本地模型地址，微调方法选择 lora，RoPE 插值方法 选择 dynamic，加速方式 选择 unsloth，选择数据集，其他选项基本不需要改变。

五、进行微调

1、方式一：在 webui 界面上进行微调

前提：已完成 第四步

• 完成第四步后，点击下方的开始命令，开始训练
  

2、方式二：根据 第四步 生成的参数，使用命令行进行微调

前提：已完成 第四步

• 完成第四步后，点击下方的预览命令，根据第四步填写的微调参数，生成相关命令；命令如下：

llamafactory-cli train \--stage sft \--do_train True \--model_name_or_path /root/autodl-tmp/models/Llama3-8B-Chinese-Chat \--preprocessing_num_workers 16 \--finetuning_type lora \--template llama3 \--rope_scaling dynamic \--flash_attn auto \--use_unsloth True \--dataset_dir data \--dataset identity,fintech \--cutoff_len 2048 \--learning_rate 0.0002 \--num_train_epochs 10.0 \--max_samples 1000 \--per_device_train_batch_size 2 \--gradient_accumulation_steps 8 \--lr_scheduler_type cosine \--max_grad_norm 1.0 \--logging_steps 5 \--save_steps 100 \--warmup_steps 0 \--packing False \--report_to none \--output_dir saves/Llama-3-8B-Chinese-Chat/lora/train_2025-05-14-20-32-17 \--bf16 True \--plot_loss True \--trust_remote_code True \--ddp_timeout 180000000 \--include_num_input_tokens_seen True \--optim adamw_torch \--lora_rank 8 \--lora_alpha 16 \--lora_dropout 0 \--lora_target all

3、微调中

六、微调前后（聊天结果）进行对比

微调前

• 模型路径为 微调前模型本地路径，点击 下方chat选项，点击加载模型
  
  

微调后

• 模型路径为 微调前模型本地路径，检查点路径选择 刚刚微调产生的lora权重，点击 下方chat选项，点击加载模型
  
  

七、开放 openai 式接口

# 指定多卡和端口
CUDA_VISIBLE_DEVICES=0,1 API_PORT=8000 
llamafactory-cli api custom.yaml
#custom.yaml的文件内容为上述第五步中，方式二的命令参数

八、模型合并

将 base model 与训练好的 LoRA Adapter 合并成一个新的模型。

1、方式一

• custom_merge.yml 文件内容如下：

### model
model_name_or_path: /root/autodl-tmp/models/Llama3-8B-Chinese-Chat/ （原始模型路径）
adapter_name_or_path: /root/code/LLaMA-Factory/saves/LLaMA3-8B-Chinese-Chat/lora/train_2024-05-25-20-27-47 （lora权重参数路径）
template: llama3（模版）
finetuning_type: lora（微调类型）### export
export_dir: /root/autodl-tmp/models/LLaMA3-8B-Chinese-Chat-merged（合并后的路径）
export_size: 4（设置单个文件大小为4g）
export_device: cuda
export_legacy_format: false  

• 运行下方指令

llamafactory-cli export custom_merge.yml

• 运行结果
  

2、方式二

• 模型路径为 微调前模型本地路径，检查点路径选择 刚刚微调产生的lora权重，点击 下方export选项，导出目录填写需要保存的地址，点击开始导出
  
• 导出结果为：