07-大模型微调-LLama Factor微调Qwen -- 局部微调/训练医疗问答模型

课前小知识显卡占用有时候LLama Factor点击卸载模型之后显卡占用还是很高这个时候将服务停止后重启停止重启权重保存位置大模型微调瓶颈结构神经网络有很多层每一层参数对模型的影响是不同的越深影响越大作为局部微调就要去调整影响大的参数1. LoRA微调1.1、基本概念1.2、原理其中每一层的参数量B矩阵是主机递减的A矩阵是逐级升高的在前向传播的时候由下到上x参数是分别输出给左侧全量参数和右侧训练参数的得出的结果累加之后为h用h作loss计算然后再反向传播只给右侧训练参数训练只有原模型和训练模型要合并之后才能用右图为什么训练的快因为训练是反向传播反向传播的时候只有B\A矩阵参与原模型不参与所以相比反向传播原模型更快1.3、核心思想低秩适应Low-Rank Adaptation 冻结原始大模型参数仅训练新增的低秩矩阵下图AB将参数量减少千倍。数学表达调整后的权重 原始权重 BA1.4、为什么高效参数效率仅训练 : 0.1% ∼ 1% 的参数量如70B模型仅需70M参数。内存友好梯度只计算小矩阵显存占用降低3~5倍。即插即用训练后的LoRA权重可独立保存adapter_model.bin动态加载到原模型。✅ 适用场景 指令跟随、角色扮演、领域知识注入等轻量化微调。2. LLaMA Factory介绍这是训练的返回数据下一行的log是训练日志loss这里的epoch训练完成总体是1每一百轮保存一次参数还会保存web页面的配置文件支持非常多的模型2.1、核心功能统一框架支持 LLaMA/Qwen/Baichuan/ChatGLM 等 100 模型高效训练集成 LoRA/QLoRA/全参数微调支持多GPU、DeepSpeed零编码提供可视化Web UI无需写代码即可启动训练数据集智能处理自动格式化 instruction/input/output 三列数据2.2、环境配置创建环境# 1. 设置 conda 的环境目录到 /hy-tmp conda config --append envs_dirs /hy-tmp/conda_envs # 2. 查看当前配置 conda config --show envs_dirs # 创建环境实时查看要求的python版本 conda create -n llama_factory python3.11 -y conda activate llama_factory安装依赖确认在数据盘确认开启kexue上网否则报错# 安装依赖 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e .2.3、启动方式01进入conda环境后一定要在对应的目录下下面见方案一3.实战3. 实战微调Qwen-7B自定义数据集方案一通过Web UI配置推荐无需手动创建文件1.启动Web服务cd LLaMA-Factory llamafactory-cli webui选择模型以及绝对路径--------------------------------------------检查点路径模型训练之后保存的权重-----------------------------------------------训练、测试、对话、2. 界面配置关键参数 数据集------------------------新添加的数据集放在指定目录下修改认知回复如图是单轮对话多轮对话instruction和output放的是最后一轮对话3.给新添加的数据集做配置4.训练设置添加数据集圈起来的不用动截取长度根据数据集来太大占显存批次看显存24G-3梯度累计做n次前向计算进行一次反向传播加速计算验证集对于生成模型意义不大设置了验证比例--------------------------------------------设置保存间隔输出目录权重路径保存参数web界面的参数保存路径------------------------------开始训练后控制台输出了label的标签就证明没什么大问题了------------------------------------------------------------如果觉得批次还能调大点击中断 、调整批次、删掉文件夹新建一个、开始训练在训练的时候显卡占用在90%比较合理5.效果判断loss到达躺平浅色的是真实数据图深色的是趋势图6.测试将原模型和训练模型合在一起训练就是保存的位置绝对微调之后方案二使用YAML配置文件适合批量实验不使用web界面命令行配置文件训练1. 复制模板并修改 cp examples/train_lora/llama3_lora_sft.yaml config/qwen2_lora.yaml2. 编辑YAML内容关键参数示例model_name_or_path: Qwen/Qwen2.5-7B-Instruct dataset_dir: data dataset: your_dataset_name # 需在dataset_info.json中注册 finetuning_type: lora template: qwen output_dir: saves/qwen2-7b-lora per_device_train_batch_size: 2 gradient Accumulation_steps: 8 learning_rate: 2e-5 num_train_epochs: 3 lora_rank: 64 quantization_bit: 4 # 开启4-bit QLORA3. 启动训练llamafactory-cli train config/qwen2_lora.yaml方案三命令行直接指定参数灵活但需完整命令CUDA_VISIBLE_DEVICES0 llamafactory-cli train \ --stage sft \ --model_name_or_path Qwen/Qwen2.5-7B-Instruct \ --dataset your_dataset_name \ --template qwen \ --finetuning_type lora \ --lora_rank 64 \ --per_device_train_batch_size 2 \ --gradient_accumulation_steps 8 \ --learning_rate 2e-5 \ --num_train_epochs 3 \ --quantization_bit 4 \ --output_dir saves/qwen2-7b-lora4、LLama Factor 测试在对应的环境安装pip install jieba nltk rouge_chinese提前准备测试数据集截断长度和训练保持一致结果多作为参考详细讲解https://zhuanlan.zhihu.com/p/647310970https://zhuanlan.zhihu.com/p/647310970这两个参数是说模型的输出和测试集的相似程度 满分100%在机器翻译任务中,BLEU和ROUGE是两个常用的评价指标,BLEU根据精确率(Precision)衡量翻译的质量,而ROUGE根据召回率(Recall)衡量翻译的质量注意事项1. 数据集格式必须包含 instruction 、 input 、 output 三列Alpaca格式在 data/dataset_info.json 中注册数据集示例{ medical_qa: { file_name: data/medical.json, columns: { prompt: instruction, response: output } } }2. 路径问题模型路径可为 HuggingFace ID自动下载或 本地路径如/root/.cache/modelscope/hub/Qwen/Qwen3-14B)数据集路径需相对于 LLaMA-Factory/data/ 目录3. 中文乱码修复确保数据集文件编码为 UTF-8Linux检查命令 file -i data/your_data.json 训练命令添加 --template qwen 指定中文模板模型效果测试from transformers import AutoModelForCausalLM, AutoTokenizer from peft import PeftModel #加载原始模型 model AutoModelForCausalLM.from_pretrained(Qwen/Qwen-7B, device_mapauto) tokenizer AutoTokenizer.from_pretrained(Qwen/Qwen-7B) #注入LORA权重 model PeftModel.from_pretrained(model, saves/qwen_7b_medical/adapter_model) #医疗问答测试 input_text 用户糖尿病人可以吃什么水果\n助手 inputs tokenizer(input_text, return_tensorspt).to(modeldevice) print(tokenizerDecode(model_generate(**inputs, max_length128)[0]))实操训练医疗问答助手1、 模型下载/download_llm.py魔搭社区采用程序下载不带instruct的是没有人工对齐的#模型下载 from modelscope import snapshot_download dataset_dir r/hy-tmp/llm model_dir snapshot_download(Qwen/Qwen2.5-7B-Instruct,cache_dirdataset_dir)2、数据获取/download_data.py网址 https://www.modelscope.cn/datasets/xiaofengalg/Chinese-medical-dialogue/dataPeview数据集格式JSON{ instruction: 如何预防糖尿病?, input: , output: 1. 控制饮食... 2. 定期运动... } { instruction: 解释高血压成因, input: 患者年龄65岁, output: 高龄患者的血压升高主要与... }我采取下载然后上传不然要配置环境复制上传数据文件#数据集下载 from modelscope.msdatasets import MsDataset dataset_dir r/hy-tmp/LLaMA-Factory/data ds MsDataset.load(xiaofengalg/Chinese-medical-dialogue, subset_namedefault, splittrain,cache_dirdataset_dir) #您可按需配置 subset_name、split参照“快速使用”示例代码3、启动web界面llamafactory-cli webuiVS code有端口转发4、给新添加的数据集做配置train_0001_of_0001.json5、配置web界面6、训练前测试7、设置训练批处理大小根据显存占用调整设置保存的间期等待一段时间后这显卡占用太大了是不好的生产中应该减小批次------------------训练中--------------------------------------------------------------------训练的过程中loss的跳动是很正常的8、调整测试集虽然只有0.1但是样本基数大耗时比较大调整后中断等待调整到大于0的最小值点击开始训练模型会继续训练日志输出训练中-------------------------------------------------------------------------------------------9、效果判断损失函数类似图中趋势就好了loss不再有下降趋势终止测试显卡也释放了10、测试将本地的训练权重加载到测试对比询问之前的对话数据集原文{ instruction: 小儿肥胖超重该如何治疗, input: 女宝宝刚7岁这一年察觉到我家孩子身上肉很多而且食量非常的大平时都不喜欢吃去玩请问小儿肥胖超重该如何治疗。, output: 孩子出现肥胖症的情况。家长要通过孩子运功和健康的饮食来缓解他的症状可以先让他做一些有氧运动比如慢跑爬坡游泳等并且饮食上孩子多吃黄瓜胡萝卜菠菜等禁止孩子吃一些油炸食品和干果类食物这些都是干热量高脂肪的食物而且不要让孩子总是吃完就躺在床上不动家长在治疗小儿肥胖期间如果孩子情况严重就要及时去医院在医生的指导下给孩子治疗。, history: null },对比原来的回答对比腾讯元宝总结训练之后的效果有显著提升。微调后的Qwen模型回答在专业性、结构化和针对性方面都更接近理想的医疗回答。 具体分析如下 与训练前训练前对比提升明显。 训练前回答训练前内容较为泛泛像一份通用的健康清单如“多吃蔬菜水果”缺乏针对“小儿”这一特殊群体的深度和医疗建议的严谨性。 微调后回答训练后回答结构更清晰分点阐述并使用了更专业的表述如“肥胖是一种慢性疾病应该以预防为主”、“饮食治疗原则是使体重逐渐下降以不引起营养不良和饥饿感为度”。同时给出的建议如运动项目列举更具体、可操作。 与原数据标准答案对比方向正确但精细度有差异。 原数据回复高度情境化、口语化直接回应了“7岁女宝”不爱动、食量大的具体问题给出了“慢跑、爬坡、游泳”、“吃黄瓜、胡萝卜”等非常具体的行为指导并包含“不要吃完就躺着”等生活化提醒。 微调后回答训练后成功学到了原数据中“分点给出具体运动和生活建议”的模式并将建议提升到了更通用的专业原则层面。虽未完全复现原数据的口语化细节但掌握了其核心的“提供具体、可行的非药物干预方案”的精髓。 与标杆回答元宝对比仍有优化空间。 标杆回答元宝在专业深度、结构严谨性如明确标注“关键”、“基础”、“保障”、以及对家长心理和儿童生长发育的全面考量上都更为出色。 微调后回答训练后在专业性和结构化上介于训练前和标杆之间尚未达到元宝那种教科书般的系统性和深度。 结论 本次微调是成功的。模型有效学习了医疗问答数据集中专业、具体、结构化的回答风格摆脱了训练前通用、笼统的模板生成了明显更优质的回答。不过若想达到元宝那种深度可能需要在微调数据中提供更多高质量、结构清晰的范例。