人工智能-大模型微调(属于transformer具体实践)

文章目录概念LORA(low rank adaption低秩适配)模型微调-简单示例模型微调-简单示例-如何使用保存的模型如何将保存的模型加到原始模型呢?1、动态挂载2、永久合并保存单模型混合训练通过 Loss Mask 实现“匹配”报错 ValueError: adamw_hf is not a valid OptimizerNames上干货了AI岗位高频出现的技能之一不太容易吃透理解多少写多少。概念LORA(low rank adaption低秩适配)是大模型领域最主流的参数高效微调PEFT技术核心是冻结原始大模型权重只训练极小的低秩矩阵模块用极低成本让模型适配新任务。模型微调-简单示例需求生成一个最简单的python代码 使用transformer微调模型 医学维度 8x8 并保存为新的模型安装依赖pip install transformers peft accelerate torch datasets代码importtorchfromtransformersimportAutoTokenizer,AutoModelForCausalLM,TrainingArguments,TrainerfrompeftimportLoraConfig,get_peft_model,TaskTypefromdatasetsimportDataset# 1. 配置参数MODEL_NAMEgoogle/gemma-2b-it# 小模型OUTPUT_PATH./my-medical-model# 保存路径RANK8# 8x8 秩# 2. 准备极简医学数据 (实际使用时请替换为真实数据)data{text:[问阿司匹林的作用答抗血小板聚集预防血栓。,问高血压饮食注意答低盐低脂多吃蔬菜。,问白细胞高说明什么答通常提示有细菌感染或炎症。,问心电图P波代表答代表心房除极。,问青霉素过敏症状答皮疹、呼吸困难严重可休克。]}datasetDataset.from_dict(data)# 3. 加载模型和分词器print(正在加载模型...)tokenizerAutoTokenizer.from_pretrained(MODEL_NAME)iftokenizer.pad_tokenisNone:tokenizer.pad_tokentokenizer.eos_token modelAutoModelForCausalLM.from_pretrained(MODEL_NAME,torch_dtypetorch.float16,device_mapauto# 自动使用 GPU)# 4. 配置 8x8 LoRAlora_configLoraConfig(rRANK,# 核心秩为 8lora_alpha16,# 缩放因子通常为 2*rtarget_modules[q_proj,v_proj],# 微调注意力层的 Q 和 Vlora_dropout0.05,task_typeTaskType.CAUSAL_LM)modelget_peft_model(model,lora_config)model.print_trainable_parameters()# 5. 数据预处理deftokenize(examples):returntokenizer(examples[text],truncationTrue,paddingmax_length,max_length64)tokenized_datasetdataset.map(tokenize,batchedTrue)tokenized_datasettokenized_dataset.add_column(labels,tokenized_dataset[input_ids])# 6. 训练配置argsTrainingArguments(output_dir./temp_output,per_device_train_batch_size2,num_train_epochs3,# 演示用实际需更多learning_rate2e-4,fp16True,logging_steps5,save_strategyno,report_tonone)trainerTrainer(modelmodel,argsargs,train_datasettokenized_dataset)# 7. 开始训练print(开始微调...)trainer.train()# 8. 保存为新模型print(f正在保存模型到{OUTPUT_PATH}...)model.save_pretrained(OUTPUT_PATH)tokenizer.save_pretrained(OUTPUT_PATH)print(f✅ 完成医学微调模型已保存至{OUTPUT_PATH})print( 文件夹内包含 adapter_config.json 和 adapter_model.safetensors)代码核心点解析1、r8:在 LoraConfig 中设置实现了你要求的 8x8 低秩适配。2、target_modules:指定只微调 q_proj 和 v_proj这是大模型中最有效且参数量最小的微调方式。3、save_pretrained:训练结束后它不会保存整个几 GB 的大模型而是只保存那个几 MB 大小的 LoRA 适配器文件adapter_model.safetensors。这就是“新模型”的核心部分。模型微调-简单示例-如何使用保存的模型fromtransformersimportAutoTokenizer,AutoModelForCausalLMfrompeftimportPeftModel# 加载基础模型base_modelAutoModelForCausalLM.from_pretrained(google/gemma-2b-it,device_mapauto)tokenizerAutoTokenizer.from_pretrained(google/gemma-2b-it)# 挂载你刚才训练的医学适配器modelPeftModel.from_pretrained(base_model,./my-medical-model)# 测试input_text问阿司匹林的主要作用是什么inputstokenizer(input_text,return_tensorspt).to(cuda)outputsmodel.generate(**inputs,max_new_tokens50)print(tokenizer.decode(outputs[0],skip_special_tokensTrue))如何将保存的模型加到原始模型呢?常见的方法1、动态挂载2、永久合并并保存1、动态挂载代码fromtransformersimportAutoTokenizer,AutoModelForCausalLMfrompeftimportPeftModelimporttorch# 1. 路径配置BASE_MODEL_NAMEgoogle/gemma-2b-it# 原始底座模型LORA_PATH./my-medical-model# 你刚才保存的 LoRA 文件夹print(1. 加载原始底座模型...)# 加载原始模型 (此时它还没有医学能力)base_modelAutoModelForCausalLM.from_pretrained(BASE_MODEL_NAME,torch_dtypetorch.float16,device_mapauto)tokenizerAutoTokenizer.from_pretrained(BASE_MODEL_NAME)print(2. 挂载医学 LoRA 适配器...)# 关键步骤将 LoRA 权重“加”到模型上# 此时 model 对象已经包含了医学能力但底层权重是动态计算的modelPeftModel.from_pretrained(base_model,LORA_PATH)# (可选) 如果你想让推理速度更快可以将权重真正合并到内存中不改变磁盘文件# model model.merge_and_unload()print(3. 测试医学能力...)input_text问阿司匹林的主要作用是什么inputstokenizer(input_text,return_tensorspt).to(model.device)withtorch.no_grad():outputsmodel.generate(**inputs,max_new_tokens50)responsetokenizer.decode(outputs[0],skip_special_tokensTrue)print(f回答:{response})2、永久合并保存代码fromtransformersimportAutoTokenizer,AutoModelForCausalLMfrompeftimportPeftModelimporttorch# 1. 路径配置BASE_MODEL_NAMEgoogle/gemma-2b-itLORA_PATH./my-medical-modelMERGED_OUTPUT_PATH./my-final-medical-model-merged# 最终合并后的模型保存路径print(正在加载模型并合并权重...)# 1. 加载底座base_modelAutoModelForCausalLM.from_pretrained(BASE_MODEL_NAME,torch_dtypetorch.float16,device_mapauto# 如果显存不够这里可能需要用 cpu 或分片加载)tokenizerAutoTokenizer.from_pretrained(BASE_MODEL_NAME)# 2. 加载 LoRApeft_modelPeftModel.from_pretrained(base_model,LORA_PATH)# 3. 【核心步骤】合并权重并卸载 LoRA 结构# 这步操作会将 Delta 权重直接加到 base_model 的参数中并返回一个普通的 transformers 模型print(执行权重合并 (Merge)...)merged_modelpeft_model.merge_and_unload()# 4. 保存为全新的独立模型print(f正在保存完整模型到{MERGED_OUTPUT_PATH}...)# 这会保存一个完整的 .safetensors 文件不再需要 adapter_config.jsonmerged_model.save_pretrained(MERGED_OUTPUT_PATH)tokenizer.save_pretrained(MERGED_OUTPUT_PATH)print(f✅ 成功)print(f 新模型位置:{MERGED_OUTPUT_PATH})print(f 现在你可以像使用普通模型一样使用它无需再加载 LoRA。)print(f 使用方法: AutoModelForCausalLM.from_pretrained({MERGED_OUTPUT_PATH}))单模型混合训练通过 Loss Mask 实现“匹配”需求只有一个模型输入里既有医学又有法律。我想让模型在处理医学句子时更新医学参数处理法律句子时忽略或更新法律参数。实现原理这时候“匹配参数”变成了 Loss Mask (损失掩码)。如果 match 1 (医学)计算 Loss反向传播更新梯度。如果 match 0 (法律但当前是医学模式)将该样本的 Loss 设为 0或者将 labels 设为 -100 (Transformers 惯例)这样模型“看”到了数据但不学习它。使用 -100 实现“不匹配则不学习”代码importtorchfromtransformersimportAutoTokenizer,AutoModelForCausalLMfrompeftimportget_peft_model,LoraConfig,TaskType# 1. 准备混合数据texts[医学阿司匹林治什么,# 匹配医学 (1)法律合同法是什么,# 不匹配医学 (0)医学高血压怎么吃,# 匹配医学 (1)法律刑法第几条# 不匹配医学 (0)]# 对应的匹配标签 (1医学, 0非医学)tags[1,0,1,0]model_namegoogle/gemma-2b-ittokenizerAutoTokenizer.from_pretrained(model_name)iftokenizer.pad_tokenisNone:tokenizer.pad_tokentokenizer.eos_token modelAutoModelForCausalLM.from_pretrained(model_name,device_mapauto,torch_dtypetorch.float16)lora_configLoraConfig(r8,task_typeTaskType.CAUSAL_LM,target_modules[q_proj])modelget_peft_model(model,lora_config)# 2. 预处理核心在于构造 labelsinput_ids_list[]labels_list[]fortext,taginzip(texts,tags):idstokenizer(text,truncationTrue,max_length32)[input_ids]input_ids_list.append(ids)# 【核心技巧】如何实现“不匹配则是0”# 在 Transformers 中将 labels 设为 -100计算 Loss 时会自动忽略该位置iftag1:# 匹配保留原始 ID 作为 label模型会学习labels_list.append(ids)else:# 不匹配全部填 -100模型看见但不学习 (Loss0)labels_list.append([-100]*len(ids))# 填充并转为 Tensormax_lenmax(len(x)forxininput_ids_list)input_idstorch.tensor([x[tokenizer.pad_token_id]*(max_len-len(x))forxininput_ids_list]).to(model.device)attention_mask(input_ids!tokenizer.pad_token_id).long()labelstorch.tensor([x[-100]*(max_len-len(x))forxinlabels_list]).to(model.device)print(Input IDs:,input_ids.shape)print(Labels (注意 -100 的部分):,labels)# 3. 训练一步outputsmodel(input_idsinput_ids,attention_maskattention_mask,labelslabels)lossoutputs.lossprint(f\n最终 Loss:{loss.item():.4f})print(解释Loss 仅由标记为 1 (医学) 的句子贡献标记为 0 的句子对梯度更新无影响。)报错 ValueError: adamw_hf is not a valid OptimizerNames报错信息ValueError:adamw_hf is not a valid OptimizerNames, please select one of [adamw_torch, ‘adamw_torch_fused’…]很明显这个参数过时了替换为adamw_torch即可。注is not a valid系列的报错都很明显。