大模型高效微调技术集合：从BitFit到LoRA，大模型微调不再难！

模型是什么简单来说大语言模型是一种在海量文本数据上进行预训练的深度学习模型。由于其巨大的参数规模通常在数十亿到数千亿之间和广泛的训练数据它具备了强大的自然语言理解和生成能力能够执行问答、翻译、摘要、内容创作等多种复杂的语言任务。为什么要进行“高效微调”预训练好的大模型是一个通用的语言模型就像一本无所不包的百科全书。但在实际应用中我们往往需要模型在特定领域或特定任务上表现得更专业例如让它扮演一个熟悉公司内部知识的客服或者模仿特定风格进行写作。为了实现这一目标我们需要在自己的数据上对模型进行“微调”。然而“全量微调”即训练模型的所有参数对计算资源的要求极高一块消费级显卡甚至无法启动一个数十亿参数模型的微调任务这成为了广大开发者和中小型企业应用大模型的主要障碍。“参数高效微调”应运而生。它的核心目标就是在尽可能冻结原始模型参数的基础上只训练极小一部分额外或选择性的参数从而以极低的计算成本达到接近甚至超越全量微调的效果。学习并掌握高效微调是当下让大模型技术落地应用的关键一步。主流的高效微调方法有哪些高效微调领域发展迅速涌现了多种技术路线。本文将系统性地介绍和对比当前最主流的几种方法并简单分析它们的原理BitFit一种仅微调模型偏置bias参数的简单方法。Prompt Tuning在输入端添加可训练的“虚拟提示”来引导模型。(IA)³通过学习缩放向量来调整模型内部的激活值。LoRA目前应用最广泛的技术通过注入低秩矩阵来适配新任务。一、原始模型在进行任何微调之前我们首先需要加载我们的基础模型。这里我们选用的是Langboat/bloom-1b4-zh一个拥有14亿参数的中文Bloom模型。from transformers import AutoModelForCausalLM# 使用 low_cpu_mem_usageTrue 参数可以在加载大模型时有效节省内存model AutoModelForCausalLM.from_pretrained( Langboat/bloom-1b4-zh, low_cpu_mem_usageTrue)# 让我们计算一下模型的总参数量total_params sum(param.numel() for param in model.parameters())print(f模型总参数数: {total_params})# 输出模型总参数数: 1303111680正如我们所见这个模型有超过13亿个参数。直接对所有这些参数进行微调即全量微调对计算资源的要求非常高。这正是我们需要“高效微调”技术的原因。二、微调的调整在标准的训练流程中使用FP32精度和Adam优化器显存占用主要来自三个部分模型权重:模型本身需要加载到显存中。一个参数通常用一个32位浮点数4字节表示。梯度 :在反向传播过程中我们需要为每个参数计算一个梯度以便知道如何更新它们。这部分和模型权重大小相同。优化器状态:这是显存消耗的大头。像Adam这样的标准优化器需要为每个参数维持两个状态一阶和二阶矩估计。因此它需要的显存通常是模型权重的两倍模型权重1.3B * 4~ 5.2 GB梯度1.3B * 4~ 5.2 GB优化器状态 (Adam)1.3B * 4 * 2~ 10.4 GB总计~ 20.8 GB所以仅仅是为了开始训练我们就需要至少20.8 GB的显存这还没有把训练数据、中间激活值等其他开销计算在内。这个数字清晰地表明对于普通显卡例如8GB或12GB显存来说全量微调一个1.3B的模型是完全不可行的。对于动辄几十B、上百B的更大模型所需的资源更是天文数字。三、BitFit面对全量微调巨大的资源门槛社区探索出了多种“参数高效微调”方法。这些方法的核心思想是冻结大部分模型参数只调整其中一小部分。我们首先介绍BitFit它的策略极为简洁只微调模型中所有的偏置bias参数。# BitFit: 冻结所有非bias参数# 记录可训练参数的数量trainable_params_count 0for name, param in model.named_parameters(): # 如果参数名中不包含 bias则冻结它 if bias not in name: param.requires_grad False # 否则该参数bias就是我们要训练的 else: trainable_params_count param.numel()print(fBitFit 需要训练的参数数量: {trainable_params_count})# 计算可训练参数占总参数的比例total_params sum(param.numel() for param in model.parameters())percentage (trainable_params_count / total_params) * 100print(f可训练参数占比: {percentage:.4f}%)# 输出:# BitFit 需要训练的参数数量: 544768# 可训练参数占比: 0.0418%模型权重1.3B * 4~ 5.2 GB梯度0.54M * 4~ 2.2 GB优化器状态 (Adam)0.54M * 4 * 2~ 4.4 GB总计~ 5.3 GBBitFit背后的假设是大语言模型经过预训练后其主要的知识已经存储在权重参数中而偏置参数则更多地负责适配和调整。通过只调整bias我们就能在很大程度上引导模型的行为以适应新的任务。四、Prompt Tuning与 BitFit 修改模型内部参数偏置不同Prompt Tuning 的思路是完全冻结原始大模型的所有参数转而在输入端添加一些可训练的“虚拟Token”。想象一下一个巨大的、预训练好的语言模型就像一台功能极其强大但操作复杂的机器。全量微调像是把这台机器的内部零件上亿个参数全部拆开重新组装来让它适应一个新任务。这非常耗时耗力。Prompt Tuning则完全不同。它选择完全不碰机器的任何内部零件。它的做法是给这台机器加装一个精巧的“遥控器”。这个“遥控器”就是我们所说的“虚拟提示”。工作原理添加虚拟Token我们在输入给模型的文本前面加上一小段特殊的、可训练的“虚拟Token”。这些Token不是任何真实存在的词而是可以自由调整的向量。冻结模型主体原始模型的13亿参数全部被“冻结”在训练过程中保持不变。只训练虚拟Token在微调时我们所有的计算资源都集中于一件事——学习这些虚拟Token的最佳向量表示。引导模型行为训练的目标是让这些学成的虚拟Token能够最有效地“引导”或“指挥”那个被冻结的大模型让它接下生成符合我们任务要求的内容。预测时的过程自动注入当你给模型一个新的输入并让它生成回答时它会在内部自动完成一个关键动作把那个已经训练好的‘虚拟提示’悄无声息地拼接到您的新输入的最前面。对于Prompt Tuning有两种做法Soft Prompt和Hard PromptSoft Prompt (随机初始化):“遥控器”的初始设置是完全随机的我们从零开始让模型在训练数据中自己摸索出最佳的指令组合。这可能需要更多的训练时间。from peft import PromptTuningConfig, get_peft_model, TaskType, PromptTuningInit# Soft Promptconfig PromptTuningConfig(task_typeTaskType.CAUSAL_LM, num_virtual_tokens10)configHard Prompt (文本初始化):我们不从零开始而是用一段有意义的文字比如 “下面是一段人与机器人的对话。”来作为“遥控器”的初始设置。这给了模型一个很好的起点它知道大概要干什么训练过程通常会更快、效果也更好。from peft import PromptTuningConfig, get_peft_model, TaskType, PromptTuningInit# Hard Promptconfig PromptTuningConfig(task_typeTaskType.CAUSAL_LM, prompt_tuning_initPromptTuningInit.TEXT, prompt_tuning_init_text将下面的中文翻译成英文, num_virtual_tokenslen(tokenizer(将下面的中文翻译成英文)[input_ids]), tokenizer_name_or_pathLangboat/bloom-1b4-zh)config可以看一下Hard Prompt后的参数是多少model get_peft_model(model, config)model.print_trainable_parameters()#输出trainable params: 16,384 || all params: 1,303,128,064 || trainable%: 0.0013可以看到原模型的参数是1,303,128,064而Hard Prompt的训练参数只要16,384占 0.0013%比BitFit的训练参数更少。五、P-Tuning我们前面介绍的 Prompt Tuning无论是Soft还是Hard初始化虽然高效但它的“遥控器”相对简单——我们直接优化那些虚拟Token的向量本身。P-Tuning v2则认为我们可以构建一个更强大的“遥控器”。它的核心思想是不再直接学习虚拟Token的最终向量而是学习一个能够生成这些虚拟Token的小型神经网络。这个小型神经网络就被称为Prompt Encoder。工作原理用一个“小模型”指导“大模型”冻结大模型和 Prompt Tuning 一样13亿参数的Bloom模型本体被完全冻结。构建Prompt Encoder我们在旁边搭建一个独立的小型神经网络。最常见的结构是一个多层感知机MLP。输入与输出这个Prompt Encoder的输入是一些基础的、可学习的“前缀Token”它的输出就是我们最终要拼接到真实输入前面的那些“虚拟Token”的嵌入向量。只训练Encoder在微调过程中我们所有的梯度都用来更新这个小小的Prompt Encoder的参数。from peft import PromptEncoderConfig, TaskType, get_peft_model, PromptEncoderReparameterizationTypeconfig PromptEncoderConfig(task_typeTaskType.CAUSAL_LM, num_virtual_tokens10, encoder_reparameterization_typePromptEncoderReparameterizationType.MLP, encoder_dropout0.1, encoder_num_layers5, encoder_hidden_size1024)config由于使用了多层神经网络Prompt Encoder能够学习到比简单的独立向量更复杂、更强大的模式从而生成质量更高的虚拟提示。model get_peft_model(model, config)model.print_trainable_parameters()#输出trainable params: 5,267,456 || all params: 1,308,379,136 || trainable%: 0.4026可以看到原模型的参数是1,303,128,064而P-Tuning v2的训练参数只要 5,267,456占原模型的0.4026%。六、lora前面介绍的P-Tuning v2是通过训练一个“小模型”来生成最优的“指令”虚拟提示。LoRA则从一个完全不同的角度切入。它认为我们不需要在输入端做文章而是可以直接对模型内部的权重矩阵进行调整。它的核心思想是不再直接修改庞大的原始权重矩阵而是学习一个能够对该矩阵进行“增量编辑”的小型插件。这个小型的“编辑插件”就是LoRA的核心——低秩分解矩阵。工作原理冻结大模型和所有PEFT方法一样13亿参数的Bloom模型本体被完全冻结。构建编辑插件 (LoRA层)我们在原始的、被冻结的权重矩阵W旁边并联一个由两个矩阵A和B组成的小型“旁路”。这个B*A的组合就是我们的“编辑插件”。输入与输出输入与原始层完全相同比如都是前一层网络的输出x。输出原始的W和我们的“插件”BA并行对输入x进行处理然后将两个结果相加。即输出 W*x B*A*x。这个B*A*x就是我们额外附加的“编辑量”。简单来说Wx基础通用能力BAx的核心作用是提供一个为新任务量身定制的、精确的“修正信号”或“调整量”。只训练插件在微调过程中所有的梯度都用来更新这两个小矩阵A和B的参数。原始的巨大矩阵W始终保持不变。from peft import LoraConfig, TaskType, get_peft_modelconfig LoraConfig(task_typeTaskType.CAUSAL_LM, target_modules.*\.1.*query_key_value, modules_to_save[word_embeddings])config plaintext model.print_trainable_parameters()#输出trainable params: 95,225,856 || all params: 1,398,337,536 || trainable%: 6.8099可以看到原模型的参数是1,303,128,064而P-Tuning v2的训练参数只要 95,225,856占原模型的6.8099%。七、LA3它的核心思想与LoRA截然不同。LoRA做的是“加法”Wx BAx而IA3 做的是“乘法”。它不为模型增加一条新的旁路而是学习如何去“缩放”或“重新加权”模型内部已有的信息流。工作原理想象一下Transformer模型内部的信息流就像一条条管道里的水流。LoRA像是在主管道旁边并联了一条新的小水管然后将两股水流汇合。(IA)³则完全不改变管道结构。它的做法是在关键管道的节点上安装一个可学习的“智能调节阀”。这个“智能调节阀”就是一个非常简单的、可训练的向量冻结大模型和其他方法一样大模型的所有原始权重都被冻结。引入缩放向量在一些关键位置通常是Transformer块中的Key、Value以及前馈网络部分我们引入一个可学习的向量。逐元素相乘当原始的激活向量h_original流经此地时它会被逐元素地乘以这个我们学到的向量L得到新的激活向量h_new h_original * L。只训练调节阀在微调过程中我们唯一需要学习的就是这个小小的缩放向量L。from peft import IA3Config, TaskType, get_peft_modelconfig IA3Config(task_typeTaskType.CAUSAL_LM)config plaintext model.print_trainable_parameters()#输出trainable params: 344,064 || all params: 1,303,455,744 || trainable%: 0.0264这次可训练的参数数量骤降到了仅仅34万左右占比只有0.0264%。微调方法可训练参数 (占比)核心思想优点全量微调~100%训练所有参数效果上限可能最高BitFit~0.04%只训练偏置bias简单有效Prompt Tuning~0.001%学习虚拟Token的嵌入参数效率极致易于存储P-Tuning v2~0.40%训练MLP生成虚拟Token性能稳定表达力强(IA)³~0.02%学习“缩放”激活值参数效率极高比LoRA更少LoRA~6.80%学习权重的“增量变化”性能强无推理延迟应用最广AI行业迎来前所未有的爆发式增长从DeepSeek百万年薪招聘AI研究员到百度、阿里、腾讯等大厂疯狂布局AI Agent再到国家政策大力扶持数字经济和AI人才培养所有信号都在告诉我们AI的黄金十年真的来了在行业火爆之下AI人才争夺战也日趋白热化其就业前景一片蓝海我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取人才缺口巨大人力资源社会保障部有关报告显示据测算当前****我国人工智能人才缺口超过500万****供求比例达1∶10。脉脉最新数据也显示AI新发岗位量较去年初暴增29倍超1000家AI企业释放7.2万岗位……单拿今年的秋招来说各互联网大厂释放出来的招聘信息中我们就能感受到AI浪潮比如百度90%的技术岗都与AI相关就业薪资超高在旺盛的市场需求下AI岗位不仅招聘量大薪资待遇更是“一骑绝尘”。企业为抢AI核心人才薪资给的非常慷慨过去一年懂AI的人才普遍涨薪40%脉脉高聘发布的《2025年度人才迁徙报告》显示在2025年1月-10月的高薪岗位Top20排行中AI相关岗位占了绝大多数并且平均薪资月薪都超过6w在去年的秋招中小红书给算法相关岗位的薪资为50k起字节开出228万元的超高年薪据《2025年秋季校园招聘白皮书》AI算法类平均年薪达36.9万遥遥领先其他行业总结来说当前人工智能岗位需求多薪资高前景好。在职场里选对赛道就能赢在起跑线。抓住AI风口轻松实现高薪就业但现实却是仍有很多同学不知道如何抓住AI机遇会遇到很多就业难题比如❌ 技术过时只会CRUD的开发者在AI浪潮中沦为“职场裸奔者”❌ 薪资停滞初级岗位内卷到白菜价传统开发3年经验薪资涨幅不足15%❌ 转型无门想学AI却找不到系统路径83%自学党中途放弃。他们的就业难题解决问题的关键在于不仅要选对赛道更要跟对老师我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取​