大模型的微调技术（高效微调原理篇）

背景

公司有需求做农业方向的大模型应用以及Agent助手，那么适配农业数据就非常重要。但众所周知，大模型的全量微调对算力资源要求巨大，在现实的限制条件下基本“玩不起”，那么高效微调技术就非常必要。为了更好地对微调技术选型和应用，本文整理了常用参数高效微调的方法原理。

参数高效微调(Parameter-Efficient Fine-Tuning, PEFT)

• 核心思想：冻结大部分预训练参数，仅微调少量参数
• 优势：显存占用低，适合资源受限场景
• 应用场景：快速领域适配、多任务适配

LoRA(Low-Rank Adaptation)

LoRA微调是针对大参数量模型全量微调高昂的存储和计算成本提出的解决方案，直接、通用、高效。其解决方案是冻结预训练模型的权重，仅通过向Transformer层的权重矩阵注入低秩分解矩阵（秩为r）来适应下游任务，显著减少可训练参数数量。

• 假设权重更新矩阵ΔW具有低秩性，将其分解为两个小矩阵的乘积：ΔW = BA，其中B ∈ ℝ^(d×r)，A ∈ ℝ^(r×k)，r ≪ min(d, k)。
• 训练时，仅优化A和B的参数，预训练权重W0保持冻结。
• 推理时，将ΔW与W0合并，不引入额外延迟。

举个例子，假设在Transformer模型中，某个全连接层的权重矩阵 W₀ 的维度为 d=1024（输入维度），k=1024（输出维度），即 W₀ ∈ ℝ¹⁰²⁴×¹⁰²⁴。我们使用LoRA进行微调，选择低秩 ​r=8。

矩阵B：维度为 d × r，即 1024 × 8。

矩阵A：维度为 r × k，即 8 × 1024。

ΔW = B × A：矩阵乘法的结果维度为 1024 × 1024，与原始权重矩阵 W₀ 的维度一致。

原始全微调（ΔW）：需要训练 ​1024×1024 = 1,048,576 个参数。

LoRA（B和A）：仅需训练 ​1024×8 + 8×1024 = 16,384 个参数，减少​约64倍。

Adapter

Adapter是另一种参数高效迁移的微调方法。通过在预训练模型的每一层中插入小型可训练模块（适配器），原始模型参数冻结，从而大大减少需要训练的参数量。

• 设计原理：

  • 在预训练模型的每一层中插入小型可训练模块（适配器），固定原始模型参数。

• 适配器结构为瓶颈式（Bottleneck）：输入→降维→非线性激活（如ReLU）→升维，中间层维度远小于输入（例如d=768 → m=64）。

  • 初始化时接近恒等函数（参数接近零），确保训练初期不干扰预训练模型。

• 参数效率：

  • 每个任务仅需添加少量参数（每层约0.5%-8%的参数量），总参数量远低于全微调（例如GLUE任务仅需3.6%的新参数）。
  • 新增参数包括适配器权重和任务特定的层归一化（LayerNorm）参数。

• 部署灵活性：

  • 支持任务增量学习：新任务仅需添加新的适配器，不影响已有任务。

  • 适配器自动聚焦于高层网络（高层适配器对任务影响更大，低层影响较小）。

对比LoRA和Adapter

选择维度

维度	优先选Adapter	优先选LoRA
任务复杂度	复杂任务（需高频特征或复杂推理）	常规任务（文本分类、生成等）
模型规模	中小模型（参数量<10B）	超大规模模型（如LLaMA-70B、GPT-3）
推理延迟敏感性	可容忍一定延迟（如离线任务）	要求零延迟（如实时API）
多任务扩展性	需动态插拔任务适配器	需同时服务大量任务（共享低秩矩阵）
显存/计算资源	资源较充足，需稳定性能	显存紧张（如单卡微调LLM）

场景化建议

1. 大模型+实时服务（如部署LLaMA到聊天机器人）：

   选择LoRA，因其零延迟、参数少，适合资源敏感场景。

2. 多任务灵活切换（如云平台支持NLP多任务）：

   选择Adapter，通过插拔适配器快速扩展任务，避免模型冗余。

3. 低资源微调小模型（如BERT-base文本分类）：

   可任选：Adapter在小模型上延迟可忽略；LoRA参数更少但需调秩。

4. 复杂任务（如代码生成、数学推理）：

   优先Adapter，因其模块化设计能更灵活捕捉任务特征。

Prefix-Turning

Prefix-Turning的核心在于在输入前添加可训练前缀，引导生成过程。由于其仅微调前缀参数，冻结主干参数，具备高效性以及减少灾难性遗忘风险。核心机制是通过注意力机制间接控制生成方向（隐式控制）。

以一个具体任务为例子说明Prefix-Turning具体做了什么。

任务：将结构化表格（如餐厅信息）转化为自然语言描述。

输入表格​（线性化后）：

name: Starbucks | type: coffee shop | food: pastries | price: moderate | area: downtown

目标输出：

Starbucks is a coffee shop located in downtown. It serves pastries at moderate prices.

1. 构造输入序列

在输入前添加长度为 k=2 的可训练前缀（实际应用中可能更长，如 k=10）。

输入序列构造：

[前缀向量1] [前缀向量2] [name: Starbucks] [type: coffee shop] ... [生成文本]

前缀矩阵：前缀被参数化为一个可训练矩阵 $P_{\theta }\in R^{L\times d}$，其中 L 是前缀长度，d 是隐藏层维度。

输入序列构造：对于输入序列 $x$，将前缀矩阵 $P_{\theta }$ 直接拼接在 x 的前面，形成新的序列 $z=[P_{\theta };x]$。

2. 参数初始化

• 前缀参数：随机初始化一个矩阵 P（形状 k × d_model，如 2×768）。
• 重新参数化：通过一个小型 MLP（如单层全连接）将 P 映射到每一层的激活空间（提升训练稳定性）。

具体说明：

1. 假设前缀长度为 L，每个前缀向量维度为 d（与Transformer隐藏层维度一致），则前缀参数矩阵 $P_{\theta }$ 的尺寸为 L×d。

2. 定义一个小矩阵 $P_{\theta }^{\prime }$，其尺寸为 L×k，其中 k≪d。此时参数量减少为 L×k。

3. 通过一个多层感知机（MLP）将低维矩阵 $P_{\theta }^{\prime }$ 映射到原始维度 d，生成最终的前缀矩阵：
   $$P_{\theta }=MLP(P_{\theta }^{\prime })$$

3. 训练

• 冻结模型参数：原始大模型的所有参数固定不变。
• 仅优化前缀参数：通过反向传播更新前缀向量和 MLP 参数。
• 损失函数：标准语言模型损失（生成文本的交叉熵）。

4. 推理

• 参数化：丢弃 MLP，直接使用优化后的 $P_{\theta }=MLP(P_{\theta }^{\prime })$ 作为固定前缀，不增加额外计算。

• 输入构造：将训练好的前缀 + 表格输入模型，自回归生成文本。这里

• 生成示例：

  [前缀向量1][前缀向量2][name: Starbucks][type: coffee shop]... → 生成 "Starbucks is a coffee shop..."
  

Prompt Turning

与Prefix-Turning几乎同一时期，有另外一篇论文Prompt Turning，其核心思想跟Prefix-Turning很类似，通过在预训练模型的输入前添加可学习的连续向量（软提示，Soft Prompts），仅训练这些向量来引导冻结的模型完成特定任务。

1. 模型初始化

冻结预训练模型：选择LLM模型，冻结其所有权重

2. 输入构造

• 嵌入处理：
  1. 将输入文本 X 转换为词嵌入 X_emb。
  2. 将软提示 soft_prompt 拼接在 X_emb 前，形成新的输入序列。

输入嵌入序列 = [soft_prompt_1, soft_prompt_2, ..., soft_prompt_5] + [X_emb_1, X_emb_2, ...]

3. 训练/推理阶段

• 训练-参数更新：仅通过反向传播更新 soft_prompt 参数，保持模型权重冻结。

• 推理-使用训练后的软提示：将学习到的 soft_prompt 与新输入拼接，直接生成结果。

• 多任务支持：同一冻结模型可为不同任务加载不同的软提示，无需额外存储成本。

对比Prefix-Tuning和Prompt Tuning

维度	Prefix-Tuning	Prompt Tuning
参数位置	所有 Transformer 层	仅输入嵌入层
参数量	随模型深度线性增长	固定为输入层嵌入维度 × 提示长度
训练稳定性	需重参数化（如 MLP 投影）	直接优化，无需额外稳定机制
适用任务	生成任务（如文本续写、摘要）	分类、生成通用任务
模型规模依赖	适用于中小模型	在超大模型（>10B）效果显著

BitFit(Bias-Term Fine-Tuning)

BitFit是一种针对预训练Transformer模型的高效微调方法，仅调整模型中的偏置项（bias terms），而非全部参数。其核心方法相对简单，为：

• 仅微调模型中的偏置项（如BERT-large中占0.08%的参数），冻结所有权重矩阵和其他参数。
• 进一步发现，仅调整query偏置（bq）和中间MLP层偏置（bm2）（占总参数0.04%）即可保持性能。
• 所有任务共享相同的可调参数（偏置项），支持多任务部署，无需为每个任务存储独立模型。

其重要意义为：

• 结果支持假设：微调主要暴露预训练中学到的知识，而非学习新任务特定知识。
• 偏置项在调整模型输出分布中起关键作用，可能编码了任务无关的语言理解能力。
• 固定大部分参数（如权重矩阵）可支持硬件优化，仅需少量可调偏置项。

QLoRA

QLoRA是在LoRA方法的基础上进行改进，其核心要解决的问题是显著降低微调内存占用（单卡48GB GPU可微调65B模型）。

1. 预训练模型量化：
   • 将原始FP16/BF16模型权重量化为4-bit NF4格式，并冻结权重。
   • 存储量化后的权重和对应的量化常数（缩放因子/零点）（双量化）。
2. 前向计算反量化：
   • 在计算时，将4-bit权重动态反量化为16-bit BFloat16，保持计算精度。
   • 公式：$W_{dequant}=W_{4bit}\times scale+zeroPoint$
3. 低秩适配器训练：
   • 仅优化LoRA适配器参数（矩阵 A 和 B），通过反向传播更新。
   • 梯度计算时，通过链式法则传递到适配器参数，绕过量化权重。
4. 内存优化策略：
   • 使用分页优化器管理显存，双量化压缩存储开销。
   • 混合精度训练（4-bit存储 + 16-bit计算）平衡速度与精度。

量化步骤

1. 权重分桶（Bucketing）

   • 假设权重服从正态分布（实际中近似成立），将权重数值范围划分为 24=16 个区间（桶）。
   • 分桶边界通过**分位数估计（Quantile Estimation）**确定，目标是每个桶内数据点数量相等，最小化信息损失。
   • 具体实现：使用经验分位数（如torch.quantile）计算15个分割点，将数据分为16组。

2. 计算量化常数

   • 每个桶的缩放因子（Scale）：桶内最大值与最小值的差除以桶的数量（4-bit可表示范围）。

   • 零点（Zero Point）：将原始零点（0值）映射到量化后的整数范围（0~15）。

   • 公式：
     $$\begin{gathered} scale=\frac{bucketMax-bucketMin}{15} \\ zeroPoint=\lfloor \frac{0-bucketMin}{scale}\rceil \end{gathered}$$

3. 量化与存储

   • 将每个FP16权重值映射到最近的4-bit整数索引（0~15），权重存储为紧凑的4-bit数组。
   • 量化参数（scale/zero_point）按层单独存储（每层独立量化）。

关键特性

• 静态量化：量化在训练前一次性完成，量化后的权重和参数在训练中被冻结。
• 按层量化：每层权重单独计算分桶边界和量化参数，适应不同层的分布差异。
• 双量化(Double Quantization)：对scale和zero_point（原为32-bit浮点数）进行二次量化，压缩为8-bit整数。二次量化参数全局共享，进一步减少存储开销。

何时发生动态反量化？

• 前向传播（训练/推理）：
  每次计算时，4-bit权重需动态反量化为16-bit（BFloat16）参与矩阵乘法。
• 反向传播（仅训练）：
  梯度通过反量化后的权重传递到LoRA适配器参数，但原始量化权重不更新。

计算量是否会增加？

• 额外计算量极低：反量化是轻量级操作（逐元素线性变换），相比矩阵乘法（计算密集型）可忽略不计。
• 内存节省 vs. 计算开销：QLoRA牺牲少量计算时间（反量化）换取显存大幅降低，整体性价比高。