【速写】多LoRA并行衍生的一些思考

迁移学习上的一个老问题，怎么做多领域的迁移？以前的逻辑认为领域迁移属于是对参数做方向性的调整，如果两个领域方向相左，实际上不管怎么加权相加都是不合理的。

目前一些做法想着去观察LoRA权重矩阵中的稠密块与稀疏块，选择稠密的部分予以保留，稀疏的部分予以舍弃，然后有选择地进行合并，这是一种很模糊的做法，实际上也缺乏理论保证，而且，低秩与稀疏通常并不等价。

假定是做秩一分解：

$$\begin{gathered} h_1=W_{0}x+(B_1{A}_1)x=W_{0}x+\left(\sum _{i=1}^{r_1}{d}_{1i}{v}_i{v}_i^{\top }\right)x=W_{0}x+\sum _{i=1}^{r_1}(d_{1i}{v}_i^{\top }x)v_i=W_{0}x+\sum _{i=1}^{r_1}{k}_{1i}{v}_i \\ {h}_2=W_{0}x+(B_2{A}_2)x=W_{0}x+\left(\sum _{i=1}^{r_2}{d}_{2i}{u}_i{u}_i^{\top }\right)x=W_{0}x+\sum _{i=1}^{r_2}(d_{2i}{v}_i^{\top }x)v_i=W_{0}x+\sum _{i=1}^{r_2}{k}_{2i}{v}_i \end{gathered}$$

调整的其实就是rank数量的单位向量的加权和。

这里面的$u_i,v_i$都是单位向量，$d_{1i}$和$d_{2i}$表示奇异值。

$k_{1i}$和$k_{2i}$都是标量。

那么我们可以在每一层的输出时，选择需要保留的若干个单位向量的加权和作为这层的输出，保留的依据可以根据$k_{1i}$和$k_{2i}$的大小来确定（保大去小）。

比如在合并的时候从$r_1+r_2$个秩一矩阵中取$\frac{r_1+r_2}{2}$个出来作为融合后的LoRA

这样的调整本身关于输入$x$是动态的，复杂度很差。

另一件事就是白盒压缩、或者说模型压缩的时候，为什么不直接用SVD进行降维处理呢，重新训练一个小模型出来，可能连模型结构都不一样的模型出来替代原模型，难道还能比跟原模型结构相同的东西有更令人信服的性能吗？

题外话，以及做INT量化与用SVD进行降维处理，两种方法截然不同，对精度的影响有何区别呢？两者都对隐层权重的数值，从而影响每个隐层的输出，但是直觉上，INT量化产生的误差的方差在point-wise上是处处相等的（即均匀误差），但是SVD似乎并非如此，因为SVD给出的误差其实是若干个比较小的奇异值所对应的秩一矩阵的加权和，而秩一矩阵值的分布显然不可能是均匀分布，这取决于奇异向量的分布：

(1) 高度结构化

• 所有行成比例：矩阵的每一行是向量$v$的标量倍数（系数为$u_i$）。
  $$\text{第}i\text{行}=u_i\cdot [v_1,v_2,\dots ,v_n]$$
• 所有列成比例：每一列是向量$u$的标量倍数（系数为$v_j$）。
  $$\text{第}j\text{列}=v_j\cdot [u_1,u_2,\dots ,u_m{]}^T$$

(2) 数值分布依赖基向量

• 矩阵元素的值完全由$u$和$v$的分布决定：
  • 若$u$或$v$服从高斯分布，则$M_{ij}$是高斯变量的乘积（分布可能复杂，但通常呈现尖峰、重尾特性）。
  • 若$u$或$v$是稀疏的，则$M$也会稀疏。

(3) 特征值与奇异值

• 非零特征值：秩1矩阵仅有1个非零特征值（等于$u^{T}v$或$v^{T}u$）。
• 奇异值：唯一非零奇异值为$\Vert u\Vert \cdot \Vert v\Vert$，其余奇异值为0。

至少从误差的分布上来说，量化要更稳定可控一些。

总是觉得现在人做事太简单粗暴了，没有理论分析的支撑，全凭拍脑袋。

下面简单看一看DeepSeek对于多LoRA合并的论述：

---

多LoRA并行（Multiple LoRA Adapters Parallel）的底层逻辑涉及在模型运行时动态组合多个低秩适配器的权重，其核心是通过并行计算或权重叠加的方式将不同LoRA模块的影响同时作用于基座模型（Base Model）。

---

1. 基本概念回顾

• LoRA的本质：
  在原始模型权重 $W_0\in {\mathbb{R}}^{d\times k}$ 旁注入低秩矩阵 $A\in {\mathbb{R}}^{d\times r}$ 和 $B\in {\mathbb{R}}^{r\times k}$，其中 $r\ll \min (d,k)$。
  前向传播时，输出为：
  $$h=W_{0}x+(BA)x$$
• 多LoRA并行：
  同时激活多个LoRA模块（如 $B{A}^{(1)}+B{A}^{(2)}+\dots$），输出变为：
  $$h=W_{0}x+\sum _{i=1}^N(B^{(i)}{A}^{(i)})x$$

---

2. 运行时计算的两种实现方式

方式1：权重直接叠加（静态合并）

步骤：

1. 离线合并：在加载模型时，将所有激活的LoRA的增量权重 $\Delta W_i=B^{(i)}{A}^{(i)}$ 相加：
   $$\Delta W_{\text{merged}}=\sum _{i=1}^N{B}^{(i)}{A}^{(i)}$$
2. 前向计算：仅需计算一次合并后的增量：
   $$h=W_{0}x+\Delta W_{\text{merged}}x$$

底层逻辑：

• 优点：计算量与单LoRA相同，无额外开销。
• 缺点：静态合并后无法动态调整适配器组合。
• 适用场景：推理时需固定融合多个LoRA。

代码示例（PyTorch）：

# 假设 lora_A 和 lora_B 是两个LoRA模块的增量权重
delta_W = lora_A @ lora_B + lora_C @ lora_D  # 低秩矩阵乘法
h = base_model_W @ x + delta_W @ x

方式2：动态并行计算（运行时逐适配器计算）

步骤：

1. 独立保留LoRA权重：保持每个LoRA的 $A^{(i)}$ 和 $B^{(i)}$ 矩阵独立存储。
2. 前向传播时逐适配器计算：
   $$h=W_{0}x+\sum _{i=1}^N(B^{(i)}(A^{(i)}x))$$
   • 先计算所有 $A^{(i)}x$，再与对应的 $B^{(i)}$ 相乘，最后累加结果。

底层逻辑：

• 优点：支持动态开关适配器（如根据输入选择不同的LoRA组合）。
• 缺点：计算量随LoRA数量线性增长（需 $N$ 次低秩矩阵乘法和累加）。
• 适用场景：需要运行时灵活切换适配器的场景（如多任务推理）。

代码示例（PEFT库实现逻辑）：

# 伪代码：动态多LoRA计算
h = base_layer(x)
for adapter in active_adapters:lora_A = adapters[adapter].A  # 形状 (d, r)lora_B = adapters[adapter].B  # 形状 (r, k)h += (lora_B @ (lora_A @ x)) * adapter.scaling  # 缩放系数

---

3. 关键优化技术

为了减少多LoRA并行的计算开销，框架（如PEFT）通常会采用以下优化：

(1) 共享基座模型权重

• 所有LoRA复用同一份 $W_0$，仅额外存储增量部分 $\Delta W_i$。

(2) 批处理低秩计算

• 将多个LoRA的 $A^{(i)}$ 拼接为大矩阵 $A_{\text{stack}}\in {\mathbb{R}}^{N\cdot r\times d}$，通过一次矩阵乘法和分割结果加速计算：
  $$[A^{(1)}x;A^{(2)}x;\dots ]=A_{\text{stack}}x$$
  再分别与对应的 $B^{(i)}$ 相乘。

(3) 延迟缩放（Scaling）

• 将LoRA的缩放系数 $\frac{\alpha }{r}$ 合并到 $B^{(i)}$ 中，避免重复乘法：
  $$B^{\prime (i)}=B^{(i)}\cdot \frac{\alpha }{r}$$

---

4. 数学形式对比

假设有两个LoRA（$\Delta W_1=B_1{A}_1$, $\Delta W_2=B_2{A}_2$）：

方法	计算过程	FLOPs
静态合并	$h=W_{0}x+(B_1{A}_1+B_2{A}_2)x$	$O(dk+dr+rk)$
动态并行	$h=W_{0}x+B_1(A_{1}x)+B_2(A_{2}x)$	$O(dk+2(dr+rk))$
批处理优化	$h=W_{0}x+[B_1,B_2]\cdot [A_1;A_2]x$	$O(dk+d(2r)+(2r)k)$

---

5. 实际框架中的实现

以PEFT（Hugging Face）为例：

1. 注册多个适配器：

   model.add_adapter("adapter1", lora_config_A)
   model.add_adapter("adapter2", lora_config_B)
   

2. 动态激活组合：

   model.set_active_adapters(["adapter1", "adapter2"])
   

3. 底层计算：
   • PEFT自动选择动态并行计算（方式2），按需累加所有激活适配器的输出。

---

6. 总结：多LoRA并行的本质

• 静态合并：算术叠加权重，适合固定组合的轻量推理。
• 动态并行：独立计算后求和，适合灵活适配但计算成本较高。
• 优化方向：通过批处理和共享基座权重减少冗余计算。

如果需要进一步分析具体框架（如PEFT、AdaLoRA）的实现细节，可以提供更多上下文！