Adaptive LLM Transformer²

看到了一个不错的论文https://arxiv.org/pdf/2501.06252

TRANSFORMER-SQUARED: SELF-ADAPTIVE LLMS 挺有意思的，是一家日本AI公司SakanaAI的论文（我以前写过他们的不训练提升模型的能力的文章，感兴趣可以去翻）它家有Lion Jones坐镇，也是attention is all you need的作者之一，这篇论文的继承了他们家的传统，重视算法（没什么卡，2024年中旬好像才有了第一台自己的8卡H100），脑洞比较大。

主要说用新的微调SVF方法来解决传统的SFT，尤其是基于Lora的问题，传统SFT包括lora的主要问题是，分不清下游任务，而且灌注知识的时候对原始权重也有影响，好不容易灌进去新的东西，对别的任务类型也会有影响。

于是论文用了SVD的方法，Singular Value Decomposition) 将一个矩阵分解形成3个矩阵的点乘的积W = UΣV^⊺。

就是把W分解了，分解成一个U一个V一个Σ，其中 U ∈ R^(m×r) 和 V ∈ R^(n×r) 是半正交矩阵，（U和W你就可以理解为Lora里的低秩分解）Σ ∈ R^(r×r) 是一个对角矩阵，其对角线上的元素是 W 的奇异值，奇异值 σᵢ 表示对应的奇异向量对（uᵢ, vᵢ）对输出的贡献程度。

这么做的目的是干啥呢？是为了后面的SVF奇异值微调 (Singular Value Fine-tuning)做准备

SVF 不是直接修改权重矩阵 W，而是学习一个向量 z ∈ R^r，然后通过修改 W 的奇异值来修改 W 的行为

 

对于每个权重矩阵 W，SVF 学习一个向量 z，该向量独立地修改 W 的每个奇异分量，产生一个新的权重矩阵 W' = UΣ'V^⊺，其中 Σ' = Σ ⊗ diag(z)，diag(z) 是一个对角矩阵，其对角线上的元素为 z 的元素

这种方法通过缩放奇异值，而不是直接操作权重矩阵，来对权重矩阵 W 进行精细的控制，SVF 可以使用强化学习 (RL) 进行训练，直接针对任务性能进行优化，无需依赖大型的带有“解释性文本”的数据集

 

说人话就是把W权重给劈开了，更细化了，比如W权重矩阵里面可能有管数学的，管语文的，管历史的

在训练的时候SVF 学习一组z向量，每个下游任务对应一个z向量，然后通过z不就是能算出来Σ吗，Σ是相当于一个信号放大器，比如要训语文的时候z就是[0,1,0.7], 训练数学的时候就是[1,0.5,0]这种的, SVF利用RL在预定义的下游任务集上学习这些z。

学习到的z向量使Transformer^2能够适应各种新的下游任务，同时仅引入最少量的附加参数，就学z就够了。

训练完了就到了推理了，推理的时候先通过prompt之类分析你到底是啥任务，比如历史，就给历史的z，然后拿z+原来的基础网路就能推理了

想法还是挺天才的，效果也是不错，模型参数越大，效果越好