2021-arxiv-Prefix-Tuning- Optimizing Continuous Prompts for Generation

2021-arxiv-Prefix-Tuning- Optimizing Continuous Prompts for Generation

Paper：https://arxiv.org/pdf/2101.00190.pdf
Code：https://github.com/XiangLi1999/PrefixTuning

前缀调优：优化生成的连续提示

prefix-tunning 的基本思想也是想减少对模型的参数的改动，低资源对大模型进行SFT达到预期的效果。该方法想法比较直接，自然语言的token固定无法使用反向传播进行优化，那么就在原始输入的token前面添加固定长度的任务相关的virtual tokens ，一起作为新的输入。在训练的时候，会freeze模型的参数，只训练该部分prefix token的参数。

模型架构

对于fine-tuning，会更新模型的所有参数，但是prefix-tuning只更新prefix-tokens的参数，这样不同的任务在微调后，只需要保存对应任务的prefix tokens，因此相较于fine-tuning，prefix-tuning的成本会小的多。

和Pre-training不同的是，prefix- tuning 在上游任务中训练一个语言模型，并可以用于很多不同的下游任务。可以为每个用户设置一个单独的前缀，只对该用户的数据进行训练，从而避免数据交叉污染。此外，基于前缀的架构使甚至可以在一个批次中处理来自多个用户/任务的样本，这是其他轻量级微调方法所不能做到的。

table-to-text任务：输入 X XX 表示一个线性的表格，输出 Y YY 表示一个短文本；
自回归模型：在某一时刻 i ii，Transformer的每一层的隐状态向量拼接起来之后用于预测下一个词；
整体采用encoder-to-decoder架构；

方法：Prefix-Tuning

可以将token优化为连续词嵌入，而不是优化离散标记，其效果将向上传播到所有 Transformer 激活层，然后向右传播到后续标记。 这比需要匹配真实单词嵌入的离散提示更具表现力。 同时，这不如干预所有激活层的表现力，这避免了长期依赖并包括更多可调参数。 因此，Prefix-Tuning优化了前缀部分对应的所有层参数。

• 添加一个prefix，自回归模型表示为 $\mathrm{z}=[\text{ prefix; }\mathrm{x};\mathrm{y}]$，encoder decoder模型表示为 $\mathrm{z}=\left[\text{ prefix; }\mathbf{x};{\text{ prefix }}^{\prime };\mathrm{y}\right]$
• 输入部分prefix, x ,y 的position id分别记作 $P_{\mathrm{idx}},X_{\mathrm{idx}}\text{ 和 }{Y}_{\mathrm{idx}}\text{; }$
• prefix-tuning初始化一个训练的矩阵，记作${\mathrm{P}}_{\theta }\in {\mathbb{R}}^{|{\mathrm{P}}_{\mathrm{idx}}|\times \dim \left({\mathrm{h}}_{\mathrm{i}}\right)}$，这部分参数用于存储prefix parameters：

$$h_i=\{\begin{array}{ll}{P}_{\theta }[i,:],& \text{ if }i\in {\mathrm{P}}_{\mathrm{idx}}\\ {\mathrm{LM}}_{\varphi }\left(z_i,h_{<i}\right),& \text{ otherwise }\end{array}$$
即，处于前缀部分token，参数选择设计的训练矩阵，而其他部分的token，参数则固定且为预训练语言模型的参数。

• 训练目标为：
  $$\underset{\varphi }{\max }\log p_{\varphi }(y\mid x)=\sum _{i\in {\mathrm{Y}}_{\mathrm{idx}}}\log p_{\varphi }\left(z_i\mid h_{<i}\right)$$