LLaMA- Adapter V2: Parameter-Efficient Visual Instruction Model

发表时间：28 Apr 2023

论文链接：https://arxiv.org/pdf/2304.15010

作者单位： Shanghai Artificial Intelligence Laboratory

Motivation：如何有效地将大型语言模型 (LLM) 转换为指令追随者最近是一个流行的研究方向，而训练 LLM 进行多模态推理仍有待探索。尽管最近的 LLAMA-Adapter 展示了使用 LLM 处理视觉输入的潜力，但它仍然不能很好地推广到开放式视觉指令并落后于 GPT-4。

解决方法：在本文中，我们提出了 LLAMA-Adapter V2，这是一种参数高效的视觉指令模型。相对于LLaMA- Adapter有以下四点改进：

1. 我们首先通过解锁更多可学习的参数（(e.g., norm, bias and scale）来增强 LLAMA-Adapter，这些参数除了adapters之外在整个 LLAMA 模型中分配指令跟随能力。

   

LLaMA-Adapter在冻结的LLaMA模型上采用可学习的适应提示和零初始化注意机制，从而可以有效地整合新知识。但是，参数更新受限于自适应提示和门控因子，没有修改LLMs的内部参数，这限制了它进行深度微调的能力。鉴于此，研究人员提出了一种偏差调整策略，除了适应提示和门控因素之外，进一步将指令提示融合到LLaMa中。具体来说，为了自适应地处理指令跟随数据的任务，研究人员首先解冻 LLaMA 中的所有规范化层。对于Transformer中的每个线性层，研究人员添加一个偏差和一个比例因子作为两个可学习的参数。值得注意的是，新增参数的数量仅占整个LLaMA的 0.04%（∼5M），表明 LLaMA-Adapter V2仍然是一种参数高效的方法。

1. 其次，提出了一种早期融合策略，将视觉标记只输入到早期的LLM层中，有助于更好地结合视觉知识。同时防止输入视觉提示和适应提示之间的直接交互。

   

在LLaMA-Adapter中，输入的视觉提示由具有可学习视觉投影层的冻结视觉编码器顺序编码，然后在每个插入层添加到自适应提示。在LLaMA-Adapter V2中，研究人员将编码的视觉标记和自适应提示注入不同的Transformer层，而不将它们融合在一起，如上图3所示。

对于数据集共享的自适应提示，研究人员跟随LLaMA-Adapter，将它们插入到最后L层（比如，L=30）。

对于输入的视觉提示，研究人员直接将它们与单词标记连接起来，这是具有零初始化注意力的Transformer层，而不是将它们添加到自适应提示中。与提出的联合训练一起，这种简单的视觉标记早期融合策略可以有效地解决两类微调目标之间的冲突。这样就使得参数高效的LLaMA-Adapter V2具有良好的多模态推理能力。

1. 第三，研究人员提出了LLaMA-Adapter V2的联合训练范例，以利用图像文本字幕数据和纯语言指令示例。由于500K图像文本对和50K指令数据之间的数据量差异，直接将它们组合起来进行优化会严重损害LLaMA-Adapter的指令跟随能力。因此，研究人员的联合训练策略优化了LLaMA-Adapter V2中不相交的参数组，分别用于图像文本对齐和指令跟随。 具体来说，只有视觉投影层和带门控的早期零初始化注意力针对图文字幕数据进行训练，而后期适应提示与零门控、未冻结范数、新添加的偏差和比例因子（或可选的低秩适应）被用于从指令跟随数据学习。 不相交的参数优化很好地解决了图文理解和指令跟随之间的干扰问题，这有助于 LLaMA-Adapter V2的视觉指令跟随能力。

   

1. 最近的视觉指令模型，如MiniGPT4和LLaMA需要大规模的图像文本训练来连接视觉模型和LLM。相比之下，研究人员的LLaMA-Adapter V2对更小规模的常见图像字幕数据进行了微调，使其数据效率更高。然而，研究人员的方法的图像理解能力相对较弱，导致偶尔出现不准确或无关的响应。研究人员建议集成字幕、OCR和搜索引擎等专家系统，以补充LLaMA-Adapter V2额外的视觉推理能力，而不是收集更多的图像文本数据或采用更强大的多模态模块。 如下图所示，研究人员利用字幕、检测和OCR等专家系统来增强LLaMA-Adapter V2的视觉指令跟随能力。 在推理过程中，我们将额外的专家模型（例如字幕/OCR 系统）合并到 LLAMA-Adapter 中，以进一步增强其图像理解能力，而不会产生训练成本。与原始 LLAMA-Adapter 相比，我们的 LLAMA-Adapter V2 只需在 LLAMA 上引入 14M 参数就可以执行开放式多模态指令。新设计的框架也表现出更强的仅语言指令跟踪能力，甚至在聊天交互方面表现出色。

   

实现方式：对于具有 32 个 Transformer 层的 LLAMA-7B 模型，我们将静态适应提示插入到最后 31 层。此外，我们将动态视觉提示附加到第一层，提示长度设置为 20。归一化层中的所有参数、线性层偏差和尺度在训练期间都设置为更新，而 LLAMA 中的其余参数保持冻结。

实验：Stronger Language Instruction Model，Visual Instruction Model

结论：它在视觉理解能力方面仍然落后于 LLAVA，容易受到专家系统提供的不准确信息的影响。 未来，我们计划探索更多专家系统的集成，并使用多模态指令数据集或其他 PEFT 方法（例如 LoRA）微调 LLAMA-Adapter V2，以进一步提高其视觉指令跟踪能力。