论文阅读：MMA: Multi-Modal Adapter for Vision-Language Models

MMA视觉语言模型的多模态适配器主要用于改善文本与视觉分支表示之间的对齐先分析 CLIP 不同层特征的“判别性 / 泛化性”再只在高层插入一个带共享投影层的多模态适配器让视觉和文本分支在学习任务特异知识的同时实现更好的跨模态对齐。代码地址https://github.com/ZjjConan/Multi-Modal-Adapter创新点1.作者通过分析实验发现了CLIP模型不同层之间的性质有所不同高层更判别低层更泛化文本分支比视觉分支更判别且低层跨模态差距更大为 适配器的插入位置提供依据;2.论文设计了一个真正的多模态适配器 MMA在视觉和文本两条分支中分别学习任务特异表示并通过共享投影层建立跨模态桥梁从而增强图文表示对齐。主要架构1.MMA 的宏观设计加在哪些层之间各种基于 Transformer 的 CLIP 模型中不同层的数据集级识别精度作者从 CLIP 的图像分支和文本分支中提取各层特征训练线性分类器去做“识别样本来自哪个数据集”的任务通过分析得到了两个关键观察1在图像分支和文本分支中都存在类似规律低层 特征更偏通用跨数据集更稳定而高层 特征更偏任务相关更容易区分不同数据集。这意味着如果在低层上强行调太多很可能破坏CLIP 已经学到的通用知识如果想适应当前少样本任务更适合动高层因为高层本来就更接近任务判别信息2文本特征通常比视觉特征更可区分不同数据集且文本和图像在 低层特征空间中的语义差距更大而到了高层两种模态的语义距离反而更容易对齐。进而得出了MMA 不应该加在低层而更应该加在高层因为低层本身就更通用而且视觉 / 语言模态差得更远若在少样本下硬去对齐它们反而更容易出问题。2.MMA 的微观设计先分别把视觉特征和文本特征投影到一个较低维空间接着两个模态都会经过同一个共享投影层这个层是 视觉和文本共享参数 的也就是说两个分支会被拉到同一个共享特征空间里去处理文中提到其作为 bridge让 vision 和 language 的梯度能够传播到彼此从而实现更好的模态对齐最后再分别通过各自模态专属的 Up 层把共享空间中的特征映射回原始维度。应用创新由于MMA和SPARC都是基于CLIP的模块因此想着将MMA模块融入进去做一个轻量级的处理模块可以让模型对其的更加好但是结果不太乐观结果非常差目前最好的结果依然是引进SPARC之后的目前的模型结构是以BLIP模型做为基线模型将原始数据集转换成了可供BLIP模型训练的caption形式训练之后得到的标签识别的不太稳定由此引入了多标签识别得到了一点提升最后的模型就是引入上周看的SPARC模块达到了最优效果。