【NLP 52、多模态相关知识】

生活应该是美好而温柔的，你也是

                                                —— 25.4.1

一、模态 modalities

常见： 文本、图像、音频、视频、表格数据等

罕见： 3D模型、图数据、气味、神经信号等

---

二、多模态

1、Input and output are of different modalities (eg： text-to-image, image-to-text)

输入和输出具有不同的模态（例如文本到图像、图像到文本）

2、Inputs are multimodal (eg：a system that can process both text and images)

输入同时是多模态的（例如可以处理文本和图像的系统）

3、Outputs are multimodal (eg： a system that can generate both text and images)

输出是多模式的（例如可以生成文本和图像的系统）

---

三、为什么需要多模态

1.许多现实任务是天然的多模态任务

2.加入不同模态有助于模型提升表现（加强模型对世界的理解）

3.更加灵活的使用方式和广阔的应用场景

---

四、GPT-4V

接收图像 + 提示词，给出一些回答

---

五、多模态模型要点

1.文本如何编码

Transformer 文本编码器

---

2.图像如何编码

ViT 图像编码器

        把一张图像切分成n份，把每份切分后的图像展平为一个向量，在这些向量中可以加入位置编码（位置编码也可以换做ROPE相对位置编码）进行定位，每一小份图像相当于NLP领域中的每个字，输入的图像就是一个矩阵

图像self-attention

图像的self-attention可以看作是图像的每一部分 与 图像的其余部分在交互做计算

---

3.文本编码与图像编码之间如何交互【计算关系】

Ⅰ、CLIP 图文交互

        分别对文本（Text encoder）和图像（Image encoder）进行编码，两者经过编码后分别得到一个向量，然后对这两个得到的向量做一种类似于Triplet Loss 或 Cosine的训练

        训练目标：如果这段文本是用来描述这张图的，则让二者的向量比较接近，反之则差距较远

CLIP图文交互：使用对比学习的训练方式

        将图像和文本编码到统一特征空间，并通过最大化匹配对的相似度、最小化非匹配对的相似度来对齐两种模态。

CLIP 采用文本编码器和图像编码器的双塔结构，分别处理文本和图像输入，并将两者的特征映射到同一向量空间。

        文本编码器：基于 Transformer，输入文本通过词嵌入和位置编码后，经多层自注意力机制提取语义特征，最终输出固定长度的文本嵌入向量（如 512 维）。

        图像编码器：支持 ResNet 或 Vision Transformer（ViT）。以 ViT 为例，图像被分割为 16×16 的图像块，通过线性投影和位置编码后，经多层 Transformer 层提取视觉特征，输出图像嵌入向量。

        联合嵌入空间：通过共享投影层（如全连接层）将文本和图像嵌入归一化为单位向量，确保两者在同一空间中可计算相似度。

---

Ⅲ、flamingo 图文交互

        Flamingo 是 DeepMind 提出的多模态视觉语言模型，通过冻结预训练模型 + 新型交叉注意力机制的架构设计，实现了少样本学习（Few-Shot Learning）和上下文学习（In-Context Learning）能力。

flamingo gated xatten

Attention同时输入一个x 和 y，输入的图像矩阵 x 过所谓的 K 和 V，输入的文本编码 y 过 Q，然后以 Q、K、V的形式计算交叉注意力cross attention

计算q * k ^ t，横轴是文本，竖轴是图像，计算图像序列 与 文本序列的注意力

---

Ⅳ、LLava 图文交互（倾向于主流）

        输入时，直接将输入图像的编码与输入文本的编码拼接起来，一起送入语言模型【如传统的Transformer结构】

LLava attention (本质上就是普通的self-attention)

        文字向量与图像向量拼接起来的序列，与自身逐个计算注意力分数，得到一个拼接序列长度 × 拼接序列长度的注意力矩阵