Meta的AIGC视频生成模型——Emu Video

大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本文详细介绍Meta的视频生成模型Emu Video，作为Meta发布的第二款视频生成模型，在视频生成领域发挥关键作用。

🌺优质专栏回顾🌺：

1. 机器学习笔记
2. 深度学习笔记
3. 多模态论文笔记
4. AIGC—图像

论文

项目：https://emu-video.metademolab.com/assets/emu_video
论文：https://arxiv.org/pdf/2311.10709

摘要

本文提出Emu Video，这是一种文本到视频生成模型，将生成过程分解为两个步骤：

1. 先根据文本生成图像;
2. 再基于文本和生成的图像生成视频。

该模型在性能上超越了RunwayML的Gen2和Pika Labs等商业解决方案。

引言

T2I模型在大规模的图像文本对上训练，已经很成功了，可使用视频文本对进一步拓展文本到视频（T2V）生成，但视频生成在质量和多样性方面仍落后于图像生成。原因在于：

• 需要对更高维度的时空输出空间进行建模，且仅以文本提示作为条件；
• 视频文本数据集通常比图像文本数据集小一个数量级。

当前视频生成的主流范式是使用扩散模型一次性生成所有视频帧。而不是NLP中的自回归问题不同，自回归方法在视频生成中具有挑战性，因为从扩散模型生成单个帧就需要多次迭代。

Emu Video通过显式的中间图像生成步骤，将文本到视频生成分解为两个子问题：

1. 根据输入文本提示生成图像；
2. 基于图像和文本的强条件生成视频。

直观地说，给模型一个起始图像和文本会使视频生成更容易，因为模型只需要预测图像未来的演变。

由于视频文本数据集远小于图像文本数据集，使用预训练的文本到图像（T2I）模型初始化T2V模型，并冻结其权重。在推理时，这种分解方法能显式生成图像，从而保留T2I模型的视觉多样性、风格和质量。

Emu Video证明了将文本到视频（T2V）生成过程分解为：先生成图像，再用生成的图像和文本生成视频。可以大幅提高生成质量。

到此，作者确定了他们的关键设计决策 —— 改变扩散噪声调度和采用多阶段训练，从而能够绕过先前工作中对深度级联模型的需求，高效生成 512 像素高分辨率的视频。该模型也可以根据用户提供的图像和文本提示生成视频。

相关工作

文本到图像（T2I）扩散模型

相比于先前的生成对抗网络（GAN）或自回归方法，扩散模型是文本到图像生成的前沿方法，通过加噪声和预测加入的噪声并去除来学习数据分布，生成输出。

扩散模型去噪可以在像素空间使用，也可以在低维潜在空间使用，本文采用潜在扩散模型进行视频生成。

视频生成/预测

许多先前工作，如掩码预测、LSTMs、GANs 等通常在有限的领域中进行训练和评估。它们适用的场景较为狭窄，可能只在特定类型的视频数据、特定的任务要求或特定的应用场景中表现良好。

本文的研究中，目标是开放集的文本到视频（T2V）生成。开放集意味着处理的数据和任务场景更为广泛和多样，没有预先设定的严格限制，这与之前这些方法所适用的有限领域形成对比。

文本到视频（T2V）生成

多数先前工作通过利用T2I模型来解决T2V生成问题：

• 采用无训练方法，通过在T2I模型中注入运动信息进行零样本T2V生成；
• 通过微调T2I模型实现单样本T2V生成。

这些方法生成的视频质量和多样性有限。

也有许多工作通过向T2I模型引入时间参数，学习从文本条件到生成视频的直接映射，来改进T2V生成。如

• Make-A-Video利用预训练的T2I模型和先验网络，在无配对视频文本数据的情况下训练T2V生成；
• Imagen Video基于Imagen T2I模型构建级联扩散模型。

为解决高维时空空间建模的挑战，部分工作在低维潜在空间训练T2V扩散模型，但这些方法学习从文本到高维视频空间的直接映射具有挑战性。

本文则 采用分解方法来增强条件信号。

分解生成

与Emu Video在分解方面最相似的工作是CogVideo和Make-A-Video：

• CogVideo基于预训练的T2I模型，使用自回归Transformer进行T2V生成，其自回归性质在训练和推理阶段与Emu Video的显式图像条件有根本区别。
• Make-A-Video 利用从共享图像文本空间中学习到的图像嵌入作为条件。，

Emu Video直接利用第一帧作为条件，条件更强。

此外，Make-A-Video从预训练的T2I模型初始化，但对所有参数进行微调，无法像Emu Video那样保留T2I模型的视觉质量和多样性。Stable Video Diffusion是一项与Emu Video同时期的工作，也引入了类似的分解方法进行T2V生成。

Make-A-Video是Meta于2022年发布的模型/论文中：MAKE-A-VIDEO: TEXT-TO-VIDEO GENERATION WITHOUT TEXT-VIDEO DATA
CogVideo是国产的视频生成模型，之前清华大学和智谱AI一起研发了CogView文本生成图像模型，CogVideo由清华大学发布的论文：CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers

方法

文本到视频（T2V）生成的目标：构建一个模型，该模型以文本提示 P 作为输入，生成由 T 个 RGB 帧组成的视频 V。

近期的一些模型仅使用文本作为条件，一次性直接生成 T 个视频帧。作者在本论文中认为：通过文本和图像共同提供更强的条件能够提升视频生成效果（验证参见 3.2 节 ）。

预备知识

条件扩散模型是一类生成模型，通过迭代对高斯噪声去噪，根据条件输入c生成输出。

在训练时：

• 将时间步$t\in [0,N]$相关的高斯噪声${ϵ}_t\sim N(0,1)$添加到原始输入信号X上，得到有噪输入$X_t={\alpha }_{t}X+\sqrt{1-{\alpha }_t}{ϵ}_t$，其中${\alpha }_t$定义 “噪声调度”，N是扩散步骤总数。
• 扩散模型通过预测噪声${ϵ}_t$、$x$或$v_t={\alpha }_t{ϵ}_t-\sqrt{1-{\alpha }_t}X$来对$x_t$进行去噪。时间步t的信噪比（SNR）为$(\frac{{\alpha }_t}{1-{\alpha }_t}{)}^2$，并随着$t\to N$而降低。

在推理时：

• 从纯噪声/高斯噪声$X_N\sim N(0,1)$开始去噪生成样本。

对$x_t$去噪的三种预测方式：

• 预测${ϵ}_t$（常用）：
  • ${ϵ}_t$是在时间步$t$添加到原始输入信号$X$的高斯噪声${ϵ}_t\sim N(0,1)$。如果模型能够准确预测出这个噪声，那么就可以从含噪输入$X_t={\alpha }_{t}X+\sqrt{1-{\alpha }_t}{ϵ}_t$中减去预测的噪声，从而达到去噪的目的。
• 预测$x$：
  • 这里的$x$是指原始输入信号$X$。模型直接预测原始信号本身，在得到预测的原始信号$\hat{X}$后，就可以将含噪输入$X_t$中的噪声部分去除。在实际操作中，直接预测原始信号可能会比较复杂，因为模型需要学习从含噪信号中还原出原始信号的复杂映射关系。
• 预测$v_t$：
  • $v_t={\alpha }_t{ϵ}_t-\sqrt{1-{\alpha }_t}X$是一种组合了噪声${ϵ}_t$和原始信号$X$的形式。当模型预测出$v_t$为${\hat{v}}_t$时，可以通过一定的数学变换来去除噪声，恢复原始信号。这种方式综合考虑了噪声和原始信号之间的关系，也是一种有效的去噪策略。

Emu Video

图3描述了分解的文本 - 视频生成过程。

• 首先根据文本$p$生成图像$I$；
• 然后使用更强的条件，即生成的图像和文本来生成视频$V$。

为了使我们的模型$\mathcal{F}$以图像为条件，我们在时间维度上对图像进行零填充，并将其与一个二进制掩码连接起来，该掩码指示哪些帧是零填充的【类似Trandformer的填充遮蔽（Padding Masking）与未来遮蔽（Future Masking）】，以及含噪输入。

生成步骤

将文本到视频生成分解为两个步骤：

• 首先，根据文本提示 $p$ 生成第一帧（图像）；
• 然后，利用文本提示 $p$ 和图像条件【下面会介绍图像条件怎么来的】生成T帧视频。

这两个步骤均使用潜在扩散模型$\mathcal{F}$实现，使用预训练的文本到图像模型初始化$\mathcal{F}$，确保其在初始化时能够生成图像。

只需训练$\mathcal{F}$解决第二步，即根据文本提示和起始帧/图像推出视频。使用视频文本对训练$\mathcal{F}$，通过采样起始帧/图像$I$，让模型根据文本提示$P$和图像$I$条件预测$T$帧（$T$帧会被独立地添加噪声，以生成含噪输入$x_t$，而扩散模型的训练目标就是对这个含噪输入进行去噪）。

首先通过逐帧应用图像自动编码器的编码器将视频$v$转换到潜在空间$X\in {\mathbb{R}}^{T\times C\times H\times W}$，这会降低空间维度。潜在空间中的数据可以通过自动编码器的解码器转换回像素空间。

图像条件

通过将起始帧$I$与噪声拼接(如上图的concatenate)，为模型提供条件。将$I$表示为单帧视频（$T=1$），并对其进行零填充，得到$T\times C\times H\times W$张量，同时使用形状为$T\times 1\times H\times W$的二进制掩码m，在第一时间位置设置为1表示起始帧位置，其他位置为0。将掩码m、起始帧I和有噪视频$x_t$按通道连接作为模型输入。

与 Make-a-video等模型中基于语义嵌入设定条件的方法不同，Emu Video 的拼接的方式能让模型利用起始帧 I 的全部信息。基于语义嵌入的方法会在条件设定时丢失部分图像信息，而 Emu Video 的设计避免了这一问题，为生成高质量视频提供了更多有效信息。

掩码 m 用于标记起始帧在序列中的位置，帮助模型识别起始帧，对后续视频生成过程进行更精准的指导。

模型结构

使用预训练的T2I模型Emu初始化潜在扩散模型$\mathcal{F}$，并添加新的可学习时间参数：

• 在每个空间卷积层之后添加一维时间卷积层；
• 在每个空间注意力层之后添加一维时间注意力层 ；
• 原始的空间卷积层和注意力层保持冻结状态。

在Runway的Gen-1中的时空潜在扩散中也使用了可学习时间参数：

• 在每个残差块中的每个 2D 空间卷积之后引入一个1D 时间卷积。
• 在每个空间 2D 空间注意力块后引入一个时间1D 时间注意力块。

预训练的 T2I 模型以文本作为条件，与上一节的图像条件相结合后，模型 $\mathcal{F}$ 同时以文本和图像作为条件。

Emu是Meta发布的一款T2I模型，论文为：Emu: Enhancing Image Generation Models Using Photogenic Needles in a Haystack

零终端信噪比 噪声调度

作者发现，先前工作（Emu和SD模型）中使用的扩散噪声调度存在训练 - 测试差异，这会阻碍高质量视频的生成。

在训练过程中，该噪声调度会留下一些残留信号，也就是说，即使在扩散的终端时间步N，信噪比（SNR）仍不为零。当我们从不含真实数据信号的随机高斯噪声中采样时，这会导致扩散模型在测试时无法很好地泛化。由于高分辨率视频帧在空间和时间上存在冗余像素，其残留信号更为明显。

作者通过缩放噪声调度并将最终的${\alpha }_N=0$来解决这个问题，这使得在训练过程中的时间步为N时（扩散过程的最后一个阶段），信噪比也为零。我们发现这个设计决策对于高分辨率视频的生成至关重要。

这个问题和缩放噪声调度方法并非本文首创，在之前的：Common diffusion noise schedules and sample steps are flawed也发现了这个问题。【来源于字节跳动】

插值模型

使用与$\mathcal{F}$结构相同的插值模型$I$，将低帧率的$T$帧视频转换为高帧率的$T_p$帧视频。 输入的$T$帧通过零交错生成$T_p$帧，并将指示$T$帧存在的二进制掩码m连接到有噪输入。为提高效率，从$\mathcal{F}$初始化$I$，并仅针对插值任务训练$I$的时间参数。

将低帧率的$T$帧视频转换为高帧率的$T_p$帧，能提升视频流畅度与视觉效果，适应多样化应用场景，增强模型竞争力，为用户带来更好体验。

实现简单性

Emu Video在实现方面的简单且高效：

1. 训练数据与模型结构简单
   • 标准数据集训练：Emu Video采用标准视频文本数据集进行训练，这意味着其训练数据来源广泛且具有通用性，不需要特殊定制的数据集，降低了数据准备的难度和成本。
   • 无需深度级联模型：在生成高分辨率视频时，Emu Video不需要像某些其他方法（如Imagen Video中使用7个模型的深度级联结构）那样复杂的模型架构，简化了模型构建和训练流程。
2. 推理过程
   • 图像与视频生成：推理时，先运行去除时间层的模型F根据文本提示生成图像I，再将I和文本提示作为输入，通过F直接生成高分辨率的T帧视频，这种推理方式简洁高效。
   • 帧率提升：借助插值模型I可提高视频帧率，进一步增强视频的视觉效果，且这一操作融入到了整体的推理流程中。
3. 模型初始化与风格保留
   • 初始化策略：空间层从预训练的T2I模型初始化并保持冻结，这样可以利用T2I模型在大规模图像文本数据集上学习到的概念和风格多样性。
   • 风格保留优势：相比Imagen Video需要在图像和视频数据上联合微调以维持风格，Emu Video不需要额外的训练成本就能保留并运用这些风格来生成图像I。许多直接的T2V方法，如Make-a-video，虽然也从预训练T2I模型初始化并冻结空间层，但由于没有采用基于图像的分解方法，无法像Emu Video一样保留T2I模型的质量和多样性 。

稳健的人类评估（JUICE）

由于自动评估指标不能反映质量的提升，主要使用人类评估来衡量T2V生成性能，从视频生成质量（Quality，Q）和生成视频与文本提示的对齐或 “保真度”（Faithfulness，F）两个正交方面进行评估。提出JUICE评估方案，要求评估者在成对比较视频生成结果时说明选择理由，显著提高了标注者之间的一致性。评估者可选择像素清晰度、运动平滑度、可识别对象/场景、帧一致性和运动量等理由来评价视频质量；使用空间文本对齐和时间文本对齐来评价保真度。

实现细节

附录第 1 节提供完整的实现细节，详细内容可以参考附录第 1 节，这里只介绍关键细节。

架构与初始化

采用Emu中的文本到图像 U-Net 架构构建模型，并使用预训练模型初始化所有空间参数。

预训练模型使用一个 8 通道、64×64 的潜在向量，经自动编码器在空间上进行 8 倍下采样，生成 512px 的方形图像。
该模型同时使用一个冻结的 T5-XL 和一个冻结的 CLIP 文本编码器从文本提示中提取特征。

高效的多阶段多分辨率训练

为降低计算复杂度，分两个阶段进行训练。

1. 先在低分辨率下，训练更简单的任务，即生成256px、8fps、1s的视频。
2. 然后在期望的高分辨率下训练，对4fps、2s的视频进行15K次迭代训练。
   a. 使用同SD一样的噪声调度进行256px训练。
   b. 在512px训练中使用零终端信噪比噪声调度，扩散训练步数$N=1000$
   c. 使用DDIM采样器进行采样，采样步数为250步。

SD中的噪声调度是：线性调度。
SD 系列文章参考：Stable Diffusion

高质量微调

通过在一小部分高运动和高质量视频上微调模型，可改善生成视频的运动效果。从训练集中自动识别出1600个具有高运动（根据H.264编码视频中存储的运动信号计算）的视频作为微调子集，并根据美学分数和视频文本与第一帧的CLIP相似度进行筛选。

插值模型

插值模型I从视频模型F初始化，输入8帧，输出$T_p=37$帧，帧率为16fps。在训练时使用噪声增强，在推理时对F的样本进行噪声增强。

实验

参照论文原文

伦理问题

参照论文原文