文生视频算法

主流AI视频技术框架：

Sora

Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models
参考文章

解决问题：

模拟物理现实世界，生成逼真视频

解决思路：

Sora模型的核心架构图示

Sora主要包括三个部分：

3D VAE模型：3D VAE Encoder能在时间和空间维度上将输入的原始视频映射到Latent空间中。同时3D VAE Decoder能将扩散模型生成的视频Latent特征进行重建，获得像素级视频内容。
基于DiT的扩散模型架构：使用类似于ViT（视觉转换器）的处理方式将视频的Latent特征进行Patch化，并进行扩散过程输出去噪后的视频Latent特征。
一个类似CLIP模型架构的条件接收机制：接收经过大型语言模型（LLM）增强的用户输入Prompt和视觉信息的Prompt，用以引导扩散模型生成具有特定风格或者主题的视频内容。

3D VAE架构：

其中先使用一个Visual Encoder模型将视频数据（空间和时间维度）压缩编码到Latent特征空间，获得一个3D visual patch array，接着将整个Latent特征分解成spacetime patches，最后再排列组合成为一个visual patches向量。

CogVideoX

CogVideoX
参考文章

解决问题：

模拟物理现实世界，生成逼真视频

解决思路：

CogVideoX-2B模型的完整架构：

CogVideoX主要包括三个部分：

3D Causal VAE模型： 3D Causal VAE Encoder能在时间和空间维度上将输入的原始视频映射到Latent空间中。同时3D Causal VAE Decoder能将扩散模型生成的视频Latent特征进行重建，获得像素级视频内容。
DiT Expert模型： 将视频信息的Latent特征和文本信息的Embeddings特征进行Concat后，再Patch化，并进行扩散过程输出去噪后的视频Latent特征。
Text Encoder模型： Text Encoder模型将输入的文本Prompt编码成Text Embeddings，作为条件注入DiT Expert模型中。CogVideoX中选用T5-XXL作为Text Encoder，Text Encoder具备较强的文本信息提取能力。

3D VAE架构


主要包括一个Encoder（编码器）、一个Decoder（解码器）以及一个Latent Space Regularizer（潜在空间正则器）：

编码器： 用于将输入视频数据转换为Latent Feature。这一过程中，编码器会通过四个下采样阶段逐步减少视频数据的空间和时间分辨率。
解码器： 将视频数据的Latent Feature转换成原始的像素级视频。解码器也包含四个对称的上采样阶段，用于恢复视频数据的空间和时间分辨率。
潜在空间正则化器： 通过KL散度来约束高斯Latent空间，对编码器生成的Latent Feature进行正则化。这对于AI视频大模型的生成效果和稳定性至关重要。

3D Expert Transformer的完整结构图

Text Encoder部分（T5-xxl）：

GELU、ReLU、Sigmoid三大激活函数之间的数值对比：

从上图可以看出：

1. ReLU激活函数在输入为正数时，输出与输入相同；在输入为负数时，输出为0。它非常简单但会完全忽略负值的输入
2. Sigmoid激活函数输出在 0 到 1 之间平滑过渡，适合在某些分类任务中使用，但可能会导致梯度消失问题。
3. GELU激活函数比ReLU 更平滑，并且在负值附近不会直接剪切到 0。它让负值小幅保留，避免了完全忽略负输入，同时保留了 ReLU 在正值区间的主要优点。

总的来说，GELU是一种更平滑的激活函数，能更好地保留输入的细微信息，尤其是在处理负值时。通过结合多种非线性运算（如 tanh 和多项式），GELU 提供了比 ReLU 更平滑和复杂的输出，有助于AI模型在训练过程中更好地捕捉数据中的复杂特征与模式。

Stable Video Diffusion（SVD）

SVD
参考文章

解决问题：

模拟物理现实世界，生成逼真视频

解决思路：

目前开源的Stable Video Diffusion模型是两个图生视频的版本，都是基于Stable Diffusion V2.1进行训练的，一个生成14帧（SVD），一个生成25帧（SVD-XT），从人工评测结果看，效果超过runaway的GEN2和Pika Labs的免费模型。

超大训练集
StabilityAI使用了一个包含5.8亿个视频剪辑的巨大数据集，来训练SVD模型。为了筛选高质量数据，我们首先检测每个视频中的不同镜头和转场，并且评估每个镜头中的运动信息，然后为每个镜头自动生成描述文字和每个镜头的美学效果等。

SVD的数据筛选具体方法如下：

级联切换检测: 采用级联的切换检测方法识别视频中的场景转场。

运动信息提取: 基于稠密光流估计每个视频片段的运动信息。

文本描述生成: 为每个视频片段自动生成三种形式的文字描述。

质量评估: 使用CLIP等方法评估每个片段的视觉质量、文本匹配度等。

过滤去噪: 根据上述评估指标过滤掉质量较差的视频片段。

经过层层筛选，最后保留了一个约1.5亿视频片段的超高质量数据集，为后续的SVD模型训练奠定重要基础。
多阶段训练
SVD模型在模型训练方面也与传统方法不同，其采用了一个三层训练架构。

第一阶段 是进行图像预训练，初始化一个图像生成模型。第二阶段 是在已经构建的大规模视频数据集上进行视频预训练，学习运动表征。第三阶段是在一个小规模的高质量视频数据集上进行微调。

这种分阶段的训练策略可以让模型更好地生成高保真视频。

同时SVD在模型框架上也进行了大量创新。例如，设计了专门的时间卷积和注意力结构，明显提高了视频时序信息的捕捉和学习能力。

多任务微调
在训练好后，我们需要对SVD模型进一步微调，可用于多模式的视频生成任务。

文本描述生成视频： 文本提示可以直接作为条件生成视频。

图像生成视频： 可以使用一张图像作为条件,生成这张图像的后续运动镜头。

多视角渲染： 可以生成同一个物体的多个前后左右观察角度的视频镜头，这样可以生成3D 效果视频。

插入视频帧： 可以将两张图像作为条件,生成插入在它们中间的额外镜头,实现视频帧率的提升。