扩散模型（二）

相关阅读：扩散模型（一）

Parameterization of $L_t$ for Training Loss

回想一下，我们需要训练一个神经网络来近似反向扩散过程中的条件概率分布，即, $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t),{\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t))$. 我们希望训练 ${\mathbf{\mu }}_{\theta }$ 以预测 ${\tilde{\mathbf{\mu }}}_t=\frac{1}{\sqrt{{\alpha }_t}}({\mathbf{x}}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_t)$. 由于训练时 ${\mathbf{x}}_t$ 可以获取, 我们可以对高斯噪声项进行重参数化， 使其在时间步 $t$ 从输入 ${\mathbf{x}}_t$ 预测出 ${\mathbf{ϵ}}_t$。

$$\begin{array}{rl}{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t)& =\frac{1}{\sqrt{{\alpha }_t}}({\mathbf{x}}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t))\\ \text{Thus }{\mathbf{x}}_{t-1}& =\mathcal{N}({\mathbf{x}}_{t-1};\frac{1}{\sqrt{{\alpha }_t}}({\mathbf{x}}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)),{\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t))\end{array}$$

损失项 $L_t$ 通过参数化来最小化与 $\tilde{\mathbf{\mu }}$ 的差异：

$$\begin{array}{rl}{L}_t& ={\mathbb{E}}_{{\mathbf{x}}_0,\mathbf{ϵ}}[\frac{1}{2\Vert {\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t){\Vert }_2^2}\Vert {\tilde{\mathbf{\mu }}}_t({\mathbf{x}}_t,{\mathbf{x}}_0)-{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t){\Vert }^2]\\ & ={\mathbb{E}}_{{\mathbf{x}}_0,\mathbf{ϵ}}[\frac{1}{2\Vert {\mathbf{\Sigma }}_{\theta }{\Vert }_2^2}\Vert \frac{1}{\sqrt{{\alpha }_t}}({\mathbf{x}}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_t)-\frac{1}{\sqrt{{\alpha }_t}}({\mathbf{x}}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\left){\Vert }^2\right]\\ & ={\mathbb{E}}_{{\mathbf{x}}_0,\mathbf{ϵ}}[\frac{(1-{\alpha }_t{)}^2}{2{\alpha }_t(1-{\bar{\alpha }}_t)\Vert {\mathbf{\Sigma }}_{\theta }{\Vert }_2^2}\Vert {\mathbf{ϵ}}_t-{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t){\Vert }^2]\\ & ={\mathbb{E}}_{{\mathbf{x}}_0,\mathbf{ϵ}}[\frac{(1-{\alpha }_t{)}^2}{2{\alpha }_t(1-{\bar{\alpha }}_t)\Vert {\mathbf{\Sigma }}_{\theta }{\Vert }_2^2}\Vert {\mathbf{ϵ}}_t-{\mathbf{ϵ}}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}{\mathbf{ϵ}}_t,t){\Vert }^2]\end{array}$$

• Simplification

根据实证研究，霍等人（2020 年）发现，使用一个简化的目标函数来训练扩散模型效果更好，该目标函数忽略了加权项。

$$\begin{array}{rl}{L}_t^{\text{simple}}& ={\mathbb{E}}_{t\sim [1,T],{\mathbf{x}}_0,{\mathbf{ϵ}}_t}[\Vert {\mathbf{ϵ}}_t-{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t){\Vert }^2]\\ & ={\mathbb{E}}_{t\sim [1,T],{\mathbf{x}}_0,{\mathbf{ϵ}}_t}[\Vert {\mathbf{ϵ}}_t-{\mathbf{ϵ}}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}{\mathbf{ϵ}}_t,t){\Vert }^2]\end{array}$$

最终简化的目标为：

$$L_{\text{simple}}=L_t^{\text{simple}}+C$$

其中 $C$ 是常数，不依赖于 $\theta$。

• 图 4

Connection with noise-conditioned score networks (NCSN)

宋和埃尔蒙（2019）提出了一种基于分数的生成建模方法，通过利用分数匹配估计的数据分布梯度，经由朗之万动力学（见 “与随机梯度朗之万动力学的联系”）生成样本。每个样本 $\mathbf{x}$ 的密度概率的分数定义为其梯度 ${\nabla }_{\mathbf{x}}\log q(\mathbf{x})$ 。训练一个分数网络 ${\mathbf{s}}_{\theta }:{\mathbb{R}}^D\to {\mathbb{R}}^D$ 来进行估计，即 ${\mathbf{s}}_{\theta }(\mathbf{x})\approx {\nabla }_{\mathbf{x}}\log q(\mathbf{x})$ 。
为了使其在深度学习环境中适用于高维数据，他们提出使用 “去噪分数匹配” 或 “切片分数匹配”。去噪分数匹配向数据 $q(\tilde{\mathbf{x}}|\mathbf{x})$ 添加预先指定的少量噪声，并通过分数匹配估计 $q(\tilde{\mathbf{x}})$。回想一下，朗之万动力学可以在迭代过程中仅使用分数 ${\nabla }_{\mathbf{x}}\log q(\mathbf{x})$ 从概率密度分布中采样数据点。
然而，根据流形假设，尽管观测到的数据可能看起来维度极高，但大多数数据预计集中在一个低维流形中。这对分数估计产生了负面影响，因为数据点无法覆盖整个空间。在数据密度低的区域，分数估计的可靠性较差。在添加少量高斯噪声以使扰动后的数据分布覆盖整个 ${\mathbb{R}}^D$ 空间后，分数估计器网络的训练变得更加稳定。宋和埃尔蒙（2019）通过用不同程度的噪声扰动数据，并训练一个噪声条件分数网络来联合估计不同噪声水平下所有扰动数据的分数，从而对该方法进行了改进。
噪声水平增加的过程类似于正向扩散过程。如果我们使用扩散过程的标注，分数近似为 ${\mathbf{s}}_{\theta }({\mathbf{x}}_t,t)\approx {\nabla }_{{\mathbf{x}}_t}\log q({\mathbf{x}}_t)$ 。对于高斯分布 $\mathbf{x}\sim \mathcal{N}(\mu ,{\sigma }^2\mathbf{I})$ ，我们可以将其密度函数对数的导数写为 ${\nabla }_{\mathbf{x}}\log p(\mathbf{x})={\nabla }_{\mathbf{x}}(-\frac{1}{2{\sigma }^2}(\mathbf{x}-\mathbf{\mu }{)}^2)=-\frac{\mathbf{x}-\mathbf{\mu }}{{\sigma }^2}=-\frac{\mathbf{ϵ}}{\sigma }$ ，其中 $\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})$ 。考虑到前文介绍的 $q({\mathbf{x}}_t|{\mathbf{x}}_0)\sim \mathcal{N}(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,(1-{\bar{\alpha }}_t)\mathbf{I})$，因此，

$${\mathbf{s}}_{\theta }({\mathbf{x}}_t,t)\approx {\nabla }_{{\mathbf{x}}_t}\log q({\mathbf{x}}_t)={\mathbb{E}}_{q({\mathbf{x}}_0)}[{\nabla }_{{\mathbf{x}}_t}\log q({\mathbf{x}}_t|{\mathbf{x}}_0)]={\mathbb{E}}_{q({\mathbf{x}}_0)}[-\frac{{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)}{\sqrt{1-{\bar{\alpha }}_t}}]=-\frac{{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)}{\sqrt{1-{\bar{\alpha }}_t}}$$

Parameterization of ${\beta }_t$

在霍等人（2020）的研究中，正向方差被设定为一系列线性递增的常数，从 ${\beta }_1=10^{-4}$ 到 ${\beta }_T=0.02$。与归一化后在 $[-1,1]$ 之间的图像像素值相比，这些方差相对较小。他们实验中的扩散模型生成了高质量的样本，但与其他生成模型相比，仍无法实现具有竞争力的模型对数似然。
尼科尔和达里瓦尔（2021）提出了几种改进技术，以帮助扩散模型获得更低的负对数似然（NLL）。其中一项改进是使用基于余弦的方差调度。调度函数的选择可以是任意的，只要它在训练过程中间提供近乎线性的下降，并且在$t=0$ 和 $t=T$ 附近变化细微。

$${\beta }_t=\text{clip}(1-\frac{{\bar{\alpha }}_t}{{\bar{\alpha }}_{t-1}},0.999){\bar{\alpha }}_t=\frac{f(t)}{f(0)}\text{where }f(t)=\cos (\frac{t/T+s}{1+s}\cdot \frac{\pi }{2}{)}^2$$

其中，小的偏移量 $s$ 是为了防止在接近 $t=0$ 时 ${\beta }_t$ 过小。

• 图 5

Parameterization of reverse process variance ${\mathbf{\Sigma }}_{\theta }$

Ho et al. (2020) 选择将 ${\beta }_t$ 固定为常数，而非使其可学习，并设定 ${\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t)={\sigma }_t^2\mathbf{I}$ , 其中 ${\sigma }_t$ 并非通过学习得到，而是设为 ${\beta }_t$ 或者 ${\tilde{\beta }}_t=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}\cdot {\beta }_t$. 因为他们发现，学习对角方差 ${\mathbf{\Sigma }}_{\theta }$ 会导致训练不稳定，且样本质量较差。
Nichol & Dhariwal (2021) 提出，通过模型预测一个混合向量 $\mathbf{v}$，将 ${\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t)$ 作为 ${\beta }_t$ 与 ${\tilde{\beta }}_t$ 之间的插值来进行学习。

$${\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t)=\exp (\mathbf{v}\log {\beta }_t+(1-\mathbf{v})\log {\tilde{\beta }}_t)$$

然而，简单目标函数 $L_{\text{simple}}$ 并不依赖于 ${\mathbf{\Sigma }}_{\theta }$。为了引入这种依赖关系，他们构建了一个混合目标函数 $L_{\text{hybrid}}=L_{\text{simple}}+\lambda L_{\text{VLB}}$，其中 $\lambda =0.001$ 取值较小，并且在 $L_{\text{VLB}}$ 项中对 ${\mathbf{\mu }}_{\theta }$ 停止梯度计算，这样 $L_{\text{VLB}}$ 就仅用于指导 ${\mathbf{\Sigma }}_{\theta }$ 的学习。从经验上看，他们发现 $L_{\text{VLB}}$ 极难优化，这很可能是由于梯度噪声所致，因此他们提议使用一种带有重要性采样的 $L_{\text{VLB}}$ 时间平均平滑版本。

Conditioned Generation

在使用诸如 ImageNet 数据集这类带有条件信息的图像来训练生成模型时，基于类别标签或一段描述性文本等条件生成样本是很常见的做法。

Classifier Guided Diffusion

为了将类别信息明确纳入扩散过程，达里瓦尔和尼科尔（2021）在含噪图像 ${\mathbf{x}}_t$ 上训练了一个分类器 $f_{\varphi }(y|{\mathbf{x}}_t,t)$，并通过改变噪声预测，使用梯度 ${\nabla }_{\mathbf{x}}\log f_{\varphi }(y|{\mathbf{x}}_t)$ 将扩散采样过程导向到条件信息 $y$。

考虑之前的 ${\nabla }_{{\mathbf{x}}_t}\log q({\mathbf{x}}_t)=-\frac{1}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)$，我们可以将联合分布 $q({\mathbf{x}}_t,y)$ 的分数函数写成如下形式：

$$\begin{array}{rl}{\nabla }_{{\mathbf{x}}_t}\log q({\mathbf{x}}_t,y)& ={\nabla }_{{\mathbf{x}}_t}\log q({\mathbf{x}}_t)+{\nabla }_{{\mathbf{x}}_t}\log q(y|{\mathbf{x}}_t)\\ & \approx -\frac{1}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)+{\nabla }_{{\mathbf{x}}_t}\log f_{\varphi }(y|{\mathbf{x}}_t)\\ & =-\frac{1}{\sqrt{1-{\bar{\alpha }}_t}}({\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)-\sqrt{1-{\bar{\alpha }}_t}{\nabla }_{{\mathbf{x}}_t}\log f_{\varphi }(y|{\mathbf{x}}_t))\end{array}$$

因此，一种新的由分类器引导的预测器 ${\overline{\mathbf{ϵ}}}_{\theta }$ 将采用如下形式。

$${\overline{\mathbf{ϵ}}}_{\theta }({\mathbf{x}}_t,t)={\mathbf{ϵ}}_{\theta }(x_t,t)-\sqrt{1-{\bar{\alpha }}_t}{\nabla }_{{\mathbf{x}}_t}\log f_{\varphi }(y|{\mathbf{x}}_t)$$

为了控制分类器引导的强度，我们可以在增量部分添加一个权重 $w$

$${\overline{\mathbf{ϵ}}}_{\theta }({\mathbf{x}}_t,t)={\mathbf{ϵ}}_{\theta }(x_t,t)-\sqrt{1-{\bar{\alpha }}_t}w{\nabla }_{{\mathbf{x}}_t}\log f_{\varphi }(y|{\mathbf{x}}_t)$$

由此得到的简化扩散模型（ADM）以及添加了分类器引导的模型（ADM - G），能够取得比当时最先进的生成模型（如 BigGAN）更好的效果。

• 图 7

此外，通过对 U-Net 架构进行一些修改，达里瓦尔和尼科尔（2021）展示了扩散模型优于生成对抗网络（GAN）的性能。架构修改包括增加模型深度 / 宽度、增多注意力头、采用多分辨率注意力机制、在上下采样中使用 BigGAN 残差块、通过 对残差连接进行重新缩放 $1/\sqrt{2}$，以及使用自适应组归一化（AdaGN）。

Classifier-Free Guidance

即便没有独立的分类器 $f_{\varphi }$，通过整合来自条件扩散模型和无条件扩散模型的分数，依然可以执行条件扩散步骤（霍和萨利曼斯，2021）。设通过分数估计器 ${\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)$ 参数化的无条件去噪扩散模型为 $p_{\theta }(\mathbf{x})$，通过 ${\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t,y)$ 参数化的条件模型为 $p_{\theta }(\mathbf{x}|y)$。这两个模型可以由单个神经网络进行学习。确切地说，条件扩散模型 $p_{\theta }(\mathbf{x}|y)$ 在成对数据上 $(\mathbf{x},y)$ 进行训练，其中条件信息 $y$ 会被随机且周期性地丢弃，这样模型也能知晓如何进行无条件图像生成，即 ${\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)={\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t,y=\varnothing )$。

隐式分类器的梯度可以用条件和无条件分数估计器来表示。一旦将其代入分类器引导的修正分数中，该分数就不再依赖于单独的分类器。

$$\begin{array}{rl}{\nabla }_{{\mathbf{x}}_t}\log p(y|{\mathbf{x}}_t)& ={\nabla }_{{\mathbf{x}}_t}\log p({\mathbf{x}}_t|y)-{\nabla }_{{\mathbf{x}}_t}\log p({\mathbf{x}}_t)\\ & =-\frac{1}{\sqrt{1-{\bar{\alpha }}_t}}({\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t,y)-{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t))\\ {\overline{\mathbf{ϵ}}}_{\theta }({\mathbf{x}}_t,t,y)& ={\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t,y)-\sqrt{1-{\bar{\alpha }}_t}w{\nabla }_{{\mathbf{x}}_t}\log p(y|{\mathbf{x}}_t)\\ & ={\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t,y)+w({\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t,y)-{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t))\\ & =(w+1){\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t,y)-w{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\end{array}$$

他们的实验表明，无分类器引导能够在 FID（区分合成图像与生成图像的指标）和 IS（衡量图像质量与多样性的指标）之间取得良好平衡。

引导扩散模型 GLIDE（尼科尔、达里瓦尔、拉梅什等人，2022）对 CLIP 引导和无分类器引导这两种策略都进行了探索，结果发现更倾向于后者。他们推测，这是因为 CLIP 引导是利用对抗样本对 CLIP 模型进行开发利用，而非优化生成匹配度更高的图像。

Speed up Diffusion Models

通过遵循反向扩散过程的马尔可夫链从 DDPM（去噪扩散概率模型）生成样本的速度非常慢，因为步数可能多达一千步甚至几千步。宋等人（2020）的一项数据表明：“例如，从 DDPM 中采样 50,000 张 32×32 尺寸的图像大约需要 20 个小时，而在英伟达 2080 Ti GPU 上，使用生成对抗网络（GAN）采样同样数量的图像则不到一分钟。”

Fewer Sampling Steps & Distillation

一种简单的方法是采用跨步采样方案（尼科尔和达里瓦尔，2021），每 $\lceil T/S\rceil$ 步进行一次采样更新，从而将采样过程从 $T$ 步缩减至 $S$ 步。新的生成采样方案为 { τ 1 , … , τ S } \{\tau_1, \dots, \tau_S\} {τ1​,…,τS​}，其中 ${\tau }_1<{\tau }_2<\cdots <{\tau }_S\in [1,T]$ 且 $S<T$。至于另一种方法，我们可以将 $q_{\sigma }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)$ 改写为通过期望标准差 ${\sigma }_t$ 进行参数化的形式。

$$\begin{array}{rlr}{\mathbf{x}}_{t-1}& =\sqrt{{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_{t-1}}{\mathbf{ϵ}}_{t-1}& \\ & =\sqrt{{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}{\mathbf{ϵ}}_t+{\sigma }_t\mathbf{ϵ}& \\ & =\sqrt{{\bar{\alpha }}_{t-1}}\left(\frac{{\mathbf{x}}_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_{\theta }^{(t)}({\mathbf{x}}_t)}{\sqrt{{\bar{\alpha }}_t}}\right)+\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}{ϵ}_{\theta }^{(t)}({\mathbf{x}}_t)+{\sigma }_t\mathbf{ϵ}& \\ q_{\sigma }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)& =\mathcal{N}({\mathbf{x}}_{t-1};\sqrt{{\bar{\alpha }}_{t-1}}(\frac{{\mathbf{x}}_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_{\theta }^{(t)}({\mathbf{x}}_t)}{\sqrt{{\bar{\alpha }}_t}})+\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}{ϵ}_{\theta }^{(t)}({\mathbf{x}}_t),{\sigma }_t^2\mathbf{I})& \end{array}$$

其中，模型 ${ϵ}_{\theta }^{(t)}(.)$ 从 ${\mathbf{x}}_t$ 预测 ${ϵ}_t$。
根据前面的定义，在 $q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_{t-1};\tilde{\mathbf{\mu }}({\mathbf{x}}_t,{\mathbf{x}}_0),{\tilde{\beta }}_t\mathbf{I})$ 中, 因此我们有:

$${\tilde{\beta }}_t={\sigma }_t^2=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}\cdot {\beta }_t$$

令 ${\sigma }_t^2=\eta \cdot {\tilde{\beta }}_t$，这样我们就可以将 $\eta \in {\mathbb{R}}^{+}$ 作为超参数进行调整，以控制采样的随机性。当 $\eta =0$ 这个特殊情况时，采样过程就变为确定性的。这样的模型被称为去噪扩散隐式模型（DDIM；宋等人，2020）。DDIM 具有相同的边际噪声分布，但能确定性地将噪声映射回原始数据样本。
在生成过程中，我们无需遵循从 $t=1,2,...T$ 的完整链条，而是只需其中的一个步骤子集。设 $s<t$ 为这个加速轨迹中的两个步骤。DDIM 的更新步骤为：

$$q_{\sigma ,s<t}({\mathbf{x}}_s|{\mathbf{x}}_t,{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_s;\sqrt{{\bar{\alpha }}_s}\left(\frac{{\mathbf{x}}_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_{\theta }^{(t)}({\mathbf{x}}_t)}{\sqrt{{\bar{\alpha }}_t}}\right)+\sqrt{1-{\bar{\alpha }}_s-{\sigma }_t^2}{ϵ}_{\theta }^{(t)}({\mathbf{x}}_t),{\sigma }_t^2\mathbf{I})$$

在实验中，所有模型均采用 $T=1000$ 扩散步骤进行训练。他们观察到，当 $S$ 较小时，DDIM（[$\eta =0$]）能够生成质量最佳的样本，而 DDPM（[$\eta =1$]）在较小的 [$S$] 下表现则差得多。当我们能够承担完整的反向马尔可夫扩散步骤（[$S=T=1000$]）时，DDPM 的表现确实更好。借助 DDIM，可以将扩散模型训练到任意数量的前向步骤，但在生成过程中仅从步骤子集中进行采样。

与去噪扩散概率模型（DDPM）相比，去噪扩散隐式模型（DDIM）具备以下优势：

• 以更少的步数生成更高质量的样本：DDIM 能够在使用显著更少步数的情况下，生成质量更高的样本。这意味着在实际应用中，它可以更高效地完成样本生成任务，减少计算资源的消耗和时间成本。
• 具有 “一致性” 特性：由于 DDIM 的生成过程是确定性的，它具有 “一致性”。这表明基于相同潜在变量生成的多个样本，应具有相似的高级特征。这种一致性在许多应用场景中非常重要，例如需要生成具有相似风格或主题的多个样本时，DDIM 可以确保这些样本在整体特征上保持一致。
• 可在潜在变量中进行语义上有意义的插值：得益于其一致性特性，DDIM 能够在潜在变量空间中进行语义上有意义的插值操作。这使得在潜在变量空间中进行平滑过渡成为可能，从而生成在语义上连贯且有意义的样本序列。例如，在图像生成任务中，可以通过对潜在变量进行插值，实现从一个图像到另一个图像的平滑过渡，生成一系列具有渐进变化的图像。
  
• 图9：Progressive distillation can reduce the diffusion sampling steps by half in each iteration.

渐进蒸馏（萨利曼斯和霍，2022 年）是一种将训练好的确定性采样器提炼成采样步数减半的新模型的方法。学生模型由教师模型初始化，并且在去噪时，其目标设定为让一个学生 DDIM 步骤匹配两个教师步骤，而不是像原来那样使用样本 ${\mathbf{x}}_0$ 作为去噪目标。在每一次渐进蒸馏迭代中，我们都可以将采样步数减半。

• 图 10：Comparison of Algorithm 1 (diffusion model training) and Algorithm 2 (progressive distillation) side-by-side, where the relative changes in progressive distillation are highlighted in green.

相关阅读：

• 扩散模型（三）

参考：

What are Diffusion Models?
Weng, Lilian. (Jul 2021). What are diffusion models? Lil’Log. https://lilianweng.github.io/posts/2021-07-11-diffusion-models/.