Diffusion 公式推导 2

Diffusion 公式推导 中对 DDPM 进行了推导，本文接着对 DDIM 进行推导。

六. 模型改进

从扩散模型的推理过程不难看出，DDPM 有一个致命缺点 —— 推理速度过慢，因为逆扩散是从 $x_T$ 到 $x_0$ 的完整过程，无法跳过中间的迭代过程。为了加快推理过程，DDIM (Denoising Diffusion Implicit Models) 对 DDPM 进行了改进，采用的是一个非马尔科夫过程，使得生成过程可以在更少的时间步内完成。

从原理角度来看 ¹，DDIM 假设 $q(x_{t-1}\mid x_0,x_t)$ 是一个高斯分布，对其进行待定系数：
$$q(x_{t-1}\mid x_0,x_t)\sim \mathcal{N}\left(k{x}_0+m{x}_t,{\sigma }^2\right)\text{\hspace{1em}(21)}$$

因此有：
$$x_{t-1}=k{x}_0+m{x}_t+\sigma ϵ\text{ 其中 }ϵ\sim \mathcal{N}(0,\mathbf{I})\text{\hspace{1em}(22)}$$

将（7）式代入，得到：
$$\begin{array}{rl}{x}_{t-1}& =k{x}_0+m{x}_t+\sigma ϵ\\ & =k{x}_0+m(\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}{\overline{ϵ}}_0)+\sigma ϵ\\ & =(k+m\sqrt{{\overline{\alpha }}_t})x_0+m\sqrt{1-{\overline{\alpha }}_t}{\overline{ϵ}}_0+\sigma ϵ\\ & =(k+m\sqrt{{\overline{\alpha }}_t})x_0+{ϵ}^{\prime }\end{array}\text{\hspace{1em}(23)}$$

其中，$m\sqrt{1-{\overline{\alpha }}_t}{\overline{ϵ}}_0+\sigma ϵ$ 可以合并成 ${ϵ}^{\prime }$ 是因为高斯分布的可加性，因此有 ${ϵ}^{\prime }\sim \mathcal{N}(0,m^2(1-{\overline{\alpha }}_t)+{\sigma }^2)$。

将（7）式变换成 $x_{t-1}$ 的形式，然后和（23）式联立：

$$\begin{array}{rl}{x}_{t-1}& =\sqrt{{\overline{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\overline{\alpha }}_{t-1}}{\overline{ϵ}}_0\\ x_{t-1}& =(k+m\sqrt{{\overline{\alpha }}_t})x_0+{ϵ}^{\prime }\end{array}$$

对应项系数相等得到：
$$\begin{array}{rl}\sqrt{{\overline{\alpha }}_{t-1}}& =k+m\sqrt{{\overline{\alpha }}_t}\\ 1-{\overline{\alpha }}_{t-1}& =m^2(1-{\overline{\alpha }}_t)+{\sigma }^2\end{array}\text{\hspace{1em}(24)}$$

因此有：
$$\begin{array}{rl}m& =\sqrt{\frac{1-{\overline{\alpha }}_{t-1}-{\sigma }^2}{1-{\overline{\alpha }}_t}}\\ k& =\sqrt{{\overline{\alpha }}_{t-1}}-\sqrt{\frac{1-{\overline{\alpha }}_{t-1}-{\sigma }^2}{1-{\overline{\alpha }}_t}}\sqrt{{\overline{\alpha }}_t}\end{array}\text{\hspace{1em}(25)}$$

和 DDPM 逆扩散过程一样，代入（7）式将 $x_0$ 替换成 $x_t$ 表示，再将（25）式代入（22）式，得到：
$$\begin{array}{rl}{x}_{t-1}& =k{x}_0+m{x}_t+\sigma ϵ\\ & =(\sqrt{{\overline{\alpha }}_{t-1}}-\sqrt{\frac{1-{\overline{\alpha }}_{t-1}-{\sigma }^2}{1-{\overline{\alpha }}_t}}\sqrt{{\overline{\alpha }}_t})(\frac{x_t-\sqrt{1-{\overline{\alpha }}_t}{\overline{ϵ}}_0}{\sqrt{{\overline{\alpha }}_t}})+\sqrt{\frac{1-{\overline{\alpha }}_{t-1}-{\sigma }^2}{1-{\overline{\alpha }}_t}}{x}_t+\sigma ϵ\\ & =\sqrt{\frac{{\overline{\alpha }}_{t-1}}{{\overline{\alpha }}_t}}{x}_t+(\sqrt{1-{\overline{\alpha }}_{t-1}-{\sigma }^2}-\sqrt{\frac{{\overline{\alpha }}_{t-1}(1-{\overline{\alpha }}_t)}{{\overline{\alpha }}_t}}){\overline{ϵ}}_0+\sigma ϵ\\ & =\frac{1}{\sqrt{{\alpha }_t}}{x}_t+\left(\sqrt{1-{\overline{\alpha }}_{t-1}-{\sigma }^2}-\sqrt{\frac{1-{\overline{\alpha }}_t}{{\alpha }_t}}\right){\overline{ϵ}}_0+\sigma ϵ\end{array}\text{\hspace{1em}(26)}$$

${\overline{ϵ}}_0$ 通过 U-Net 进行预测，其他都是已知参数。网上的教程都是推导到（26）式处就说不是马尔科夫假设，所以不需要严格遵守 $x_t\to x_{t-1}$ ^{2 3}。也有从相隔多个迭代步数采样向前推的，参见 一个视频看懂DDIM凭什么加速采样|扩散模型相关。

\  

---

\  

总之，DDIM 推理时可以隔多步进行采样，通过一个确定性映射直接将噪声转换为数据，避免了 DDPM 中的随机性，在减少生成时间步的同时，保持生成图像的高质量。推理过程中的确定性映射表示如下：
$${\mathbf{x}}_{{\tau }_{i-1}}=\sqrt{{\bar{\alpha }}_{{\tau }_{i-1}}}\left(\frac{{\mathbf{x}}_{{\tau }_i}-\sqrt{1-{\bar{\alpha }}_{{\tau }_i}}{ϵ}_{\theta }({\mathbf{x}}_{{\tau }_i},{\tau }_i)}{\sqrt{{\bar{\alpha }}_{{\tau }_i}}}\right)+\sqrt{1-{\bar{\alpha }}_{{\tau }_{i-1}}-{\sigma }_{{\tau }_i}^2}{ϵ}_{\theta }({\mathbf{x}}_{{\tau }_i},{\tau }_i)$$

其中 τ = { τ 1 , τ 2 , . . . , τ N } \tau = \{ \tau_1, \tau_2, ..., \tau_N \} τ={τ1​,τ2​,...,τN​} 是时间步长序列。通过这个机制，DDIM 可以在生成过程中跳过多个步骤。

https://zhuanlan.zhihu.com/p/675510886

---

1. 一文带你看懂DDPM和DDIM（含原理简易推导，pytorch代码） ↩︎

2. DDPM与DDIM简洁版总结 ↩︎

3. DDPM和DDIM公式推导。(精简版) ↩︎