如何理解Diffusion

Diffusion算法可以有多个角度进行理解，不同的理解方式只是对目标函数进行了不同的解释。其主体思想是不变的，可以归纳为：

1. 训练时通过图片逐步添加噪声，变为一个纯噪声。然后学习每一步的噪声。
2. 推理时给定一个随机噪声图片，然后通过学习到的噪声生成一个新的图片

目标

目标是已知上一步图像时，下一步图像的分布是什么。
每一步的图片用$x_0,x_1,...,x_T$来表示，其中$x_0$是原图，$x_T$是纯噪声。它们的关系是：
$$\begin{array}{r}{\mathbf{x}}_t=\sqrt{{\alpha }_t}{\mathbf{x}}_{t-1}+\sqrt{1-{\alpha }_t}\mathbf{ϵ}\text{with }\mathbf{ϵ}\sim \mathcal{N}(\mathbf{ϵ};0,\text{I})\end{array}$$
其中：

• $ϵ$：是噪声，用一个均值为0，方差为I的高斯分布表示
• ${\alpha }_t$：是一个常数，只和t相关

为什么使用这个式子？可以看出，后一步的图片其实是前一步图片$x_{t-1}$和另外一个噪声$ϵ$加权求和得到的。

我们需要把$x_{t-1}$用$x_t$表示，然后一步一步就可以推到$x_0$了：

这时候可能会有人想：上面那个式子不是有$x_{t-1}$和$x_t$吗？直接用上面那个式子不就可以了。

事实上，$x_{t-1}$和$x_t$都是随机变量，可以进行恒等变换，但是算出来的仍然是一个随机变量。我们必须知道随机变量的分布才可以。

因此我们需要知道的其实是已知$x_t$时$x_{t-1}$的分布：$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)$，而这个值可以用贝叶斯公式变换为：

$$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)=q({\mathbf{x}}_t|{\mathbf{x}}_{t-1},{\mathbf{x}}_0)\frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_0)}{q({\mathbf{x}}_t|{\mathbf{x}}_0)}$$
这个式子中的值都是已知的，因为$x_t$和$x_{t-1}$的递推关系是已知的，因此可以不断地带入，然后使用$x_0$来表示$x_t$

具体如下：
$$\begin{array}{r}{\mathbf{x}}_t=\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}{\mathbf{ϵ}}_0\end{array}$$
其中$\overline{{\alpha }_t}$指的是累乘：${\alpha }_1\cdot {\alpha }_2\cdot ...\cdot {\alpha }_t$

上面的式子其实就是三个高斯分布相乘除，那么通过代入高斯分布的公式，然后经过一通计算以后，可以获得$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)$，它的值如下：

$$\begin{array}{rl}q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)& =q({\mathbf{x}}_t|{\mathbf{x}}_{t-1},{\mathbf{x}}_0)\frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_0)}{q({\mathbf{x}}_t|{\mathbf{x}}_0)}\\ & \propto \exp (-\frac{1}{2}(\frac{({\mathbf{x}}_t-\sqrt{{\alpha }_t}{\mathbf{x}}_{t-1}{)}^2}{{\beta }_t}+\frac{({\mathbf{x}}_{t-1}-\sqrt{{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0{)}^2}{1-{\bar{\alpha }}_{t-1}}-\frac{({\mathbf{x}}_t-\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0{)}^2}{1-{\bar{\alpha }}_t}\left)\right)\\ & =\exp (-\frac{1}{2}(\frac{{\mathbf{x}}_t^2-2\sqrt{{\alpha }_t}{\mathbf{x}}_t{\mathbf{x}}_{t-1}+{\alpha }_t{\mathbf{x}}_{t-1}^2}{{\beta }_t}+\frac{{\mathbf{x}}_{t-1}^2-2\sqrt{{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0{\mathbf{x}}_{t-1}+{\bar{\alpha }}_{t-1}{\mathbf{x}}_0^2}{1-{\bar{\alpha }}_{t-1}}-\frac{({\mathbf{x}}_t-\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0{)}^2}{1-{\bar{\alpha }}_t}\left)\right)\\ & =\exp (-\frac{1}{2}((\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}}){\mathbf{x}}_{t-1}^2-(\frac{2\sqrt{{\alpha }_t}}{{\beta }_t}{\mathbf{x}}_t+\frac{2\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0){\mathbf{x}}_{t-1}+C({\mathbf{x}}_t,{\mathbf{x}}_0)\left)\right)\end{array}$$

上面这个高斯分布的均值和方差可以计算如下(${\beta }_t=1-{\alpha }_t$)：

$$\begin{array}{rl}{\tilde{\beta }}_t& =\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}\cdot {\beta }_t\\ {\tilde{\mathbf{\mu }}}_t({\mathbf{x}}_t,{\mathbf{x}}_0)& =\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{\mathbf{x}}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}{\mathbf{x}}_0\end{array}$$

分析一下就可以知道，当$x_t$已知时，其实这个$x_{t-1}$的分布是已知的。有人问，那么均值中还有$x_0$怎么办呢，事实上可以通过上面那个递推公式的结果，使用$x_t$把$x_0$表示出来，然后带入。带入后的结果如下：

$$\begin{array}{rl}{\mathbf{\mu }}_q({\mathbf{x}}_t,{\mathbf{x}}_0)& =\frac{1}{\sqrt{{\alpha }_t}}{\mathbf{x}}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}\sqrt{{\alpha }_t}}{\mathbf{ϵ}}_0\\ {\tilde{\beta }}_t& =\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}\cdot {\beta }_t\end{array}$$

此时我们已经知道了$x_{t-1}$的分布，只剩下一个是不知道的，就是噪声${ϵ}_0$。此时只需要用一个神经网络来估计每一步$t$对应的${ϵ}_0$就可以了。

这也就是训练的过程：

Diffusion和VAE的关系：

VAE中引入了一个隐含的变量z，将p(x|y)看成了p(x|z)和q(z|y)这两个部分，然后获得了一个目标函数ELBO。下面的公式说明了ELBO是p(x)的下界，这个算法的目标就是最大化ELBO
$$\begin{array}{rl}\log p(\mathbf{x})& =\log p(\mathbf{x})\int q_{\mathbf{\varphi }}(\mathbf{z}\mid \mathbf{x})dz\\ & =\int q_{\mathbf{\varphi }}(\mathbf{z}\mid \mathbf{x})\log p(\mathbf{x})dz\\ & ={\mathbb{E}}_{q_{\mathbf{\varphi }}(\mathbf{z}\mid \mathbf{x})}\left[\log p(\mathbf{x})\right]\\ & ={\mathbb{E}}_{q_{\mathbf{\varphi }}(\mathbf{z}\mid \mathbf{x})}\left[\log \frac{p(\mathbf{x},\mathbf{z})}{p(\mathbf{z}\mid \mathbf{x})}\right]\\ & ={\mathbb{E}}_{q_{\mathbf{\varphi }}(\mathbf{z}\mid \mathbf{x})}\left[\log \frac{p(\mathbf{x},\mathbf{z})q_{\mathbf{\varphi }}(\mathbf{z}\mid \mathbf{x})}{p(\mathbf{z}\mid \mathbf{x})q_{\mathbf{\varphi }}(\mathbf{z}\mid \mathbf{x})}\right]\\ & ={\mathbb{E}}_{q_{\mathbf{\varphi }}(\mathbf{z}\mid \mathbf{x})}\left[\log \frac{p(\mathbf{x},\mathbf{z})}{q_{\mathbf{\varphi }}(\mathbf{z}\mid \mathbf{x})}\right]+{\mathbb{E}}_{q_{\mathbf{\varphi }}(\mathbf{z}\mid \mathbf{x})}\left[\log \frac{q_{\mathbf{\varphi }}(\mathbf{z}\mid \mathbf{x})}{p(\mathbf{z}\mid \mathbf{x})}\right]\\ & ={\mathbb{E}}_{q_{\mathbf{\varphi }}(\mathbf{z}\mid \mathbf{x})}\left[\log \frac{p(\mathbf{x},\mathbf{z})}{q_{\mathbf{\varphi }}(\mathbf{z}\mid \mathbf{x})}\right]+{\mathcal{D}}_{\text{KL}}(q_{\mathbf{\varphi }}(\mathbf{z}\mid \mathbf{x})\mid \mid p(\mathbf{z}\mid \mathbf{x}))\\ & \ge {\mathbb{E}}_{q_{\mathbf{\varphi }}(\mathbf{z}\mid \mathbf{x})}\left[\log \frac{p(\mathbf{x},\mathbf{z})}{q_{\mathbf{\varphi }}(\mathbf{z}\mid \mathbf{x})}\right]\end{array}$$

而VAE还有一个推广，就是Hierarchical VAE，表示中间的z不止一个，那么整个分布变成了p(x|z1), p(z1|z2), …, p(zt|y)。可以发现这个和扩散模型的思想是非常类似的。并且可以推导出来Hierarchical VAE的目标函数就是BLEO的形式是：

$$\begin{array}{rl}\log p(\mathbf{x})& \ge {\mathbb{E}}_{q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)}\left[\log \frac{p({\mathbf{x}}_{0:T})}{q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)}\right]\\ & =\begin{array}{rl}[t]\underset{\text{reconstruction term}}{\underbrace{{\mathbb{E}}_{q({\mathbf{x}}_1\mid {\mathbf{x}}_0)}\left[\log p_{\mathbf{\theta }}({\mathbf{x}}_0\mid {\mathbf{x}}_1)\right]}}& -\underset{\text{prior matching term}}{\underbrace{{\mathcal{D}}_{\text{KL}}(q({\mathbf{x}}_T\mid {\mathbf{x}}_0)\mid \mid p({\mathbf{x}}_T))}}\\ & -\sum _{t=2}^T\underset{\text{denoising matching term}}{\underbrace{{\mathbb{E}}_{q({\mathbf{x}}_t\mid {\mathbf{x}}_0)}\left[{\mathcal{D}}_{\text{KL}}(q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t,{\mathbf{x}}_0)\mid \mid p_{\mathbf{\theta }}({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t))\right]}}\end{array}\end{array}$$
然后扩散模型就选择了最后一项作为自己的目标函数。同时扩散模型假设了xt和xt-1之间的分布，然后把ELBO最后一项推呀推，推出最后需要学习一个噪声项。

总结一下VAE和Diffusion的区别：

1. VAE的目标就是输入x，输出的y接近x的分布。做的方法是假设了一个中间变量z，然后问题变为计算两个条件概率：p(x|z)和p(z|y)。在传统VAE中这两个条件概率密度都是通过神经网络做的。
2. Diffusion的目标和VAE挺类似的，但是没有用神经网络做，而是直接用一个线性的函数规定了z和x， y和z的关系（当然中间还有z1, z2, …）
   • 对于VAE： 输入为x，输出为z的均值和方差：$f(x)=(\sigma ,\mu )$, f是一个神经网络
   • 对于Diffusion: 规定了x和z的关系$z=\alpha x+(1-\alpha )ϵ$，$ϵ$是一个高斯噪声，因此可以通过贝叶斯计算均值和方差。
   • Diffusion的目标函数是VAE目标函数的一部分