车辆重识别（2021NIPS无分类器扩散指南）论文阅读2024/10/08

[1] CLASSIFIER-FREE DIFFUSION GUIDANCE（无分类器扩散指导） (NIPS 2021)
作者：Jonathan Ho & Tim Salimans
单位：Google Research, Brain team（谷歌团队）

摘要：
分类器指导是最近引入的一种方法，它与其他类型的生成模型中的低温采样或截断一样，在训练后的条件扩散模型中权衡模式覆盖率和样本保真度。分类器指导将扩散模型的得分估计与图像分类器的梯度相结合，因此需要训练一个与扩散模型分离的图像分类器。这也提出了在没有分类器的情况下是否可以进行引导的问题。我们证明了在没有分类器的情况下，指导确实可以由一个纯生成模型来执行：在我们称之为无分类器指导的情况下，我们联合训练一个有条件和无条件的扩散模型，并将得到的有条件和无条件的评分估计结合起来，以获得与使用分类器指导相似的样本质量和多样性之间的权衡。

主要贡献：
分类器指导使得扩散模型训练管道变得复杂，因为它需要训练一个额外的分类器，而这个分类器必须在有噪声的数据上训练，所以一般不可能插入预训练的分类器。这就提出了一个问题，即分类器指导是否成功地提升了基于分类器的度量指标，如FID和Inception score ( IS )。通过扫过混合权重，我们得到了类似于分类器引导的FID / IS权衡。我们的无分类器指导结果表明，纯生成式扩散模型能够与其他类型的生成式模型一起合成极高保真度的样本。给出了无分类器模型的训练和采样算法。

创新点：
同主要贡献。

简介：
Dhariwal & Nichol ( 2021 )提出了分类器指导，一种利用额外训练的分类器来提高扩散模型样本质量的技术。在分类器指导之前，还不知道如何从类似于截断Big GAN ( Brock et al , 2019)或低温辉光( Kingma & Dhariwal , 2018)产生的扩散模型中生成"低温"样本：幼稚的尝试，如缩放模型得分向量或减少扩散采样时添加的高斯噪声量，都是无效的( Dhariwal & Nichol , 2021)。通过改变分类器梯度的强度，Dhariwal & Nichol能够以类似于改变BigGAN截断参数的方式权衡Inception score ( Salimans et al , 2016)和FID score ( Heusel等, 2017) (或者精确率和召回率)。

框图：

什么叫做有条件和无条件的扩散模型？




FID是什么？
IS是什么？



λ是给出的参数，就像去噪扩散模型中每个时间步的β一样，每一时间步的λ都会给出。对于是否有条件信息c的概率

我的意思是在每一个训练轮次中，每一时间步的网络是彻底优化完，再执行下一时间步的扩散然后再优化吗？


那么对于随机采样的这一时间步，对于这一时间步的网络优化也是参数更新一次就再随机采样下一个时间步吗？还是前一个随机采样的时间步的网络参数彻底优化完全，再对下一随机的时间步进行处理？

那么这个多次随机采样扩散然后训练是对于一个初始数据吗？
对于一个初始数据，这个多次具体的次数是给出的。
然后这个是否带有条件信息的概率p是提前给出，可以变化也可以不变，看情况。
整个流程的两个算法：


但是对于具体的流程，我还是不太清楚，因为没有具体的代码。
对于每个时间步
这个就是预测的噪声，
这个是zt估计去噪之后的样本数据，然后再从特定的高斯分布中采样的到zt-1，然后再估计去噪后的样本数据。

那么如何实现在一定概率的情况下采样得到的数据中含有条件信息，使用随机数吗？