Denoising Diffusion Restoration Models论文解读

论文要点

恢复的线性逆问题可以使用预训练的DDPM完成：1. 将降质矩阵使用SVD，得到分解矩阵；2. 使用分解矩阵将图像投影到降质类型间共享的谱空间；3. 谱空间中执行DDPM。

评价

同Track的方法同样很多，比如后续的DDNM、DiffPIR等。这些方法比较有趣，但依赖于确定性的降质过程，并且性能往往受限。

总结

图像恢复中许多有趣的任务可以归结为线性逆问题。最近解决这些问题的一系列方法使用随机算法，从给定测量值的自然图像的后验分布中取样。然而，有效的解决方案通常需要特定问题的监督训练来建立后验模型，而非特定问题的无监督方法通常依赖于低效的迭代方法。这项工作通过引入去噪扩散恢复模型(DDRM)来解决这些问题，DDRM是一种有效的、无监督的后验抽样方法。由变分推理驱动，DDRM利用预训练的去噪扩散生成模型来解决任何线性逆问题。我们演示了DDRM在多个图像数据集上的通用性，用于超分辨率、去模糊、修补和在不同量的测量噪声下着色。DDRM在不同的ImageNet数据集上的重建质量、感知质量和运行时间方面优于目前领先的无监督方法，比最接近的竞争对手快5倍。DDRM也很好地概括了观察到的ImageNet训练集分布的自然图像。

这是否是一个新的问题？

是的，这个问题是新的。在传统的图像修复方法中，通常需要先识别图像中的损坏位置，再进行修复。而在这篇论文中提出的方法可以直接从高维损坏信号中恢复图像，并且不需要先前识别损坏位置。因此，这个问题可以被称为高维图像修复的新问题。

这篇文章要验证一个什么学科假设？

这篇文章要验证一个什么学科假设，即在没有训练数据的情况下，使用无监督方法可以成功解决监督学习中的推理任务。具体来说，作者提出了一种基于无监督推理的方法，可以在没有训练数据的情况下解决监督学习中的推理任务。

这篇论文有什么贡献？

这篇论文提出了一种新的恢复方法，即基于多项式梯度的扩充模型，用于解决图像处理问题。该方法在图像翻译、去噪、超分辨率等方面都取得了非常好的效果。此外，该方法还通过引入一个新的跨模态的参数，可以在不需要使用原始测试数据的情况下进行恢复。

用于定量评估的数据集是什么？代码有没有开源？

用于定量评估的数据集是ImageNet，其中包括50万张标准图像和60万张训练图像。代码可以在github上找到，并且是开源的。

论文中的实验是如何设计的？

论文中的实验设计包括在ImageNet数据集上评估了DDGM、DGP、REDS、SNIPS和其他基于扩展性方法的方法的性能，以及在其他图像数据集上进行了验证。实验结果表明，DDGM在图像修补、超分辨率和去补噪声等方面都取得了非常好的性能。同时，论文还评估了其他方法的性能和计算复杂度，以及阐述了DDGM的计算细节和优化方法。

DDRM算法概要

1. Variational objective for DDRM over a specific inverse problem

注意，原始的DDPM是这样的：

实际操作时，DDRM从一个需要恢复的图开始，最终得到一张恢复好的图；原始的DDPM是从噪声开始，最终得到一张“干净”的图。

2. Specific forms of DDRM: use pre-trained unconditional and class-conditional diffusion models

更新策略：

通过推导，作者证明了使用同样的扩散模型（没有反问题的限定），将更新项换成上式7和8，修改H和SVD矩阵即可。

1. Compute and memory efficient algorithms

• 只选取前T’步用来训练

• 因为H矩阵有一些数学特性，可以用来压缩空间复杂度到O(n)

实验及效果展示

超分

结果过于平滑。

去模糊