【生成模型之九】Paint by Example: Exemplar-based Image Editing with Diffusion Models

论文：Paint by Example: Exemplar-based Image Editing with Diffusion Models

代码：https://github. com/Fantasy-Studio/Paint-by-Example

为了实现高质量的基于样本的图像编辑，我们引入了四项关键技术，即利用图像先验、强数据-mask增强、内容瓶颈CLIP class token和无分类器引导。

一、背景

语言引导的图像编辑最近取得了巨大的成功。本文研究了exemplar-guided image editing示例引导图像编辑，以实现更精确的控制。我们通过利用自监督训练来解开和重新组织源图像和样本来实现这一目标。然而，这种原本的方法会导致明显的融合伪影fusing artifacts。我们仔细分析了它，并提出了一个content bottleneck和strong augmentations，以避免直接复制和粘贴示例图像的琐碎解决方案。

同时，为了确保编辑过程的可控性，我们为样本图像设计了一个任意形状的掩模，并利用无分类器引导来提高与样本图像的相似性。整个框架涉及扩散模型的单个正向，