论文阅读：InstanceDiffusion: Instance-level Control for Image Generation

CVPR2024文章 

摘要：

文本到图像扩散模型产生高质量的图像，但不提供对图像中单个实例的控制。我们引入了InstanceDiffusion，它将精确的实例级控制添加到文本到图像扩散模型中。InstanceDiffusion 支持每个实例的自由形式的语言条件，并允许灵活的方法指定实例位置，例如简单的单点、涂鸦、边界框或复杂的实例分割掩码及其组合。我们提出了文本到图像模型的三个主要更改，以实现精确的实例级控制。我们的 UniFusion 块支持文本到图像模型的实例级条件，ScaleU 块提高了图像保真度，我们的多实例采样器改进了多个实例的生成。InstanceDiffusion 为每个位置条件显着超越了专门的最先进模型。值得注意的是，在 COCO 数据集上，我们在框输入方面优于之前的最新技术 20.4% APbox50，掩码输入的 IoU 为 25.4%。