IterComp： 从模型图库中迭代合成感知反馈学习，用于文本到图像的生成

我们从多个模型中收集组成感知模型偏好，并采用迭代反馈学习方法，使基础扩散模型和奖励模型都能逐步自我完善。

我们提出了一种迭代反馈学习方法，通过多次迭代，使基础扩散模型和奖励模型逐步自我完善，从而以闭环方式增强合成性。 理论证明了这一方法的有效性，大量实验也表明我们的方法明显优于之前的 SOTA 方法（如 Omost 和 FLUX），尤其是在多类别对象合成和复杂语义对齐方面。

IterComp 是最新的合成生成方法之一。 在这个资源库中，我们发布了 SDXL Base 1.0 的模型训练。

from diffusers import DiffusionPipeline
import torchpipe = DiffusionPipeline.from_pretrained("comin/IterComp", torch_dtype=torch.float16, use_safetensors=True)
pipe.to("cuda")
# if using torch < 2.0
# pipe.enable_xformers_memory_efficient_attention()prompt = "An astronaut riding a green horse"
image = pipe(prompt=prompt).images[0]
image.save("output.png")

IterComp 可以作为各种组合生成方法（如 RPG 和 Omost）的强大支柱。 我们建议将 IterComp 集成到这些方法中，以获得更先进的组合生成结果。

Github
https://github.com/YangLing0818/IterComp
Huggingface
https://huggingface.co/comin/IterComp