生成式人工智能 - 文本反转（Textual Inversion）：一种微调稳定扩散模型的方法

一、简述

        大型文本到图像稳定扩散模型已经展示了前所未有的能力，可以使用文本提示合成新场景。这些文本到图像模型提供了通过自然语言指导创作的自由。然而，它们的使用受到用户描述特定或独特场景、艺术创作或新实体产品的能力的限制。很多时候，用户被限制行使她的艺术自由来生成特定独特或新概念的图像。此外，使用新数据集为每个新概念重新训练模型非常困难且成本高昂。

        论文《一张图片胜过一个词：使用文本反转进行个性化文本到图像生成》提供了一种简单的方法来使得这种创作更自由。

Textual Inversion：使用一些反映特定概念的图像向基础模型传授有关该概念的新词汇。

        Textual Inversion的概念之所以重要，有以下两个原因：

        一是我们可以通过合成由自然语言指令引导的用户提供的概念的新场景，实现个性化的文本到图像的生成

        二是生成模型中“文本反转”的想法旨在在文本编码器的嵌入空间中找到新的伪词，以捕捉新概念的高级语义和精细的视觉细节。