【每日论文】How far can we go with ImageNet for Text-to-Image generation?

下载PDF或查看论文，请点击：LlamaFactory - huggingface daily paper - 每日论文解读 | LlamaFactory | LlamaFactory

摘要

近年来，通过在大规模数据集上训练，文本到图像（T2I）生成模型已经取得了显著成果，遵循了“越大越好”的理念，将数据数量置于质量之上。我们通过证明，对小型精心策划的数据集进行策略性的数据增强可以与训练在庞大的网络爬取集合上的模型相媲美，甚至超越它们，从而挑战了这一既定理念。仅使用增强过的ImageNet（结合精心设计的文本和图像增强），我们在GenEval上获得了比SD-XL高出+2的总分，在DPGBench上高出+5，同时参数数量减少了十分之一，训练图像数量减少了千分之一。我们的结果表明，策略性的数据增强，而不是大规模的数据集，可能为T2I生成提供一条更具可持续性的前进道路。

一句话总结

这篇论文通过策略性的数据增强，展示了使用较小的、精心挑选的图像-文本数据集训练文本到图像生成模型，可以达到与大规模数据集训练模型相当或更好的性能。

问题1：这篇论文想要解决什么具体问题？

• 问题背景：当前文本到图像生成模型普遍依赖于大规模数据集，导致数据收集、处理和存储成本高，且可能存在数据质量问题。

• 现有方案不足：大规模数据集训练的模型虽然性能好，但计算成本高，且数据质量难以保证，存在偏见和隐私问题。

• 研究目标：通过策略性的数据增强，使用较小的数据集训练文本到图像生成模型，并证明其性能可以与大规模数据集训练的模型相媲美。

问题2：论文的核心创新点是什么？

• 技术创新：提出了一种结合文本和图像增强的方法，通过LLaVA生成丰富的描述性字幕，并使用CutMix进行图像增强，以增加数据集的多样性和丰富性。

• 方法改进：通过在ImageNet数据集上应用这些技术，实现了与大规模数据集训练的模型相当的性能，同时显著降低了计算成本。

• 优势：与现有方法相比，该方法在保持图像质量的同时，降低了计算成本和训练数据量，同时提高了模型的泛化能力。

问题3：实验结果如何验证了方法的有效性？

• 关键实验：在GenEval和DPGBench基准测试中，与使用大规模数据集训练的模型相比，使用1.2M图像-文本对训练的模型在性能上取得了显著的提升。

• 性能提升：在GenEval上提高了2个点，在DPGBench上提高了5个点。

• 对比结果：与使用1000倍数据量训练的模型相比，参数减少了10倍，训练图像减少了1000倍。

问题4：这个研究的实际应用价值是什么？

• 应用场景：该方法可以应用于那些难以收集大规模数据集的领域，如专业应用或特定领域的数据集。

• 实施建议：在实际部署中，应考虑数据集的特定需求和可用资源，以确定最佳的增强策略和模型架构。

• 局限与展望：虽然该方法在性能上取得了成功，但未来仍需进一步研究以优化增强策略，并探索更有效的模型架构。