ControlNet

2023.8.10

Adding Conditional Control to Text-to-Image Diffusion Models

对于 T2I 扩散模型添加 条件控制

相关联比较大的几篇论文：

0.Abstract

可以为预训练的扩散模型提供额外的输入条件控制。不需要很多计算资源。

即使在小数据集上，也具有鲁棒性。

The ControlNet learns task-specific conditions in an end-to-end way。什么是 end-to-end way ？

解释：ControlNet直接从输入数据中学到所必要的条件和特征，然后直接输出，中间不需要什么操作。

1.Introduction

现有的 prompt-based 的生成模型 能否满足特定的条件（比较复杂的场景）？

通过调查发现三点：

①许多特定任务的数据集比较小，需要稳定的神经网络，以防止过拟合；

②需要很大的计算资源；

③许多的模型从输入到输出需要很多人工干预，所以引入 end-to-end学习方式，一端是输入数据、另一端是输出数据，让神经网络自己根据数据调节自己，而不需要人工干预。

提出ControlNet

从扩散模型克隆权重副本，包含两个部分：①locked copy，保留了从数十亿张图片所学得的能力；②trainable copy，用来学习特定场景下的条件。这两个部分通过 zero-conv 连接起来。

锁定副本：它的参数（权重）不会改变，用作参考；

可训练副本：它的参数会随着特定任务发生改变。

zero convolution

在卷积操作中，权重矩阵（卷积核）一开始初始化为0，随着学习不断调整，以达到最优参数。

实验

不同条件、不同大小数据集、在3090Ti上就可以跑。

引言小结

 

2 Related work

2.1 HyperNetwork and Neural Network Structure

2.2 DPM

2.3 Text-to-Image diffusion

2.4 Personalization, Customization，and Control of Pretrained DM

2.5 Image-to-Image Translation

3 Method

• 3.1 介绍了 基本结构 和 每个部分的motivation

• 3.2 在Stable Diffusion中使用 ControlNet 的细节

• 3.3 学习目标、训练方法

• 3.4 一些训练技巧

• 3.5 不同条件下的应用

3.1 ControlNet

结构解析：

 

为什么要设置 locked copy 和 trainable copy？

避免因数据集过小-->过拟合。

之后用数学证明了只要特征I不为零，在第一次梯度下降迭代中，权重w将被优化为非零矩阵。零卷积就成为一种独特的连接层，以一种学习的方式从零逐步增长到优化参数。

3.2 ControlNet in Image Diffusion Model

在Stable Diffusion 的基础上对 Encoder部分进入条件控制。

 

 因为条件的feature map得是 64 \times 64 的，所以需要一个小网络 把条件图像（512 \times 512 \rightarrow 64\times 64） 。这个小网络是由 4个conv layer。

3.3 Training

z_0,...,z_t ，当 t 足够大的时候，图像就会近似于纯噪声。

给定一系列条件：

• time step t

• text prompts c_t

• task-specific conditions c_f

图像扩散算法就会学习一个网络 \epsilon_{\theta} 来预测添加到 加噪图像z_t 中的噪声