Stable Diffusion 系列教程 - 5 ControlNet

ControlNet和LORA的定位都是对大模型做微调的额外网络。作为入门SD的最后一块拼图是必须要去了解和开发的。为什么ControlNet的影响力如此的大？在它之前，基于扩散模型的AIGC是非常难以控制的，扩散整张图像的过程充满了随机性。这种随机性并不会影响到日常的自娱自乐，但一些真正面对具体需求的岗位则无法忍受这种抽卡式的尝试。ControlNet的核心是基于一些额外输入的信息来给扩散模型的生成提供明确的指引，整个过程分为Annotator和Diffusion。Annotator（预处理器/注释器）：从图片中提取对ControlNet有用的额外信息。Diffusion：根据这些额外信息控制扩散生成的走向，在ControlNet的指导下生成图像作品。

单个ControlNet的大小在1.4G左右，上面为五个应用最为广泛的控制模型。模型的名命规则：v11代表版本为1.1 ，p代表在生产环境下可以直接使用，sd15代表底模Stable Diffusion的版本：

模型的下载路径为：lllyasviel/ControlNet-v1-1 at main (huggingface.co) 。这里可以下载我们想用的所有模型，但是切记要把yaml文件也下载下来，其用来定义模型的配置。将成对的模型文件放在目录stable_diffusion\sd-webui-aki-v4.2-XXEY\extensions\sd-webui-controlnet\models下。注意：老版本没有yaml文件，新版本的模型有yaml文件，如果不下载就用不了这个模型。

需要注意的是： ControINet之于整个AI绘画过程，其实也就是诸多环节里面的“一环"而已。AI还是会综合参考提示词、图生图、Embeddings、LoRA等各个方面的东西来综合的实现AIGC。