当前位置： 首页 > news >正文

AI 绘画Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装

news 2025/12/21 3:36:14

部署包作者:秋葉aaaki

免责声明:
本安装包及启动器免费提供 无任何盈利目的


大家好，我是风雨无阻。

众所周知，StableDiffusion 是非常强大的AI绘图工具，需要详细了解StableDiffusion的朋友，可查看我之前的这篇文章： 最近大火的两大AI绘图工具 Midjourney VS StableDiffusion。


今天为大家带来的是 Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装 。


首先来明确一下这个ControlNet1.1 到到底是什么？

ControlNet1.1 是Stable Diffusion 绘画插件，在2023年4月份更新了 V1.1 版本，发布了14 个优化模型，并新增了多个预处理器，并且在原有的模型上进行了一些优化，让它的功能比之前更加好用了。

那么我们先来详细了解一下 ControlNet1.1 的新模型新功能。


一、ControlNet1.1 的新模型新功能


1、新增Lineart模型 和 lineart_anime模型


现在新增了两个模型，lineart和lineart anime，完全可以替代原来的Canny强大的线稿上色，无论是上色黑白和彩色功能都非常强大。


在这里插入图片描述


在这里插入图片描述


2、新增Instruct Pix2Pix 模型


模型能够接受一张图像和相应的文字指令(也就是prompt)，根据指令来编辑图像，局部整体操纵图像程度的能力。


将白天变为夜晚 ，如图：

​ 在这里插入图片描述


换发型 ，如图：


在这里插入图片描述


​

换装 ，如图：

在这里插入图片描述


​

3、 新增Tile 模型

Tile 模型对于图片高清修复、提升细节、根据画面自动推断内容有着很好效果，根据官方的介绍有5种功能：

  • 可以进行图片放大 2x、4x 或 8x 超分辨率
  • 可以在图像中添加、更改或重新生成图像细节
  • 可以修复、细化和改进通过任何其他超分辨率方法获得的不良图像细节
  • 它可以引导SD放大脚本，生成错误的问题
  • 可以完成未完成的图稿，如果这些图稿是用色块绘制的

在这里插入图片描述


图像修复前：

在这里插入图片描述


图像修复后：

在这里插入图片描述


细节调整前：

在这里插入图片描述


细节调整后：

在这里插入图片描述


4 、新增shuffle 模型

shuffle模型可以称为重组模型，从shuffle模型的是使用效果来看，shuffle模型可以通过获取原图的风格后借助这个风格进行新的图片生成，所以当我们找到比较好的参考图时，就可以使用shuffle模型进行图片创作。


我们先来看一下人物图处理效果：

在这里插入图片描述


在这里插入图片描述


从成图效果来看，新生成的图片风格、色调、人物的部分姿态都进行还原和保留，因此我们使用Shuffle模型可以使用原图进行参考借鉴，重组画面进行生成的新图片。


再来看一下风景类图处理效果：

在这里插入图片描述


在这里插入图片描述


从成图来看，主要的配色、风格还是参考了原图的样式，构图结构上也有部分的参考。


新增的功能和模型效果介绍就到这里了，接下来介绍一下，如何安装和使用ControlNet1.1。


之前，我们一直在用的是Control插件，其实只需要将插件升级到新版本以后，就可以用新版本的模型了。所以我们只需更新插件，然后下载新的模型放进去就好。


二、安装ControlNet1.1

本次升级和安装的内容主要有2点:

  • 升级 ControlNet插件版本

  • 安装各种预处理器的模型


如果你还没有安装 Stable Diffusion 整合包，可以阅读 Stable Diffusion 研究（一）sd整合包v4.2 版本安装说明 这篇文章，了解安装 Stable Diffusion 整合包需要的电脑配置以及下载相关的安装包。


首先需要准备好ControlNet 1.1 安装文件，文件集成在整合包sd-webui-aki-v4.2 版本 里，没有下载的朋友，可以去自行下载。


1、升级 ControlNet插件版本

第一步， 进入整合包目录：sd-webui-aki-v4， 直接双击 A启动器.exe 运行


启动后如下 ：

在这里插入图片描述


第二步，点击左侧版本管理

在这里插入图片描述


第三步，切换到扩展标签页 ，点击右上角“一键更新”按钮即可。


在这里插入图片描述


2、安装各种预处理器的模型 (可选)

第一步，将预处理器模型文件夹里的 download 文件夹，整个复制放到插件目录底下的annotator文件夹里面。

\controlnet1.1\预处理器\download

\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator

如图：

在这里插入图片描述



第二步，将controlnet1.1 模型放到sd-webui-controlnet\model 文件夹就可以了

\controlnet1.1\模型

\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\models

在这里插入图片描述



完成以上操作后，关闭启动器、控制台、webui，然后重新启动就可生效。

如图：

在这里插入图片描述



三、ControlNet1.1 使用体验及相对于老板本的一些变化


1、颜色反转模式变为了一个单独的预处理器


在这里插入图片描述


2、新增加完美像素模式

选择以后能解决 ControlNet 处理的一些分辨率问题。


在这里插入图片描述


3、新增控制模式

新增控制模式：

  • 均衡
  • 更偏向提示词
  • 更偏向ControlNet

选择更偏向ControlNet时，需要降低CFG。

在这里插入图片描述


4、老板本的HED变为了SoftEdge

在这里插入图片描述


5、 增加了几个预处理器

OpenPose预处理器-> OpenPose模型
Openpose_full，一个模型姿态手部脸部全部搞定

在这里插入图片描述


6、老板本的 Depth模型 -> 新版本推荐 Leres++、Zoe预处理器

在这里插入图片描述


好了，今天的分享就到这里，ControlNet1.1 更多功能和变化这里就不再详细说明了，感兴趣的朋友可以自行研究。下一篇，将给大家带来，sd 各个功能模块的详细使用方法，敬请期待。

相关文章：

AI 绘画Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装

部署包作者:秋葉aaaki 免责声明: 本安装包及启动器免费提供 无任何盈利目的 大家好，我是风雨无阻。 众所周知，StableDiffusion 是非常强大的AI绘图工具，需要详细了解StableDiffusion的朋友，可查看我之前的这篇文章： …...

编程日记 2023/8/3 7:19:45

接口参数设计原则

1. 不能太动态. 不相信客户端的原则 例如传递 filterFields , 推送一个表的某些字段给上游. 2. 可以服务端提供一些封装. 这个封装可以是写死的组合, 也可以是后端配置的. 最好的是 代码里的领域类bean 1,1对应一个名称. 可以是 classReference. 运营态有很多字段是给用户看的…...

编程日记 2023/8/3 7:18:44

网络安全防护利器：SK5代理与IP代理的技术对比

一、IP代理与SK5代理技术简介 IP代理： IP代理是一种通过中间服务器转发网络请求的技术。用户通过向代理服务器发出请求，代理服务器转发请求至目标服务器，然后将目标服务器的响应返回给用户。主要功能包括隐藏真实IP地址、绕过地理限制和IP封锁…...

编程日记 2023/8/3 7:17:43

IDEA删除本地git仓库、创建本地git仓库、关联其他仓库并上传

IDEA删除本地git仓库、创建本地git仓库、关联其他仓库并上传 删除本地Git仓库 创建本地Git仓库 关联其他仓库并上传 要在IntelliJ IDEA中删除本地Git仓库并创建新的本地Git仓库，以及关联其他仓库并上传，请按照以下步骤进行操作： 删除本地G…...

编程日记 2023/8/3 7:16:42

JavaEE简单示例——在使用Tomcat的时候可能出现的一些报错

简单介绍： 在我们之前使用Tomcat的时候，经常会出现在启动的时候因为一些报错导致项目无法正常的启动，我们就对一些比较常见的报错来看一下可能导致的原因，以及出现报错之后如何去解决。 严重: Failed to initialize end point a…...

编程日记 2023/8/3 7:15:41

webrtc的线程模型

目录 线程的声明 线程创建过程 向线程中投递消息 从消息队列中取消息的具体实现 处理线程消息 webrtc线程模块的实现逻辑在 rtc_base\thread.h 文件中 比如想创建一个线程&#xff1a; //声明要创建的线程指针&#xff0c;通过智能指针管理 std::unique_ptr<rtc::Thr…...

编程日记 2023/8/3 7:14:39

数据库备份还原-mysqldump、mydumper、xtrabackup、压缩

目录 数据库备份&#xff0c;数据库为school&#xff0c;素材如下 一、创建student和score表 二、为student表和score表增加记录 三、练习题 数据库备份&#xff0c;数据库为school&#xff0c;素材如下 一、创建student和score表 CREATE TABLE student ( id INT(10) NOT…...

编程日记 2023/8/3 7:13:35

【黑马程序员前端】JavaScript入门到精通--20230801

B站链接 理论 HTML相关知识【黑马程序员前端】 https://blog.csdn.net/m0_48964052/article/details/125951658 CSS相关知识【黑马程序员前端】 https://blog.csdn.net/m0_48964052/article/details/125951788 黑马程序员——JavaScript基础1&#xff08;初识 JavaS…...

编程日记 2023/8/3 7:12:34

100道Java多线程面试题（上）

线程创建方式&#xff1f; 线程有哪些基本状态? 如何停止一个正在运行的线程&#xff1f; 有三个线程T1,T2,T3,如何保证顺序执行&#xff1f; 在线程中你怎么处理不可控制异常&#xff1f; 如何创建线程池&#xff1f; 以下情况如何使用线程池&#xff1f;高并发、任务时间短;…...

编程日记 2023/8/3 7:11:31

web开发中的安全和防御入门——csp (content-security-policy内容安全策略)

偶然碰到iframe跨域加载被拒绝的问题&#xff0c;原因是父页面默认不允许加载跨域的子页面&#xff0c;也就是的content-security-policy中没有设置允许跨域加载。 简单地说&#xff0c;content-security-policy能限制页面允许和不允许加载的所有资源&#xff0c;常见的包括&a…...

编程日记 2023/8/3 7:10:30

定了！全国2023下半年软考（高级、中级、初级）报名时间汇总

截止到2023年8月2日&#xff0c;有以下地区公布了软考报名时间&#xff1a; 安徽软考2023下半年报名时间&#xff1a;8月15日9:00至8月21日16:00 黑龙江软考2023下半年报名时间&#xff1a;8月16日至8月22日 甘肃软考2023下半年报名时间&#xff1a;8月28日9:00至9月6日18:00…...

编程日记 2023/8/3 7:09:28

Linux下安装配置Redis

文章目录 安装依赖库上传安装包并解压 启动默认启动指定配置启动开机自启 安装 依赖库 Redis是基于C语言编写的&#xff0c;因此首先需要安装Redis所需要的gcc依赖&#xff1a; yum install -y gcc tcl上传安装包并解压 将Redis安装包上传到服务器的任意目录&#xff0c;例…...

编程日记 2023/8/3 7:08:27

深度学习（33）——CycleGAN（2）

深度学习&#xff08;33&#xff09;——CycleGAN&#xff08;2&#xff09; 完整项目在在这里&#xff1a;欢迎造访 文章目录 深度学习&#xff08;33&#xff09;——CycleGAN&#xff08;2&#xff09;1. Generator2. Discriminator3. fake pool4. loss定义5. 模型参数量6…...

编程日记 2023/8/3 7:07:26

WeakMap and WeakSet（弱映射和弱集合）

在垃圾回收中了解JavaScript 引擎在值“可达”和可能被使用时会将其保持在内存中 let john { name: "John" }; // 该对象能被访问&#xff0c;john 是它的引用 // 覆盖引用 john null; // 该对象将会被从内存中清除通常&#xff0c;当对象、数组之类的数据结构在内…...

编程日记 2023/8/3 7:06:25

【Vue3基础】组件保持存活、异步加载组件

一、组件保持存活 1、需求描述 点击按钮跳转到其他组件后&#xff0c;原组件不会被销毁 2、知识整理 1&#xff09;组件生命周期 创建期&#xff1a;beforeCreate、created 挂载期&#xff1a;beforeMount、mounted 更新期&#xff1a;beforeUpdate、updated 销毁期&am…...

编程日记 2023/8/3 7:05:24

在 3ds Max 中使用相机映射将静止图像转换为实时素材

推荐&#xff1a; NSDT场景编辑器 助你快速搭建可二次开发的3D应用场景 1. 在 Photoshop 中准备图像 步骤 1 这是我将在教程中使用的静止图像。 这是我的静态相机纸箱的快照。 静止图像 步骤 2 打开 Photoshop。将图像导入 Photoshop。 打开 Photoshop 步骤 3 单击套索工…...

编程日记 2023/8/3 7:04:21

如何使用GIL解决Python多线程性能瓶颈

如何使用GIL解决Python多线程性能瓶颈 引言&#xff1a; Python是一种使用广泛的编程语言&#xff0c;但其在多线程方面存在一个性能瓶颈&#xff0c;即全局解释器锁&#xff08;Global Interpreter Lock&#xff0c;简称GIL&#xff09;。GIL会限制Python的多线程并行能力&am…...

编程日记 2023/8/3 7:03:20

k8s概念-深入pod

回到目录 工作负载&#xff08;workloads&#xff09; 工作负载&#xff08;workload&#xff09;是在kubernetes集群中运行的应用程序。无论你的工作负载是单一服务还是多个一同工作的服务构成&#xff0c;在kubernetes中都可以使用pod来运行它 workloads分为pod与control…...

编程日记 2023/8/3 7:02:18

Web服务器实验案例

目录 关闭或放行防火墙和selinux 1 搭建静态网站 2 建立两个基于ip地址访问的网站 思路&#xff1a; 简单配置 编写httpd额外文件 3 建立两个基于不同端口访问的网站 思路 创建文件&#xff08;与之前一致&#xff09; 额外文件配置 4 基于虚拟目录和用户控制的web网…...

编程日记 2023/8/3 7:01:16

预警 项目经验BUG

文章目录 定时任务 定时任务 在方法上使用Scheduled注解 cron参数&#xff1a; cron是一个表达式&#xff0c;最多接收7个参数从左到右分别表示&#xff1a;秒 分 时 天 月 周 年参数以空格隔开&#xff0c;其中年不是必须参数&#xff0c;可以省略。示例&#xff1a;Schedule…...

编程日记 2023/8/3 7:00:15

7.4.分块查找

一.分块查找的算法思想&#xff1a; 1.实例&#xff1a; 以上述图片的顺序表为例&#xff0c; 该顺序表的数据元素从整体来看是乱序的&#xff0c;但如果把这些数据元素分成一块一块的小区间&#xff0c; 第一个区间[0,1]索引上的数据元素都是小于等于10的&#xff0c; 第二…...

编程新知 2025/12/16 10:12:39

Lombok 的 @Data 注解失效，未生成 getter/setter 方法引发的HTTP 406 错误

HTTP 状态码 406 (Not Acceptable) 和 500 (Internal Server Error) 是两类完全不同的错误&#xff0c;它们的含义、原因和解决方法都有显著区别。以下是详细对比&#xff1a; 1. HTTP 406 (Not Acceptable) 含义&#xff1a; 客户端请求的内容类型与服务器支持的内容类型不匹…...

编程新知 2025/12/17 13:33:37

shell脚本--常见案例

1、自动备份文件或目录 2、批量重命名文件 3、查找并删除指定名称的文件&#xff1a; 4、批量删除文件 5、查找并替换文件内容 6、批量创建文件 7、创建文件夹并移动文件 8、在文件夹中查找文件...

编程新知 2025/12/13 20:03:16

相机Camera日志实例分析之二：相机Camx【专业模式开启直方图拍照】单帧流程日志详解

【关注我&#xff0c;后续持续新增专题博文&#xff0c;谢谢&#xff01;&#xff01;&#xff01;】 上一篇我们讲了&#xff1a; 这一篇我们开始讲&#xff1a; 目录 一、场景操作步骤 二、日志基础关键字分级如下 三、场景日志如下&#xff1a; 一、场景操作步骤 操作步…...

编程新知 2025/12/14 11:06:45

可靠性+灵活性：电力载波技术在楼宇自控中的核心价值

可靠性灵活性&#xff1a;电力载波技术在楼宇自控中的核心价值 在智能楼宇的自动化控制中&#xff0c;电力载波技术&#xff08;PLC&#xff09;凭借其独特的优势&#xff0c;正成为构建高效、稳定、灵活系统的核心解决方案。它利用现有电力线路传输数据&#xff0c;无需额外布…...

编程新知 2025/9/27 2:43:26

dedecms 织梦自定义表单留言增加ajax验证码功能

增加ajax功能模块&#xff0c;用户不点击提交按钮&#xff0c;只要输入框失去焦点&#xff0c;就会提前提示验证码是否正确。 一&#xff0c;模板上增加验证码 <input name"vdcode"id"vdcode" placeholder"请输入验证码" type"text&quo…...

编程新知 2025/12/15 15:34:58

渲染学进阶内容——模型

最近在写模组的时候发现渲染器里面离不开模型的定义，在渲染的第二篇文章中简单的讲解了一下关于模型部分的内容，其实不管是方块还是方块实体，都离不开模型的内容 🧱 一、CubeListBuilder 功能解析 CubeListBuilder 是 Minecraft Java 版模型系统的核心构建器，用于动态创…...

编程新知 2025/11/25 22:59:17

Python实现prophet 理论及参数优化

文章目录 Prophet理论及模型参数介绍Python代码完整实现prophet 添加外部数据进行模型优化 之前初步学习prophet的时候&#xff0c;写过一篇简单实现&#xff0c;后期随着对该模型的深入研究&#xff0c;本次记录涉及到prophet 的公式以及参数调优&#xff0c;从公式可以更直观…...

编程新知 2025/12/15 20:41:46

【项目实战】通过多模态+LangGraph实现PPT生成助手

PPT自动生成系统 基于LangGraph的PPT自动生成系统&#xff0c;可以将Markdown文档自动转换为PPT演示文稿。 功能特点 Markdown解析&#xff1a;自动解析Markdown文档结构PPT模板分析&#xff1a;分析PPT模板的布局和风格智能布局决策&#xff1a;匹配内容与合适的PPT布局自动…...

编程新知 2025/12/18 5:17:25

unix/linux，sudo，其发展历程详细时间线、由来、历史背景

sudo 的诞生和演化，本身就是一部 Unix/Linux 系统管理哲学变迁的微缩史。来，让我们拨开时间的迷雾，一同探寻 sudo 那波澜壮阔（也颇为实用主义）的发展历程。 历史背景：su的时代与困境 ( 20 世纪 70 年代 - 80 年代初) 在 sudo 出现之前，Unix 系统管理员和需要特权操作的…...

编程新知 2025/11/18 21:31:41