当前位置： 首页 > news >正文

AI 绘画Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装

news 2025/12/21 5:23:18

部署包作者:秋葉aaaki

免责声明:
本安装包及启动器免费提供 无任何盈利目的


大家好，我是风雨无阻。

众所周知，StableDiffusion 是非常强大的AI绘图工具，需要详细了解StableDiffusion的朋友，可查看我之前的这篇文章： 最近大火的两大AI绘图工具 Midjourney VS StableDiffusion。


今天为大家带来的是 Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装 。


首先来明确一下这个ControlNet1.1 到到底是什么？

ControlNet1.1 是Stable Diffusion 绘画插件，在2023年4月份更新了 V1.1 版本，发布了14 个优化模型，并新增了多个预处理器，并且在原有的模型上进行了一些优化，让它的功能比之前更加好用了。

那么我们先来详细了解一下 ControlNet1.1 的新模型新功能。


一、ControlNet1.1 的新模型新功能


1、新增Lineart模型 和 lineart_anime模型


现在新增了两个模型，lineart和lineart anime，完全可以替代原来的Canny强大的线稿上色，无论是上色黑白和彩色功能都非常强大。


在这里插入图片描述


在这里插入图片描述


2、新增Instruct Pix2Pix 模型


模型能够接受一张图像和相应的文字指令(也就是prompt)，根据指令来编辑图像，局部整体操纵图像程度的能力。


将白天变为夜晚 ，如图：

​ 在这里插入图片描述


换发型 ，如图：


在这里插入图片描述


​

换装 ，如图：

在这里插入图片描述


​

3、 新增Tile 模型

Tile 模型对于图片高清修复、提升细节、根据画面自动推断内容有着很好效果，根据官方的介绍有5种功能：

  • 可以进行图片放大 2x、4x 或 8x 超分辨率
  • 可以在图像中添加、更改或重新生成图像细节
  • 可以修复、细化和改进通过任何其他超分辨率方法获得的不良图像细节
  • 它可以引导SD放大脚本，生成错误的问题
  • 可以完成未完成的图稿，如果这些图稿是用色块绘制的

在这里插入图片描述


图像修复前：

在这里插入图片描述


图像修复后：

在这里插入图片描述


细节调整前：

在这里插入图片描述


细节调整后：

在这里插入图片描述


4 、新增shuffle 模型

shuffle模型可以称为重组模型，从shuffle模型的是使用效果来看，shuffle模型可以通过获取原图的风格后借助这个风格进行新的图片生成，所以当我们找到比较好的参考图时，就可以使用shuffle模型进行图片创作。


我们先来看一下人物图处理效果：

在这里插入图片描述


在这里插入图片描述


从成图效果来看，新生成的图片风格、色调、人物的部分姿态都进行还原和保留，因此我们使用Shuffle模型可以使用原图进行参考借鉴，重组画面进行生成的新图片。


再来看一下风景类图处理效果：

在这里插入图片描述


在这里插入图片描述


从成图来看，主要的配色、风格还是参考了原图的样式，构图结构上也有部分的参考。


新增的功能和模型效果介绍就到这里了，接下来介绍一下，如何安装和使用ControlNet1.1。


之前，我们一直在用的是Control插件，其实只需要将插件升级到新版本以后，就可以用新版本的模型了。所以我们只需更新插件，然后下载新的模型放进去就好。


二、安装ControlNet1.1

本次升级和安装的内容主要有2点:

  • 升级 ControlNet插件版本

  • 安装各种预处理器的模型


如果你还没有安装 Stable Diffusion 整合包，可以阅读 Stable Diffusion 研究（一）sd整合包v4.2 版本安装说明 这篇文章，了解安装 Stable Diffusion 整合包需要的电脑配置以及下载相关的安装包。


首先需要准备好ControlNet 1.1 安装文件，文件集成在整合包sd-webui-aki-v4.2 版本 里，没有下载的朋友，可以去自行下载。


1、升级 ControlNet插件版本

第一步， 进入整合包目录：sd-webui-aki-v4， 直接双击 A启动器.exe 运行


启动后如下 ：

在这里插入图片描述


第二步，点击左侧版本管理

在这里插入图片描述


第三步，切换到扩展标签页 ，点击右上角“一键更新”按钮即可。


在这里插入图片描述


2、安装各种预处理器的模型 (可选)

第一步，将预处理器模型文件夹里的 download 文件夹，整个复制放到插件目录底下的annotator文件夹里面。

\controlnet1.1\预处理器\download

\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator

如图：

在这里插入图片描述



第二步，将controlnet1.1 模型放到sd-webui-controlnet\model 文件夹就可以了

\controlnet1.1\模型

\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\models

在这里插入图片描述



完成以上操作后，关闭启动器、控制台、webui，然后重新启动就可生效。

如图：

在这里插入图片描述



三、ControlNet1.1 使用体验及相对于老板本的一些变化


1、颜色反转模式变为了一个单独的预处理器


在这里插入图片描述


2、新增加完美像素模式

选择以后能解决 ControlNet 处理的一些分辨率问题。


在这里插入图片描述


3、新增控制模式

新增控制模式：

  • 均衡
  • 更偏向提示词
  • 更偏向ControlNet

选择更偏向ControlNet时，需要降低CFG。

在这里插入图片描述


4、老板本的HED变为了SoftEdge

在这里插入图片描述


5、 增加了几个预处理器

OpenPose预处理器-> OpenPose模型
Openpose_full，一个模型姿态手部脸部全部搞定

在这里插入图片描述


6、老板本的 Depth模型 -> 新版本推荐 Leres++、Zoe预处理器

在这里插入图片描述


好了，今天的分享就到这里，ControlNet1.1 更多功能和变化这里就不再详细说明了，感兴趣的朋友可以自行研究。下一篇，将给大家带来，sd 各个功能模块的详细使用方法，敬请期待。

相关文章：

AI 绘画Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装

部署包作者:秋葉aaaki 免责声明: 本安装包及启动器免费提供 无任何盈利目的 大家好，我是风雨无阻。 众所周知，StableDiffusion 是非常强大的AI绘图工具，需要详细了解StableDiffusion的朋友，可查看我之前的这篇文章： …...

编程日记 2023/8/3 7:19:45

接口参数设计原则

1. 不能太动态. 不相信客户端的原则 例如传递 filterFields , 推送一个表的某些字段给上游. 2. 可以服务端提供一些封装. 这个封装可以是写死的组合, 也可以是后端配置的. 最好的是 代码里的领域类bean 1,1对应一个名称. 可以是 classReference. 运营态有很多字段是给用户看的…...

编程日记 2023/8/3 7:18:44

网络安全防护利器：SK5代理与IP代理的技术对比

一、IP代理与SK5代理技术简介 IP代理： IP代理是一种通过中间服务器转发网络请求的技术。用户通过向代理服务器发出请求，代理服务器转发请求至目标服务器，然后将目标服务器的响应返回给用户。主要功能包括隐藏真实IP地址、绕过地理限制和IP封锁…...

编程日记 2023/8/3 7:17:43

IDEA删除本地git仓库、创建本地git仓库、关联其他仓库并上传

IDEA删除本地git仓库、创建本地git仓库、关联其他仓库并上传 删除本地Git仓库 创建本地Git仓库 关联其他仓库并上传 要在IntelliJ IDEA中删除本地Git仓库并创建新的本地Git仓库，以及关联其他仓库并上传，请按照以下步骤进行操作： 删除本地G…...

编程日记 2023/8/3 7:16:42

JavaEE简单示例——在使用Tomcat的时候可能出现的一些报错

简单介绍： 在我们之前使用Tomcat的时候，经常会出现在启动的时候因为一些报错导致项目无法正常的启动，我们就对一些比较常见的报错来看一下可能导致的原因，以及出现报错之后如何去解决。 严重: Failed to initialize end point a…...

编程日记 2023/8/3 7:15:41

webrtc的线程模型

目录 线程的声明 线程创建过程 向线程中投递消息 从消息队列中取消息的具体实现 处理线程消息 webrtc线程模块的实现逻辑在 rtc_base\thread.h 文件中 比如想创建一个线程&#xff1a; //声明要创建的线程指针&#xff0c;通过智能指针管理 std::unique_ptr<rtc::Thr…...

编程日记 2023/8/3 7:14:39

数据库备份还原-mysqldump、mydumper、xtrabackup、压缩

目录 数据库备份&#xff0c;数据库为school&#xff0c;素材如下 一、创建student和score表 二、为student表和score表增加记录 三、练习题 数据库备份&#xff0c;数据库为school&#xff0c;素材如下 一、创建student和score表 CREATE TABLE student ( id INT(10) NOT…...

编程日记 2023/8/3 7:13:35

【黑马程序员前端】JavaScript入门到精通--20230801

B站链接 理论 HTML相关知识【黑马程序员前端】 https://blog.csdn.net/m0_48964052/article/details/125951658 CSS相关知识【黑马程序员前端】 https://blog.csdn.net/m0_48964052/article/details/125951788 黑马程序员——JavaScript基础1&#xff08;初识 JavaS…...

编程日记 2023/8/3 7:12:34

100道Java多线程面试题（上）

线程创建方式&#xff1f; 线程有哪些基本状态? 如何停止一个正在运行的线程&#xff1f; 有三个线程T1,T2,T3,如何保证顺序执行&#xff1f; 在线程中你怎么处理不可控制异常&#xff1f; 如何创建线程池&#xff1f; 以下情况如何使用线程池&#xff1f;高并发、任务时间短;…...

编程日记 2023/8/3 7:11:31

web开发中的安全和防御入门——csp (content-security-policy内容安全策略)

偶然碰到iframe跨域加载被拒绝的问题&#xff0c;原因是父页面默认不允许加载跨域的子页面&#xff0c;也就是的content-security-policy中没有设置允许跨域加载。 简单地说&#xff0c;content-security-policy能限制页面允许和不允许加载的所有资源&#xff0c;常见的包括&a…...

编程日记 2023/8/3 7:10:30

定了！全国2023下半年软考（高级、中级、初级）报名时间汇总

截止到2023年8月2日&#xff0c;有以下地区公布了软考报名时间&#xff1a; 安徽软考2023下半年报名时间&#xff1a;8月15日9:00至8月21日16:00 黑龙江软考2023下半年报名时间&#xff1a;8月16日至8月22日 甘肃软考2023下半年报名时间&#xff1a;8月28日9:00至9月6日18:00…...

编程日记 2023/8/3 7:09:28

Linux下安装配置Redis

文章目录 安装依赖库上传安装包并解压 启动默认启动指定配置启动开机自启 安装 依赖库 Redis是基于C语言编写的&#xff0c;因此首先需要安装Redis所需要的gcc依赖&#xff1a; yum install -y gcc tcl上传安装包并解压 将Redis安装包上传到服务器的任意目录&#xff0c;例…...

编程日记 2023/8/3 7:08:27

深度学习（33）——CycleGAN（2）

深度学习&#xff08;33&#xff09;——CycleGAN&#xff08;2&#xff09; 完整项目在在这里&#xff1a;欢迎造访 文章目录 深度学习&#xff08;33&#xff09;——CycleGAN&#xff08;2&#xff09;1. Generator2. Discriminator3. fake pool4. loss定义5. 模型参数量6…...

编程日记 2023/8/3 7:07:26

WeakMap and WeakSet（弱映射和弱集合）

在垃圾回收中了解JavaScript 引擎在值“可达”和可能被使用时会将其保持在内存中 let john { name: "John" }; // 该对象能被访问&#xff0c;john 是它的引用 // 覆盖引用 john null; // 该对象将会被从内存中清除通常&#xff0c;当对象、数组之类的数据结构在内…...

编程日记 2023/8/3 7:06:25

【Vue3基础】组件保持存活、异步加载组件

一、组件保持存活 1、需求描述 点击按钮跳转到其他组件后&#xff0c;原组件不会被销毁 2、知识整理 1&#xff09;组件生命周期 创建期&#xff1a;beforeCreate、created 挂载期&#xff1a;beforeMount、mounted 更新期&#xff1a;beforeUpdate、updated 销毁期&am…...

编程日记 2023/8/3 7:05:24

在 3ds Max 中使用相机映射将静止图像转换为实时素材

推荐&#xff1a; NSDT场景编辑器 助你快速搭建可二次开发的3D应用场景 1. 在 Photoshop 中准备图像 步骤 1 这是我将在教程中使用的静止图像。 这是我的静态相机纸箱的快照。 静止图像 步骤 2 打开 Photoshop。将图像导入 Photoshop。 打开 Photoshop 步骤 3 单击套索工…...

编程日记 2023/8/3 7:04:21

如何使用GIL解决Python多线程性能瓶颈

如何使用GIL解决Python多线程性能瓶颈 引言&#xff1a; Python是一种使用广泛的编程语言&#xff0c;但其在多线程方面存在一个性能瓶颈&#xff0c;即全局解释器锁&#xff08;Global Interpreter Lock&#xff0c;简称GIL&#xff09;。GIL会限制Python的多线程并行能力&am…...

编程日记 2023/8/3 7:03:20

k8s概念-深入pod

回到目录 工作负载&#xff08;workloads&#xff09; 工作负载&#xff08;workload&#xff09;是在kubernetes集群中运行的应用程序。无论你的工作负载是单一服务还是多个一同工作的服务构成&#xff0c;在kubernetes中都可以使用pod来运行它 workloads分为pod与control…...

编程日记 2023/8/3 7:02:18

Web服务器实验案例

目录 关闭或放行防火墙和selinux 1 搭建静态网站 2 建立两个基于ip地址访问的网站 思路&#xff1a; 简单配置 编写httpd额外文件 3 建立两个基于不同端口访问的网站 思路 创建文件&#xff08;与之前一致&#xff09; 额外文件配置 4 基于虚拟目录和用户控制的web网…...

编程日记 2023/8/3 7:01:16

预警 项目经验BUG

文章目录 定时任务 定时任务 在方法上使用Scheduled注解 cron参数&#xff1a; cron是一个表达式&#xff0c;最多接收7个参数从左到右分别表示&#xff1a;秒 分 时 天 月 周 年参数以空格隔开&#xff0c;其中年不是必须参数&#xff0c;可以省略。示例&#xff1a;Schedule…...

编程日记 2023/8/3 7:00:15

深入浅出Asp.Net Core MVC应用开发系列-AspNetCore中的日志记录

ASP.NET Core 是一个跨平台的开源框架&#xff0c;用于在 Windows、macOS 或 Linux 上生成基于云的新式 Web 应用。 ASP.NET Core 中的日志记录 .NET 通过 ILogger API 支持高性能结构化日志记录&#xff0c;以帮助监视应用程序行为和诊断问题。 可以通过配置不同的记录提供程…...

编程新知 2025/12/21 5:12:49

JavaScript 中的 ES|QL：利用 Apache Arrow 工具

作者&#xff1a;来自 Elastic Jeffrey Rengifo 学习如何将 ES|QL 与 JavaScript 的 Apache Arrow 客户端工具一起使用。 想获得 Elastic 认证吗&#xff1f;了解下一期 Elasticsearch Engineer 培训的时间吧&#xff01; Elasticsearch 拥有众多新功能&#xff0c;助你为自己…...

编程新知 2025/12/19 13:12:47

【SpringBoot】100、SpringBoot中使用自定义注解+AOP实现参数自动解密

在实际项目中，用户注册、登录、修改密码等操作，都涉及到参数传输安全问题。所以我们需要在前端对账户、密码等敏感信息加密传输，在后端接收到数据后能自动解密。 1、引入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId...

编程新知 2025/11/28 6:00:25

剑指offer20_链表中环的入口节点

链表中环的入口节点 给定一个链表&#xff0c;若其中包含环&#xff0c;则输出环的入口节点。 若其中不包含环&#xff0c;则输出null。 数据范围 节点 val 值取值范围 [ 1 , 1000 ] [1,1000] [1,1000]。 节点 val 值各不相同。 链表长度 [ 0 , 500 ] [0,500] [0,500]。 …...

编程新知 2025/12/17 16:53:53

LLM基础1_语言模型如何处理文本

基于GitHub项目&#xff1a;https://github.com/datawhalechina/llms-from-scratch-cn 工具介绍 tiktoken&#xff1a;OpenAI开发的专业"分词器" torch&#xff1a;Facebook开发的强力计算引擎&#xff0c;相当于超级计算器 理解词嵌入&#xff1a;给词语画"…...

编程新知 2025/9/25 5:16:24

云原生安全实战：API网关Kong的鉴权与限流详解

&#x1f525;「炎码工坊」技术弹药已装填&#xff01; 点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】 一、基础概念 1. API网关&#xff08;API Gateway&#xff09; API网关是微服务架构中的核心组件&#xff0c;负责统一管理所有API的流量入口。它像一座…...

编程新知 2025/12/19 15:09:08

【JavaSE】多线程基础学习笔记

多线程基础 -线程相关概念 程序&#xff08;Program&#xff09; 是为完成特定任务、用某种语言编写的一组指令的集合简单的说:就是我们写的代码 进程 进程是指运行中的程序&#xff0c;比如我们使用QQ&#xff0c;就启动了一个进程&#xff0c;操作系统就会为该进程分配内存…...

编程新知 2025/9/12 0:57:34

yaml读取写入常见错误 (‘cannot represent an object‘, 117)

错误一&#xff1a;yaml.representer.RepresenterError: (‘cannot represent an object’, 117) 出现这个问题一直没找到原因&#xff0c;后面把yaml.safe_dump直接替换成yaml.dump&#xff0c;确实能保存&#xff0c;但出现乱码&#xff1a; 放弃yaml.dump&#xff0c;又切…...

编程新知 2025/12/5 13:12:50

归并排序：分治思想的高效排序

目录 基本原理 流程图解 实现方法 递归实现 非递归实现 演示过程 时间复杂度 基本原理 归并排序(Merge Sort)是一种基于分治思想的排序算法&#xff0c;由约翰冯诺伊曼在1945年提出。其核心思想包括&#xff1a; 分割(Divide)&#xff1a;将待排序数组递归地分成两个子…...

编程新知 2025/12/20 4:14:47

用js实现常见排序算法

以下是几种常见排序算法的 JS实现&#xff0c;包括选择排序、冒泡排序、插入排序、快速排序和归并排序&#xff0c;以及每种算法的特点和复杂度分析 1. 选择排序&#xff08;Selection Sort&#xff09; 核心思想&#xff1a;每次从未排序部分选择最小元素&#xff0c;与未排…...

编程新知 2025/9/25 19:59:14