当前位置： 首页 > news >正文

AI 绘画Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装

news 文章来源：https://blog.csdn.net/lizhong2008/article/details/131994349 2025/5/10 20:30:15

部署包作者:秋葉aaaki

免责声明:
本安装包及启动器免费提供 无任何盈利目的


大家好，我是风雨无阻。

众所周知，StableDiffusion 是非常强大的AI绘图工具，需要详细了解StableDiffusion的朋友，可查看我之前的这篇文章： 最近大火的两大AI绘图工具 Midjourney VS StableDiffusion。


今天为大家带来的是 Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装 。


首先来明确一下这个ControlNet1.1 到到底是什么？

ControlNet1.1 是Stable Diffusion 绘画插件，在2023年4月份更新了 V1.1 版本，发布了14 个优化模型，并新增了多个预处理器，并且在原有的模型上进行了一些优化，让它的功能比之前更加好用了。

那么我们先来详细了解一下 ControlNet1.1 的新模型新功能。


一、ControlNet1.1 的新模型新功能


1、新增Lineart模型 和 lineart_anime模型


现在新增了两个模型，lineart和lineart anime，完全可以替代原来的Canny强大的线稿上色，无论是上色黑白和彩色功能都非常强大。


在这里插入图片描述


在这里插入图片描述


2、新增Instruct Pix2Pix 模型


模型能够接受一张图像和相应的文字指令(也就是prompt)，根据指令来编辑图像，局部整体操纵图像程度的能力。


将白天变为夜晚 ，如图：

​ 在这里插入图片描述


换发型 ，如图：


在这里插入图片描述


​

换装 ，如图：

在这里插入图片描述


​

3、 新增Tile 模型

Tile 模型对于图片高清修复、提升细节、根据画面自动推断内容有着很好效果，根据官方的介绍有5种功能：

  • 可以进行图片放大 2x、4x 或 8x 超分辨率
  • 可以在图像中添加、更改或重新生成图像细节
  • 可以修复、细化和改进通过任何其他超分辨率方法获得的不良图像细节
  • 它可以引导SD放大脚本，生成错误的问题
  • 可以完成未完成的图稿，如果这些图稿是用色块绘制的

在这里插入图片描述


图像修复前：

在这里插入图片描述


图像修复后：

在这里插入图片描述


细节调整前：

在这里插入图片描述


细节调整后：

在这里插入图片描述


4 、新增shuffle 模型

shuffle模型可以称为重组模型，从shuffle模型的是使用效果来看，shuffle模型可以通过获取原图的风格后借助这个风格进行新的图片生成，所以当我们找到比较好的参考图时，就可以使用shuffle模型进行图片创作。


我们先来看一下人物图处理效果：

在这里插入图片描述


在这里插入图片描述


从成图效果来看，新生成的图片风格、色调、人物的部分姿态都进行还原和保留，因此我们使用Shuffle模型可以使用原图进行参考借鉴，重组画面进行生成的新图片。


再来看一下风景类图处理效果：

在这里插入图片描述


在这里插入图片描述


从成图来看，主要的配色、风格还是参考了原图的样式，构图结构上也有部分的参考。


新增的功能和模型效果介绍就到这里了，接下来介绍一下，如何安装和使用ControlNet1.1。


之前，我们一直在用的是Control插件，其实只需要将插件升级到新版本以后，就可以用新版本的模型了。所以我们只需更新插件，然后下载新的模型放进去就好。


二、安装ControlNet1.1

本次升级和安装的内容主要有2点:

  • 升级 ControlNet插件版本

  • 安装各种预处理器的模型


如果你还没有安装 Stable Diffusion 整合包，可以阅读 Stable Diffusion 研究（一）sd整合包v4.2 版本安装说明 这篇文章，了解安装 Stable Diffusion 整合包需要的电脑配置以及下载相关的安装包。


首先需要准备好ControlNet 1.1 安装文件，文件集成在整合包sd-webui-aki-v4.2 版本 里，没有下载的朋友，可以去自行下载。


1、升级 ControlNet插件版本

第一步， 进入整合包目录：sd-webui-aki-v4， 直接双击 A启动器.exe 运行


启动后如下 ：

在这里插入图片描述


第二步，点击左侧版本管理

在这里插入图片描述


第三步，切换到扩展标签页 ，点击右上角“一键更新”按钮即可。


在这里插入图片描述


2、安装各种预处理器的模型 (可选)

第一步，将预处理器模型文件夹里的 download 文件夹，整个复制放到插件目录底下的annotator文件夹里面。

\controlnet1.1\预处理器\download

\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator

如图：

在这里插入图片描述



第二步，将controlnet1.1 模型放到sd-webui-controlnet\model 文件夹就可以了

\controlnet1.1\模型

\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\models

在这里插入图片描述



完成以上操作后，关闭启动器、控制台、webui，然后重新启动就可生效。

如图：

在这里插入图片描述



三、ControlNet1.1 使用体验及相对于老板本的一些变化


1、颜色反转模式变为了一个单独的预处理器


在这里插入图片描述


2、新增加完美像素模式

选择以后能解决 ControlNet 处理的一些分辨率问题。


在这里插入图片描述


3、新增控制模式

新增控制模式：

  • 均衡
  • 更偏向提示词
  • 更偏向ControlNet

选择更偏向ControlNet时，需要降低CFG。

在这里插入图片描述


4、老板本的HED变为了SoftEdge

在这里插入图片描述


5、 增加了几个预处理器

OpenPose预处理器-> OpenPose模型
Openpose_full，一个模型姿态手部脸部全部搞定

在这里插入图片描述


6、老板本的 Depth模型 -> 新版本推荐 Leres++、Zoe预处理器

在这里插入图片描述


好了，今天的分享就到这里，ControlNet1.1 更多功能和变化这里就不再详细说明了，感兴趣的朋友可以自行研究。下一篇，将给大家带来，sd 各个功能模块的详细使用方法，敬请期待。

相关文章：

AI 绘画Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装

部署包作者:秋葉aaaki 免责声明: 本安装包及启动器免费提供 无任何盈利目的 大家好，我是风雨无阻。 众所周知，StableDiffusion 是非常强大的AI绘图工具，需要详细了解StableDiffusion的朋友，可查看我之前的这篇文章： …...

编程日记 2023/8/3 7:19:45

接口参数设计原则

1. 不能太动态. 不相信客户端的原则 例如传递 filterFields , 推送一个表的某些字段给上游. 2. 可以服务端提供一些封装. 这个封装可以是写死的组合, 也可以是后端配置的. 最好的是 代码里的领域类bean 1,1对应一个名称. 可以是 classReference. 运营态有很多字段是给用户看的…...

编程日记 2023/8/3 7:18:44

网络安全防护利器：SK5代理与IP代理的技术对比

一、IP代理与SK5代理技术简介 IP代理： IP代理是一种通过中间服务器转发网络请求的技术。用户通过向代理服务器发出请求，代理服务器转发请求至目标服务器，然后将目标服务器的响应返回给用户。主要功能包括隐藏真实IP地址、绕过地理限制和IP封锁…...

编程日记 2023/8/3 7:17:43

IDEA删除本地git仓库、创建本地git仓库、关联其他仓库并上传

IDEA删除本地git仓库、创建本地git仓库、关联其他仓库并上传 删除本地Git仓库 创建本地Git仓库 关联其他仓库并上传 要在IntelliJ IDEA中删除本地Git仓库并创建新的本地Git仓库，以及关联其他仓库并上传，请按照以下步骤进行操作： 删除本地G…...

编程日记 2023/8/3 7:16:42

JavaEE简单示例——在使用Tomcat的时候可能出现的一些报错

简单介绍： 在我们之前使用Tomcat的时候，经常会出现在启动的时候因为一些报错导致项目无法正常的启动，我们就对一些比较常见的报错来看一下可能导致的原因，以及出现报错之后如何去解决。 严重: Failed to initialize end point a…...

编程日记 2023/8/3 7:15:41

webrtc的线程模型

目录 线程的声明 线程创建过程 向线程中投递消息 从消息队列中取消息的具体实现 处理线程消息 webrtc线程模块的实现逻辑在 rtc_base\thread.h 文件中 比如想创建一个线程&#xff1a; //声明要创建的线程指针&#xff0c;通过智能指针管理 std::unique_ptr<rtc::Thr…...

编程日记 2023/8/3 7:14:39

数据库备份还原-mysqldump、mydumper、xtrabackup、压缩

目录 数据库备份&#xff0c;数据库为school&#xff0c;素材如下 一、创建student和score表 二、为student表和score表增加记录 三、练习题 数据库备份&#xff0c;数据库为school&#xff0c;素材如下 一、创建student和score表 CREATE TABLE student ( id INT(10) NOT…...

编程日记 2023/8/3 7:13:35

【黑马程序员前端】JavaScript入门到精通--20230801

B站链接 理论 HTML相关知识【黑马程序员前端】 https://blog.csdn.net/m0_48964052/article/details/125951658 CSS相关知识【黑马程序员前端】 https://blog.csdn.net/m0_48964052/article/details/125951788 黑马程序员——JavaScript基础1&#xff08;初识 JavaS…...

编程日记 2023/8/3 7:12:34

100道Java多线程面试题（上）

线程创建方式&#xff1f; 线程有哪些基本状态? 如何停止一个正在运行的线程&#xff1f; 有三个线程T1,T2,T3,如何保证顺序执行&#xff1f; 在线程中你怎么处理不可控制异常&#xff1f; 如何创建线程池&#xff1f; 以下情况如何使用线程池&#xff1f;高并发、任务时间短;…...

编程日记 2023/8/3 7:11:31

web开发中的安全和防御入门——csp (content-security-policy内容安全策略)

偶然碰到iframe跨域加载被拒绝的问题&#xff0c;原因是父页面默认不允许加载跨域的子页面&#xff0c;也就是的content-security-policy中没有设置允许跨域加载。 简单地说&#xff0c;content-security-policy能限制页面允许和不允许加载的所有资源&#xff0c;常见的包括&a…...

编程日记 2023/8/3 7:10:30

定了！全国2023下半年软考（高级、中级、初级）报名时间汇总

截止到2023年8月2日&#xff0c;有以下地区公布了软考报名时间&#xff1a; 安徽软考2023下半年报名时间&#xff1a;8月15日9:00至8月21日16:00 黑龙江软考2023下半年报名时间&#xff1a;8月16日至8月22日 甘肃软考2023下半年报名时间&#xff1a;8月28日9:00至9月6日18:00…...

编程日记 2023/8/3 7:09:28

Linux下安装配置Redis

文章目录 安装依赖库上传安装包并解压 启动默认启动指定配置启动开机自启 安装 依赖库 Redis是基于C语言编写的&#xff0c;因此首先需要安装Redis所需要的gcc依赖&#xff1a; yum install -y gcc tcl上传安装包并解压 将Redis安装包上传到服务器的任意目录&#xff0c;例…...

编程日记 2023/8/3 7:08:27

深度学习（33）——CycleGAN（2）

深度学习&#xff08;33&#xff09;——CycleGAN&#xff08;2&#xff09; 完整项目在在这里&#xff1a;欢迎造访 文章目录 深度学习&#xff08;33&#xff09;——CycleGAN&#xff08;2&#xff09;1. Generator2. Discriminator3. fake pool4. loss定义5. 模型参数量6…...

编程日记 2023/8/3 7:07:26

WeakMap and WeakSet（弱映射和弱集合）

在垃圾回收中了解JavaScript 引擎在值“可达”和可能被使用时会将其保持在内存中 let john { name: "John" }; // 该对象能被访问&#xff0c;john 是它的引用 // 覆盖引用 john null; // 该对象将会被从内存中清除通常&#xff0c;当对象、数组之类的数据结构在内…...

编程日记 2023/8/3 7:06:25

【Vue3基础】组件保持存活、异步加载组件

一、组件保持存活 1、需求描述 点击按钮跳转到其他组件后&#xff0c;原组件不会被销毁 2、知识整理 1&#xff09;组件生命周期 创建期&#xff1a;beforeCreate、created 挂载期&#xff1a;beforeMount、mounted 更新期&#xff1a;beforeUpdate、updated 销毁期&am…...

编程日记 2023/8/3 7:05:24

在 3ds Max 中使用相机映射将静止图像转换为实时素材

推荐&#xff1a; NSDT场景编辑器 助你快速搭建可二次开发的3D应用场景 1. 在 Photoshop 中准备图像 步骤 1 这是我将在教程中使用的静止图像。 这是我的静态相机纸箱的快照。 静止图像 步骤 2 打开 Photoshop。将图像导入 Photoshop。 打开 Photoshop 步骤 3 单击套索工…...

编程日记 2023/8/3 7:04:21

如何使用GIL解决Python多线程性能瓶颈

如何使用GIL解决Python多线程性能瓶颈 引言&#xff1a; Python是一种使用广泛的编程语言&#xff0c;但其在多线程方面存在一个性能瓶颈&#xff0c;即全局解释器锁&#xff08;Global Interpreter Lock&#xff0c;简称GIL&#xff09;。GIL会限制Python的多线程并行能力&am…...

编程日记 2023/8/3 7:03:20

k8s概念-深入pod

回到目录 工作负载&#xff08;workloads&#xff09; 工作负载&#xff08;workload&#xff09;是在kubernetes集群中运行的应用程序。无论你的工作负载是单一服务还是多个一同工作的服务构成&#xff0c;在kubernetes中都可以使用pod来运行它 workloads分为pod与control…...

编程日记 2023/8/3 7:02:18

Web服务器实验案例

目录 关闭或放行防火墙和selinux 1 搭建静态网站 2 建立两个基于ip地址访问的网站 思路&#xff1a; 简单配置 编写httpd额外文件 3 建立两个基于不同端口访问的网站 思路 创建文件&#xff08;与之前一致&#xff09; 额外文件配置 4 基于虚拟目录和用户控制的web网…...

编程日记 2023/8/3 7:01:16

预警 项目经验BUG

文章目录 定时任务 定时任务 在方法上使用Scheduled注解 cron参数&#xff1a; cron是一个表达式&#xff0c;最多接收7个参数从左到右分别表示&#xff1a;秒 分 时 天 月 周 年参数以空格隔开&#xff0c;其中年不是必须参数&#xff0c;可以省略。示例&#xff1a;Schedule…...

编程日记 2023/8/3 7:00:15

基于RFID技术的猪舍门读卡器

随着科技的发展和普及&#xff0c;智能化管理在各个领域的应用越来越广泛。在畜牧业中&#xff0c;将RFID技术应用在养殖管理中的企业也越来越多&#xff0c;为养殖企业的智能化管理提供了有力的支持&#xff0c;本文将介绍RFID技术的猪舍门读卡器的应用。 一、RFID技术简介 …...

编程日记 2023/8/3 6:59:14

亚马逊店铺的回款周期是多久？

现如今&#xff0c;开亚马逊店铺可是一个技术活&#xff0c;一旦有一个环节&#xff0c;或者是一件事情没有做好&#xff0c;对整个亚马逊店铺过程中影响都是十分巨大的&#xff0c;不少亚马逊卖家就吃过这方面的亏。 很多亚马逊卖家就是吃亏在这些方面&#xff0c;现在要想开…...

编程日记 2023/8/3 6:58:13

剑指offer19.正则表达式

这道题我一看就有印象&#xff0c;我室友算法课设抽到这题&#xff0c;他当时有个bug让我帮他看一下&#xff0c;然后我就大概看了一下他的算法&#xff0c;他是用动态规划写的&#xff0c;用了一个二维数组&#xff0c;然后我就试着按照这个思路去写&#xff0c;想了一会还是没…...

编程日记 2023/8/3 6:57:11

Mac Navicat 16试用脚本

一、无限试用脚本如下 #!/bin/bash #/usr/libexec/PlistBuddy -c "print" ~/Library/Preferences/com.navicat.NavicatPremium.plist /usr/libexec/PlistBuddy -c "Delete :91F6C435D172C8163E0689D3DAD3F3E9" ~/Library/Preferences/com.navicat.Navica…...

编程日记 2023/8/3 6:56:10

什么是 webpack？

Webpack 介绍 什么是 webpack&#xff1f; :::tip 官方描述 webpack 是一个用于现代 JavaScript 应用程序的静态模块打包工具。当 webpack 处理应用程序时&#xff0c;它会在内部从一个或多个入口点构建一个 依赖图(dependency graph)&#xff0c;然后将你项目中所需的每一个…...

编程日记 2023/8/3 6:55:08

#B. 费解的开关

题目描述 你玩过“拉灯”游戏吗&#xff1f;2525盏灯排成一个5x55x5的方形。每一个灯都有一个开关&#xff0c;游戏者可以改变它的状态。每一步&#xff0c;游戏者可以改变某一个灯的状态。游戏者改变一个灯的状态会产生连锁反应&#xff1a;和这个灯上下左右相邻的灯也要相应…...

编程日记 2023/8/3 6:54:06

Docker离线安装

Docker离线安装 一、安装步骤 1. 下载 Docker 二进制文件&#xff08;离线安装包&#xff09; 下载地址&#xff1a;https://download.docker.com/linux/static/stable/x86_64/ 注&#xff1a;本文使用 /x86_64/docker-18.06.1-ce.tgz&#xff0c;注意对应操作系统类型。 2.…...

编程日记 2023/8/3 6:53:05

React高阶学习（二）

目录 1. 基本概念和语法2. 组件化开发3. 状态管理4. 生命周期钩子5. 条件渲染6. 循环渲染7. 事件处理8. 组件间通信9. 动画效果10. 模块化开发 1. 基本概念和语法 React 是基于 JavaScript 的库&#xff0c;用于构建用户界面。它采用虚拟 DOM 技术&#xff0c;能够高效地渲染页…...

编程日记 2023/8/3 6:52:04

C语言中的字符串输入操作详解

C语言输入字符串详解 目录 介绍使用scanf_s输入字符串scanf_s的限制和问题解决输入空格的方法——使用gets_s函数gets_s函数的注意事项示例代码演示总结 1. 介绍 在C语言中&#xff0c;输入字符串是常见的操作。本篇博客将详细讨论在C语言中输入字符串的方法。我们将使用s…...

编程日记 2023/8/3 6:51:03

C高级 DAY1

1.思维导图 二、 网络配置 更新资源库 在线下载 卸载安装包 离线下载 离线安装包卸载 cat echo head tail 管道符 字体变色 find file grep cut 截取字符 chown ln硬链接 软链接 压缩、解压缩 打包并压缩&#xff0c;解压缩...

编程日记 2023/8/3 6:50:01