当前位置： 首页 > news >正文

【SD】 Stable Diffusion（SD）原理详解与ComfyUI使用 2

news 2026/2/3 18:44:13

Stable Diffusion（SD）原理详解与ComfyUI使用

      • Stable Diffusion（SD）原理详解与ComfyUI使用
        • 1. SD整体结构
        • 2. Clip（文本编码器）
        • 3. Unit（生成模型）
        • 4. VAE（变分自编码器）
        • 5. 整体工作流程
        • 6. ComfyUI低显存生成图片
        • 7. 总结

Stable Diffusion（SD）原理详解与ComfyUI使用

在这里插入图片描述

1. SD整体结构
  • 输入：文本和随机变量（Latent Vector）
  • 输出：图片
  • 核心：由三个模型组成
    1. 文本编码器（Clip）
    2. 生成模型（Unit）
    3. 变分自编码器（VAE）
2. Clip（文本编码器）
  • 专为SD设计的文本编码器
  • 训练步骤：
    1. 有限制性预训练：使用图片和文本描述的数据集，训练文本编码器和图片编码器，使输出向量尽可能接近。
    2. 进一步训练：使用物体名称和描述，训练文本编码器解码能力。
3. Unit（生成模型）
  • 功能：加噪和降噪过程
  • 过程：将图片经过VAE编码器处理，生成与Latent Vector相同大小的图片，然后通过加噪和降噪生成中间结果。
4. VAE（变分自编码器）
  • 功能：降维和升维
  • 过程：
    1. 编码器将图片转换为较小的表示
    2. 解码器将较小的表示还原为原图大小
  • 优点：无需标签，可以从噪声中生成图片
5. 整体工作流程
  1. 文本通过Clip编码成向量
  2. 向量和Latent Vector一起输入到Unit
  3. Unit进行降噪处理，生成中间结果
  4. 中间结果通过VAE解码器还原为最终图片
6. ComfyUI低显存生成图片
  • 利用SD原理，ComfyUI可以在低显存条件下生成高质量图片
  • 通过理解SD的各个部件和工作流程，可以更好地使用ComfyUI
7. 总结
  • SD通过结合文本编码器、生成模型和变分自编码器，实现了从文本到图片的生成
  • ComfyUI利用SD原理，提供了一种在资源受限条件下生成图片的方法
  • 理解SD的架构和组件对于有效使用ComfyUI至关重要

相关文章：

【SD】 Stable Diffusion（SD）原理详解与ComfyUI使用 2

Stable Diffusion（SD）原理详解与ComfyUI使用 Stable Diffusion（SD）原理详解与ComfyUI使用1. SD整体结构2. Clip（文本编码器）3. Unit（生成模型）4. VAE（变分自编码器&#…...

编程日记 2024/7/23 4:53:06

【学习笔记】无人机系统（UAS）的连接、识别和跟踪（七）-广播远程识别码（Broadcast Remote ID）

目录 引言 5.5 广播远程识别码（Broadcast Remote ID） 5.5.1 使用PC5的广播远程识别码 5.5.2 使用MBS的广播远程识别码 引言 3GPP TS 23.256 技术规范，主要定义了3GPP系统对无人机（UAV）的连接性、身份识别、跟踪及…...

编程日记 2024/7/23 4:50:04

VMware 虚拟机 ping 不通原因排查

目录 一、检查网络 二、重启虚拟机网络 因为最近遇到了一个比较奇怪的 ping 不通虚拟机的事，在此过程中，检查了很多的设置，故而写一篇文章记录下，如有 VMware 虚拟机 ping 不通可以尝试本文的排查方式。 下面以 VMware 虚拟机为…...

编程日记 2024/7/23 4:48:02

websocket状态机

websocket突破了HTTP协议单向性的缺陷，基于HTTP协议构建了双向通信的通道，使服务端可以主动推送数据到前端，解决了前端不断轮询后台才能获取后端数据的问题，所以在小程序和H5应用中被广泛使用。本文主要集合报文分析对于websocket…...

编程日记 2024/7/23 4:47:01

JCR一区级 | Matlab实现CPO-Transformer-LSTM多变量回归预测【2024新算法】

JCR一区级 | Matlab实现CPO-Transformer-LSTM多变量回归预测【2024新算法】 目录 JCR一区级 | Matlab实现CPO-Transformer-LSTM多变量回归预测【2024新算法】效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.【JCR一区级】Matlab实现CPO-Transformer-LSTM多变量回归预测…...

编程日记 2024/7/23 4:46:00

力扣3226 使两个整数相等的位更改次数

写的代码&#xff1a; class Solution { public:string cc(int num){string res"";while(num>0){int rnum % 2;resstatic_cast<char>(48r)res;num/2;}return res;}int minChanges(int n, int k) {int res0;string n2cc(n);string k2cc(k);int n_sizen2.siz…...

编程日记 2024/7/23 4:43:57

VLAN 划分案例详解

vlan 的应用在网络项目中是非常广泛的&#xff0c;基本上大部分的项目都需要划分 vlan&#xff0c;这里从基础的 vlan 的知识开始&#xff0c;了解 vlan 的划分原理。 为什么需要 vlan&#xff1a; 1、什么是 VLAN&#xff1f; VLAN&#xff08;Virtual LAN&#xff09;&…...

编程日记 2024/7/23 4:42:56

[技术总结] C++ 使用经验

const 和 constexpr 有什么区别. const 一般是设置一个只读的属性, 在运行时还有可能通过cast变成一个可修改的. 但是constexpr是告诉编译器这就是一个常亮, 在编译时就可以计算出来然后进行替换.static 修饰的成员函数 & 成员变量 static 修饰的成员函数只能访问 static 修…...

编程日记 2024/7/23 4:40:54

音频数据集

1 多语言 Mozilla Common Voice 下载地址&#xff1a;https://voice.mozilla.org/data 时长&#xff1a;1965小时&#xff08;目前为止&#xff09; 最早2017年发布&#xff0c;持续更新&#xff0c;该基金会表示&#xff0c;通过 Common Voice 网站和移动应用&#xff0c;他们…...

编程日记 2024/7/23 4:39:54

Java | Leetcode Java题解之第268题丢失的数字

题目&#xff1a; 题解&#xff1a; class Solution {public int missingNumber(int[] nums) {int n nums.length;int total n * (n 1) / 2;int arrSum 0;for (int i 0; i < n; i) {arrSum nums[i];}return total - arrSum;} }...

编程日记 2024/7/23 4:38:53

指针！！C语言(第二篇）

目录 一. 数组名的理解 二. 一维数组传参的本质 三. 冒泡排序法 四. 二级指针与指针数组 五. 字符指针变量与数组指针 一. 数组名的理解 在我们对指针有了初步的理解之外&#xff0c;今天我们来掌握一些新的知识就是数组与指针&#xff0c;第一个对数组名的了解&#xff…...

编程日记 2024/7/23 4:36:51

AIGC-ToonCrafter: Generative Cartoon Interpolation

论文:https://arxiv.org/pdf/2405.17933 代码:https://doubiiu.github.io/projects/ToonCrafter 给定首尾帧&#xff0c;生成逼真生动的动画 MOTIVATION Traditional methods which implicitly assume linear motion and the absence of complicated phenomena like disoccl…...

编程日记 2024/7/23 4:34:50

牛奶供应（三）

一个字贪&#xff0c;第一天&#xff0c;只能选择制作方式&#xff0c;后面的每一天&#xff0c;在<今天制作>与<前期存储>之间取更优解 例如样例&#xff1a;100 5&#xff0c;200 5&#xff0c;90 20&#xff0c;存储成本为10 第1天&#xff1a; 一定是制作&…...

编程日记 2024/7/23 4:32:48

首批通过 | 百度通过中国信通院H5端人脸识别安全能力评估工作

2024年5月&#xff0c;中国信息通信研究院人工智能研究所依托中国人工智能产业发展联盟安全治理委员会&#xff08;AIIA&#xff09;、“可信人脸应用守护计划”及多家企业代表共同开展《H5端人脸识别线上身份认证安全能力要求及评估方法》的编制工作&#xff0c;并基于该方法开…...

编程日记 2024/7/23 4:26:43

JVM---对象是否存活及被引用的状态

1.如何判断对象是否存活 1.1 引用计数算法 概念&#xff1a;在对象头部增加一个引用计数器,每当有一个地方引用它时&#xff0c;计数器值就加一&#xff1b;当引用失效时&#xff0c;计数器值就减一&#xff1b;任何时刻计数器为零的对象就是不可能再被使用的。 优点&#xff1…...

编程日记 2024/7/23 4:22:39

科研绘图系列：R语言分割小提琴图（Split-violin）

介绍 分割小提琴图（Split-violin plot）是一种数据可视化工具，它结合了小提琴图（violin plot）和箱线图（box plot）的特点。小提琴图是一种展示数据分布的图形，它通过在箱线图的两侧添加曲线来表示数据的密度分布，曲线的宽度表示数据点的密度。而分割小提琴图则是将小提…...

编程日记 2024/7/23 4:20:37

WEB前端09-前端服务器搭建(Node.js/nvm/npm)

前端服务器的搭建 在本文中&#xff0c;我们将介绍如何安装和配置 nvm&#xff08;Node Version Manager&#xff09;以方便切换不同版本的 Node.js&#xff0c;以及如何设置 npm&#xff08;Node Package Manager&#xff09;使用国内镜像&#xff0c;并搭建一个简单的前端服…...

编程日记 2024/7/23 4:18:34

ASP.NET Core在启动过程中使用数据库实例的几种方式

ASP.NET Core项目启动过程中若要调用SqlSugarClient实例操作数据库数据&#xff08;假设操作函数如下&#xff09;&#xff0c;特此记录以下几种方式&#xff1a; public class PublicDataBuffer {public static List<EnvironmentRecord> DataBuffer new List<Envir…...

编程日记 2024/7/23 4:16:33

AndroidStudio 编辑xml布局文件卡死问题解决

之前项目编写的都是正常&#xff0c;升级AndroidStudio后编辑布局文件就卡死&#xff0c;还以为是AndroidStudio文件。 其实不然&#xff0c;我给整个项目增加了版权声明。所以全部跟新后&#xff0c;布局文件也增加了版权声明。估计AndroidStudio在 解析布局文件时候因为有版…...

编程日记 2024/7/23 4:14:31

使用 PVE 自签 CA 证书签发新证书

前言 PVE 安装时会自动创建一个有效期 10 年的 CA 证书, 我们可以利用这个 CA 证书给虚拟机中的 Web 应用签发新的 TLS 证书用于提供 HTTPS 服务. 下面以 PVE 虚拟机中通过 Docker 跑的一个 雷池 应用为例进行演示. PVE 证书位置 官方文档: https://pve.proxmox.com/wiki/Pr…...

编程日记 2024/7/23 4:13:30

地震勘探——干扰波识别、井中地震时距曲线特点

目录 干扰波识别反射波地震勘探的干扰波 井中地震时距曲线特点 干扰波识别 有效波&#xff1a;可以用来解决所提出的地质任务的波&#xff1b;干扰波&#xff1a;所有妨碍辨认、追踪有效波的其他波。 地震勘探中&#xff0c;有效波和干扰波是相对的。例如&#xff0c;在反射波…...

编程新知 2026/2/2 3:20:56

2021-03-15 iview一些问题

1.iview 在使用tree组件时&#xff0c;发现没有set类的方法&#xff0c;只有get&#xff0c;那么要改变tree值&#xff0c;只能遍历treeData&#xff0c;递归修改treeData的checked&#xff0c;发现无法更改&#xff0c;原因在于check模式下&#xff0c;子元素的勾选状态跟父节…...

编程新知 2026/1/31 7:34:26

C# 类和继承(抽象类)

抽象类 抽象类是指设计为被继承的类。抽象类只能被用作其他类的基类。 不能创建抽象类的实例。抽象类使用abstract修饰符声明。 抽象类可以包含抽象成员或普通的非抽象成员。抽象类的成员可以是抽象成员和普通带 实现的成员的任意组合。抽象类自己可以派生自另一个抽象类。例…...

编程新知 2026/1/29 16:25:24

在WSL2的Ubuntu镜像中安装Docker

Docker官网链接: https://docs.docker.com/engine/install/ubuntu/ 1、运行以下命令卸载所有冲突的软件包&#xff1a; for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done2、设置Docker…...

编程新知 2026/1/26 21:03:35

vue3+vite项目中使用.env文件环境变量方法

vue3vite项目中使用.env文件环境变量方法 .env文件作用命名规则常用的配置项示例使用方法注意事项在vite.config.js文件中读取环境变量方法 .env文件作用 .env 文件用于定义环境变量&#xff0c;这些变量可以在项目中通过 import.meta.env 进行访问。Vite 会自动加载这些环境变…...

编程新知 2026/1/26 19:12:01

Unsafe Fileupload篇补充-木马的详细教程与木马分享（中国蚁剑方式）

在之前的皮卡丘靶场第九期Unsafe Fileupload篇中我们学习了木马的原理并且学了一个简单的木马文件 本期内容是为了更好的为大家解释木马&#xff08;服务器方面的&#xff09;的原理&#xff0c;连接&#xff0c;以及各种木马及连接工具的分享 文件木马&#xff1a;https://w…...

编程新知 2026/1/25 10:13:29

Golang——6、指针和结构体

指针和结构体 1、指针1.1、指针地址和指针类型1.2、指针取值1.3、new和make 2、结构体2.1、type关键字的使用2.2、结构体的定义和初始化2.3、结构体方法和接收者2.4、给任意类型添加方法2.5、结构体的匿名字段2.6、嵌套结构体2.7、嵌套匿名结构体2.8、结构体的继承 3、结构体与…...

编程新知 2026/1/28 11:35:09

安卓基础（Java 和 Gradle 版本）

1. 设置项目的 JDK 版本 方法1&#xff1a;通过 Project Structure File → Project Structure... (或按 CtrlAltShiftS) 左侧选择 SDK Location 在 Gradle Settings 部分&#xff0c;设置 Gradle JDK 方法2&#xff1a;通过 Settings File → Settings... (或 CtrlAltS)…...

编程新知 2025/7/10 0:32:50

虚幻基础：角色旋转

能帮到你的话&#xff0c;就给个赞吧 &#x1f618; 文章目录 移动组件使用控制器所需旋转&#xff1a;组件 使用 控制器旋转将旋转朝向运动&#xff1a;组件 使用 移动方向旋转 控制器旋转和移动旋转 缺点移动旋转&#xff1a;必须移动才能旋转&#xff0c;不移动不旋转控制器…...

编程新知 2025/11/30 0:06:07

P10909 [蓝桥杯 2024 国 B] 立定跳远

# P10909 [蓝桥杯 2024 国 B] 立定跳远 ## 题目描述 在运动会上&#xff0c;小明从数轴的原点开始向正方向立定跳远。项目设置了 $n$ 个检查点 $a_1, a_2, \cdots , a_n$ 且 $a_i \ge a_{i−1} > 0$。小明必须先后跳跃到每个检查点上且只能跳跃到检查点上。同时&#xff0…...

编程新知 2026/1/14 23:03:24