当前位置： 首页 > news >正文

【SD】 Stable Diffusion（SD）原理详解与ComfyUI使用 2

news 2026/2/10 23:38:47

Stable Diffusion（SD）原理详解与ComfyUI使用

      • Stable Diffusion（SD）原理详解与ComfyUI使用
        • 1. SD整体结构
        • 2. Clip（文本编码器）
        • 3. Unit（生成模型）
        • 4. VAE（变分自编码器）
        • 5. 整体工作流程
        • 6. ComfyUI低显存生成图片
        • 7. 总结

Stable Diffusion（SD）原理详解与ComfyUI使用

在这里插入图片描述

1. SD整体结构
  • 输入：文本和随机变量（Latent Vector）
  • 输出：图片
  • 核心：由三个模型组成
    1. 文本编码器（Clip）
    2. 生成模型（Unit）
    3. 变分自编码器（VAE）
2. Clip（文本编码器）
  • 专为SD设计的文本编码器
  • 训练步骤：
    1. 有限制性预训练：使用图片和文本描述的数据集，训练文本编码器和图片编码器，使输出向量尽可能接近。
    2. 进一步训练：使用物体名称和描述，训练文本编码器解码能力。
3. Unit（生成模型）
  • 功能：加噪和降噪过程
  • 过程：将图片经过VAE编码器处理，生成与Latent Vector相同大小的图片，然后通过加噪和降噪生成中间结果。
4. VAE（变分自编码器）
  • 功能：降维和升维
  • 过程：
    1. 编码器将图片转换为较小的表示
    2. 解码器将较小的表示还原为原图大小
  • 优点：无需标签，可以从噪声中生成图片
5. 整体工作流程
  1. 文本通过Clip编码成向量
  2. 向量和Latent Vector一起输入到Unit
  3. Unit进行降噪处理，生成中间结果
  4. 中间结果通过VAE解码器还原为最终图片
6. ComfyUI低显存生成图片
  • 利用SD原理，ComfyUI可以在低显存条件下生成高质量图片
  • 通过理解SD的各个部件和工作流程，可以更好地使用ComfyUI
7. 总结
  • SD通过结合文本编码器、生成模型和变分自编码器，实现了从文本到图片的生成
  • ComfyUI利用SD原理，提供了一种在资源受限条件下生成图片的方法
  • 理解SD的架构和组件对于有效使用ComfyUI至关重要

相关文章：

【SD】 Stable Diffusion（SD）原理详解与ComfyUI使用 2

Stable Diffusion（SD）原理详解与ComfyUI使用 Stable Diffusion（SD）原理详解与ComfyUI使用1. SD整体结构2. Clip（文本编码器）3. Unit（生成模型）4. VAE（变分自编码器&#…...

编程日记 2024/7/23 4:53:06

【学习笔记】无人机系统（UAS）的连接、识别和跟踪（七）-广播远程识别码（Broadcast Remote ID）

目录 引言 5.5 广播远程识别码（Broadcast Remote ID） 5.5.1 使用PC5的广播远程识别码 5.5.2 使用MBS的广播远程识别码 引言 3GPP TS 23.256 技术规范，主要定义了3GPP系统对无人机（UAV）的连接性、身份识别、跟踪及…...

编程日记 2024/7/23 4:50:04

VMware 虚拟机 ping 不通原因排查

目录 一、检查网络 二、重启虚拟机网络 因为最近遇到了一个比较奇怪的 ping 不通虚拟机的事，在此过程中，检查了很多的设置，故而写一篇文章记录下，如有 VMware 虚拟机 ping 不通可以尝试本文的排查方式。 下面以 VMware 虚拟机为…...

编程日记 2024/7/23 4:48:02

websocket状态机

websocket突破了HTTP协议单向性的缺陷，基于HTTP协议构建了双向通信的通道，使服务端可以主动推送数据到前端，解决了前端不断轮询后台才能获取后端数据的问题，所以在小程序和H5应用中被广泛使用。本文主要集合报文分析对于websocket…...

编程日记 2024/7/23 4:47:01

JCR一区级 | Matlab实现CPO-Transformer-LSTM多变量回归预测【2024新算法】

JCR一区级 | Matlab实现CPO-Transformer-LSTM多变量回归预测【2024新算法】 目录 JCR一区级 | Matlab实现CPO-Transformer-LSTM多变量回归预测【2024新算法】效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.【JCR一区级】Matlab实现CPO-Transformer-LSTM多变量回归预测…...

编程日记 2024/7/23 4:46:00

力扣3226 使两个整数相等的位更改次数

写的代码&#xff1a; class Solution { public:string cc(int num){string res"";while(num>0){int rnum % 2;resstatic_cast<char>(48r)res;num/2;}return res;}int minChanges(int n, int k) {int res0;string n2cc(n);string k2cc(k);int n_sizen2.siz…...

编程日记 2024/7/23 4:43:57

VLAN 划分案例详解

vlan 的应用在网络项目中是非常广泛的&#xff0c;基本上大部分的项目都需要划分 vlan&#xff0c;这里从基础的 vlan 的知识开始&#xff0c;了解 vlan 的划分原理。 为什么需要 vlan&#xff1a; 1、什么是 VLAN&#xff1f; VLAN&#xff08;Virtual LAN&#xff09;&…...

编程日记 2024/7/23 4:42:56

[技术总结] C++ 使用经验

const 和 constexpr 有什么区别. const 一般是设置一个只读的属性, 在运行时还有可能通过cast变成一个可修改的. 但是constexpr是告诉编译器这就是一个常亮, 在编译时就可以计算出来然后进行替换.static 修饰的成员函数 & 成员变量 static 修饰的成员函数只能访问 static 修…...

编程日记 2024/7/23 4:40:54

音频数据集

1 多语言 Mozilla Common Voice 下载地址&#xff1a;https://voice.mozilla.org/data 时长&#xff1a;1965小时&#xff08;目前为止&#xff09; 最早2017年发布&#xff0c;持续更新&#xff0c;该基金会表示&#xff0c;通过 Common Voice 网站和移动应用&#xff0c;他们…...

编程日记 2024/7/23 4:39:54

Java | Leetcode Java题解之第268题丢失的数字

题目&#xff1a; 题解&#xff1a; class Solution {public int missingNumber(int[] nums) {int n nums.length;int total n * (n 1) / 2;int arrSum 0;for (int i 0; i < n; i) {arrSum nums[i];}return total - arrSum;} }...

编程日记 2024/7/23 4:38:53

指针！！C语言(第二篇）

目录 一. 数组名的理解 二. 一维数组传参的本质 三. 冒泡排序法 四. 二级指针与指针数组 五. 字符指针变量与数组指针 一. 数组名的理解 在我们对指针有了初步的理解之外&#xff0c;今天我们来掌握一些新的知识就是数组与指针&#xff0c;第一个对数组名的了解&#xff…...

编程日记 2024/7/23 4:36:51

AIGC-ToonCrafter: Generative Cartoon Interpolation

论文:https://arxiv.org/pdf/2405.17933 代码:https://doubiiu.github.io/projects/ToonCrafter 给定首尾帧&#xff0c;生成逼真生动的动画 MOTIVATION Traditional methods which implicitly assume linear motion and the absence of complicated phenomena like disoccl…...

编程日记 2024/7/23 4:34:50

牛奶供应（三）

一个字贪&#xff0c;第一天&#xff0c;只能选择制作方式&#xff0c;后面的每一天&#xff0c;在<今天制作>与<前期存储>之间取更优解 例如样例&#xff1a;100 5&#xff0c;200 5&#xff0c;90 20&#xff0c;存储成本为10 第1天&#xff1a; 一定是制作&…...

编程日记 2024/7/23 4:32:48

首批通过 | 百度通过中国信通院H5端人脸识别安全能力评估工作

2024年5月&#xff0c;中国信息通信研究院人工智能研究所依托中国人工智能产业发展联盟安全治理委员会&#xff08;AIIA&#xff09;、“可信人脸应用守护计划”及多家企业代表共同开展《H5端人脸识别线上身份认证安全能力要求及评估方法》的编制工作&#xff0c;并基于该方法开…...

编程日记 2024/7/23 4:26:43

JVM---对象是否存活及被引用的状态

1.如何判断对象是否存活 1.1 引用计数算法 概念&#xff1a;在对象头部增加一个引用计数器,每当有一个地方引用它时&#xff0c;计数器值就加一&#xff1b;当引用失效时&#xff0c;计数器值就减一&#xff1b;任何时刻计数器为零的对象就是不可能再被使用的。 优点&#xff1…...

编程日记 2024/7/23 4:22:39

科研绘图系列：R语言分割小提琴图（Split-violin）

介绍 分割小提琴图（Split-violin plot）是一种数据可视化工具，它结合了小提琴图（violin plot）和箱线图（box plot）的特点。小提琴图是一种展示数据分布的图形，它通过在箱线图的两侧添加曲线来表示数据的密度分布，曲线的宽度表示数据点的密度。而分割小提琴图则是将小提…...

编程日记 2024/7/23 4:20:37

WEB前端09-前端服务器搭建(Node.js/nvm/npm)

前端服务器的搭建 在本文中&#xff0c;我们将介绍如何安装和配置 nvm&#xff08;Node Version Manager&#xff09;以方便切换不同版本的 Node.js&#xff0c;以及如何设置 npm&#xff08;Node Package Manager&#xff09;使用国内镜像&#xff0c;并搭建一个简单的前端服…...

编程日记 2024/7/23 4:18:34

ASP.NET Core在启动过程中使用数据库实例的几种方式

ASP.NET Core项目启动过程中若要调用SqlSugarClient实例操作数据库数据&#xff08;假设操作函数如下&#xff09;&#xff0c;特此记录以下几种方式&#xff1a; public class PublicDataBuffer {public static List<EnvironmentRecord> DataBuffer new List<Envir…...

编程日记 2024/7/23 4:16:33

AndroidStudio 编辑xml布局文件卡死问题解决

之前项目编写的都是正常&#xff0c;升级AndroidStudio后编辑布局文件就卡死&#xff0c;还以为是AndroidStudio文件。 其实不然&#xff0c;我给整个项目增加了版权声明。所以全部跟新后&#xff0c;布局文件也增加了版权声明。估计AndroidStudio在 解析布局文件时候因为有版…...

编程日记 2024/7/23 4:14:31

使用 PVE 自签 CA 证书签发新证书

前言 PVE 安装时会自动创建一个有效期 10 年的 CA 证书, 我们可以利用这个 CA 证书给虚拟机中的 Web 应用签发新的 TLS 证书用于提供 HTTPS 服务. 下面以 PVE 虚拟机中通过 Docker 跑的一个 雷池 应用为例进行演示. PVE 证书位置 官方文档: https://pve.proxmox.com/wiki/Pr…...

编程日记 2024/7/23 4:13:30

业务系统对接大模型的基础方案：架构设计与关键步骤

业务系统对接大模型&#xff1a;架构设计与关键步骤 在当今数字化转型的浪潮中&#xff0c;大语言模型&#xff08;LLM&#xff09;已成为企业提升业务效率和创新能力的关键技术之一。将大模型集成到业务系统中&#xff0c;不仅可以优化用户体验&#xff0c;还能为业务决策提供…...

编程新知 2026/2/10 19:58:46

关于iview组件中使用 table , 绑定序号分页后序号从1开始的解决方案

问题描述&#xff1a;iview使用table 中type: "index",分页之后 &#xff0c;索引还是从1开始&#xff0c;试过绑定后台返回数据的id, 这种方法可行&#xff0c;就是后台返回数据的每个页面id都不完全是按照从1开始的升序&#xff0c;因此百度了下&#xff0c;找到了…...

编程新知 2026/1/29 20:58:41

【分享】推荐一些办公小工具

1、PDF 在线转换 https://smallpdf.com/cn/pdf-tools 推荐理由&#xff1a;大部分的转换软件需要收费&#xff0c;要么功能不齐全&#xff0c;而开会员又用不了几次浪费钱&#xff0c;借用别人的又不安全。 这个网站它不需要登录或下载安装。而且提供的免费功能就能满足日常…...

编程新知 2026/1/25 14:40:59

mac 安装homebrew (nvm 及git)

mac 安装nvm 及git 万恶之源 mac 安装这些东西离不开Xcode。及homebrew 一、先说安装git步骤 通用&#xff1a; 方法一&#xff1a;使用 Homebrew 安装 Git&#xff08;推荐&#xff09; 步骤如下&#xff1a;打开终端&#xff08;Terminal.app&#xff09; 1.安装 Homebrew…...

编程新知 2026/1/30 4:58:21

day36-多路IO复用

一、基本概念 &#xff08;服务器多客户端模型&#xff09; 定义&#xff1a;单线程或单进程同时监测若干个文件描述符是否可以执行IO操作的能力 作用&#xff1a;应用程序通常需要处理来自多条事件流中的事件&#xff0c;比如我现在用的电脑&#xff0c;需要同时处理键盘鼠标…...

编程新知 2026/1/31 7:42:50

作为测试我们应该关注redis哪些方面

1、功能测试 数据结构操作&#xff1a;验证字符串、列表、哈希、集合和有序的基本操作是否正确 持久化&#xff1a;测试aof和aof持久化机制&#xff0c;确保数据在开启后正确恢复。 事务&#xff1a;检查事务的原子性和回滚机制。 发布订阅&#xff1a;确保消息正确传递。 2、性…...

编程新知 2025/11/1 2:00:51

水泥厂自动化升级利器：Devicenet转Modbus rtu协议转换网关

在水泥厂的生产流程中&#xff0c;工业自动化网关起着至关重要的作用&#xff0c;尤其是JH-DVN-RTU疆鸿智能Devicenet转Modbus rtu协议转换网关&#xff0c;为水泥厂实现高效生产与精准控制提供了有力支持。 水泥厂设备众多&#xff0c;其中不少设备采用Devicenet协议。Devicen…...

编程新知 2026/2/7 14:33:24

macOS 终端智能代理检测

&#x1f9e0; 终端智能代理检测&#xff1a;自动判断是否需要设置代理访问 GitHub 在开发中&#xff0c;使用 GitHub 是非常常见的需求。但有时候我们会发现某些命令失败、插件无法更新&#xff0c;例如&#xff1a; fatal: unable to access https://github.com/ohmyzsh/oh…...

编程新知 2026/1/22 15:34:33

海云安高敏捷信创白盒SCAP入选《中国网络安全细分领域产品名录》

近日&#xff0c;嘶吼安全产业研究院发布《中国网络安全细分领域产品名录》&#xff0c;海云安高敏捷信创白盒&#xff08;SCAP&#xff09;成功入选软件供应链安全领域产品名录。 在数字化转型加速的今天&#xff0c;网络安全已成为企业生存与发展的核心基石&#xff0c;为了解…...

编程新知 2026/2/8 13:00:10

Mysql故障排插与环境优化

前置知识点 最上层是一些客户端和连接服务&#xff0c;包含本 sock 通信和大多数jiyukehuduan/服务端工具实现的TCP/IP通信。主要完成一些简介处理、授权认证、及相关的安全方案等。在该层上引入了线程池的概念&#xff0c;为通过安全认证接入的客户端提供线程。同样在该层上可…...

编程新知 2026/2/2 0:43:41