当前位置： 首页 > news >正文

【SD】 Stable Diffusion（SD）原理详解与ComfyUI使用 2

news 2025/9/16 17:01:23

Stable Diffusion（SD）原理详解与ComfyUI使用

      • Stable Diffusion（SD）原理详解与ComfyUI使用
        • 1. SD整体结构
        • 2. Clip（文本编码器）
        • 3. Unit（生成模型）
        • 4. VAE（变分自编码器）
        • 5. 整体工作流程
        • 6. ComfyUI低显存生成图片
        • 7. 总结

Stable Diffusion（SD）原理详解与ComfyUI使用

在这里插入图片描述

1. SD整体结构
  • 输入：文本和随机变量（Latent Vector）
  • 输出：图片
  • 核心：由三个模型组成
    1. 文本编码器（Clip）
    2. 生成模型（Unit）
    3. 变分自编码器（VAE）
2. Clip（文本编码器）
  • 专为SD设计的文本编码器
  • 训练步骤：
    1. 有限制性预训练：使用图片和文本描述的数据集，训练文本编码器和图片编码器，使输出向量尽可能接近。
    2. 进一步训练：使用物体名称和描述，训练文本编码器解码能力。
3. Unit（生成模型）
  • 功能：加噪和降噪过程
  • 过程：将图片经过VAE编码器处理，生成与Latent Vector相同大小的图片，然后通过加噪和降噪生成中间结果。
4. VAE（变分自编码器）
  • 功能：降维和升维
  • 过程：
    1. 编码器将图片转换为较小的表示
    2. 解码器将较小的表示还原为原图大小
  • 优点：无需标签，可以从噪声中生成图片
5. 整体工作流程
  1. 文本通过Clip编码成向量
  2. 向量和Latent Vector一起输入到Unit
  3. Unit进行降噪处理，生成中间结果
  4. 中间结果通过VAE解码器还原为最终图片
6. ComfyUI低显存生成图片
  • 利用SD原理，ComfyUI可以在低显存条件下生成高质量图片
  • 通过理解SD的各个部件和工作流程，可以更好地使用ComfyUI
7. 总结
  • SD通过结合文本编码器、生成模型和变分自编码器，实现了从文本到图片的生成
  • ComfyUI利用SD原理，提供了一种在资源受限条件下生成图片的方法
  • 理解SD的架构和组件对于有效使用ComfyUI至关重要

相关文章：

【SD】 Stable Diffusion（SD）原理详解与ComfyUI使用 2

Stable Diffusion（SD）原理详解与ComfyUI使用 Stable Diffusion（SD）原理详解与ComfyUI使用1. SD整体结构2. Clip（文本编码器）3. Unit（生成模型）4. VAE（变分自编码器&#…...

编程日记 2024/7/23 4:53:06

【学习笔记】无人机系统（UAS）的连接、识别和跟踪（七）-广播远程识别码（Broadcast Remote ID）

目录 引言 5.5 广播远程识别码（Broadcast Remote ID） 5.5.1 使用PC5的广播远程识别码 5.5.2 使用MBS的广播远程识别码 引言 3GPP TS 23.256 技术规范，主要定义了3GPP系统对无人机（UAV）的连接性、身份识别、跟踪及…...

编程日记 2024/7/23 4:50:04

VMware 虚拟机 ping 不通原因排查

目录 一、检查网络 二、重启虚拟机网络 因为最近遇到了一个比较奇怪的 ping 不通虚拟机的事，在此过程中，检查了很多的设置，故而写一篇文章记录下，如有 VMware 虚拟机 ping 不通可以尝试本文的排查方式。 下面以 VMware 虚拟机为…...

编程日记 2024/7/23 4:48:02

websocket状态机

websocket突破了HTTP协议单向性的缺陷，基于HTTP协议构建了双向通信的通道，使服务端可以主动推送数据到前端，解决了前端不断轮询后台才能获取后端数据的问题，所以在小程序和H5应用中被广泛使用。本文主要集合报文分析对于websocket…...

编程日记 2024/7/23 4:47:01

JCR一区级 | Matlab实现CPO-Transformer-LSTM多变量回归预测【2024新算法】

JCR一区级 | Matlab实现CPO-Transformer-LSTM多变量回归预测【2024新算法】 目录 JCR一区级 | Matlab实现CPO-Transformer-LSTM多变量回归预测【2024新算法】效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.【JCR一区级】Matlab实现CPO-Transformer-LSTM多变量回归预测…...

编程日记 2024/7/23 4:46:00

力扣3226 使两个整数相等的位更改次数

写的代码&#xff1a; class Solution { public:string cc(int num){string res"";while(num>0){int rnum % 2;resstatic_cast<char>(48r)res;num/2;}return res;}int minChanges(int n, int k) {int res0;string n2cc(n);string k2cc(k);int n_sizen2.siz…...

编程日记 2024/7/23 4:43:57

VLAN 划分案例详解

vlan 的应用在网络项目中是非常广泛的&#xff0c;基本上大部分的项目都需要划分 vlan&#xff0c;这里从基础的 vlan 的知识开始&#xff0c;了解 vlan 的划分原理。 为什么需要 vlan&#xff1a; 1、什么是 VLAN&#xff1f; VLAN&#xff08;Virtual LAN&#xff09;&…...

编程日记 2024/7/23 4:42:56

[技术总结] C++ 使用经验

const 和 constexpr 有什么区别. const 一般是设置一个只读的属性, 在运行时还有可能通过cast变成一个可修改的. 但是constexpr是告诉编译器这就是一个常亮, 在编译时就可以计算出来然后进行替换.static 修饰的成员函数 & 成员变量 static 修饰的成员函数只能访问 static 修…...

编程日记 2024/7/23 4:40:54

音频数据集

1 多语言 Mozilla Common Voice 下载地址&#xff1a;https://voice.mozilla.org/data 时长&#xff1a;1965小时&#xff08;目前为止&#xff09; 最早2017年发布&#xff0c;持续更新&#xff0c;该基金会表示&#xff0c;通过 Common Voice 网站和移动应用&#xff0c;他们…...

编程日记 2024/7/23 4:39:54

Java | Leetcode Java题解之第268题丢失的数字

题目&#xff1a; 题解&#xff1a; class Solution {public int missingNumber(int[] nums) {int n nums.length;int total n * (n 1) / 2;int arrSum 0;for (int i 0; i < n; i) {arrSum nums[i];}return total - arrSum;} }...

编程日记 2024/7/23 4:38:53

指针！！C语言(第二篇）

目录 一. 数组名的理解 二. 一维数组传参的本质 三. 冒泡排序法 四. 二级指针与指针数组 五. 字符指针变量与数组指针 一. 数组名的理解 在我们对指针有了初步的理解之外&#xff0c;今天我们来掌握一些新的知识就是数组与指针&#xff0c;第一个对数组名的了解&#xff…...

编程日记 2024/7/23 4:36:51

AIGC-ToonCrafter: Generative Cartoon Interpolation

论文:https://arxiv.org/pdf/2405.17933 代码:https://doubiiu.github.io/projects/ToonCrafter 给定首尾帧&#xff0c;生成逼真生动的动画 MOTIVATION Traditional methods which implicitly assume linear motion and the absence of complicated phenomena like disoccl…...

编程日记 2024/7/23 4:34:50

牛奶供应（三）

一个字贪&#xff0c;第一天&#xff0c;只能选择制作方式&#xff0c;后面的每一天&#xff0c;在<今天制作>与<前期存储>之间取更优解 例如样例&#xff1a;100 5&#xff0c;200 5&#xff0c;90 20&#xff0c;存储成本为10 第1天&#xff1a; 一定是制作&…...

编程日记 2024/7/23 4:32:48

首批通过 | 百度通过中国信通院H5端人脸识别安全能力评估工作

2024年5月&#xff0c;中国信息通信研究院人工智能研究所依托中国人工智能产业发展联盟安全治理委员会&#xff08;AIIA&#xff09;、“可信人脸应用守护计划”及多家企业代表共同开展《H5端人脸识别线上身份认证安全能力要求及评估方法》的编制工作&#xff0c;并基于该方法开…...

编程日记 2024/7/23 4:26:43

JVM---对象是否存活及被引用的状态

1.如何判断对象是否存活 1.1 引用计数算法 概念&#xff1a;在对象头部增加一个引用计数器,每当有一个地方引用它时&#xff0c;计数器值就加一&#xff1b;当引用失效时&#xff0c;计数器值就减一&#xff1b;任何时刻计数器为零的对象就是不可能再被使用的。 优点&#xff1…...

编程日记 2024/7/23 4:22:39

科研绘图系列：R语言分割小提琴图（Split-violin）

介绍 分割小提琴图（Split-violin plot）是一种数据可视化工具，它结合了小提琴图（violin plot）和箱线图（box plot）的特点。小提琴图是一种展示数据分布的图形，它通过在箱线图的两侧添加曲线来表示数据的密度分布，曲线的宽度表示数据点的密度。而分割小提琴图则是将小提…...

编程日记 2024/7/23 4:20:37

WEB前端09-前端服务器搭建(Node.js/nvm/npm)

前端服务器的搭建 在本文中&#xff0c;我们将介绍如何安装和配置 nvm&#xff08;Node Version Manager&#xff09;以方便切换不同版本的 Node.js&#xff0c;以及如何设置 npm&#xff08;Node Package Manager&#xff09;使用国内镜像&#xff0c;并搭建一个简单的前端服…...

编程日记 2024/7/23 4:18:34

ASP.NET Core在启动过程中使用数据库实例的几种方式

ASP.NET Core项目启动过程中若要调用SqlSugarClient实例操作数据库数据&#xff08;假设操作函数如下&#xff09;&#xff0c;特此记录以下几种方式&#xff1a; public class PublicDataBuffer {public static List<EnvironmentRecord> DataBuffer new List<Envir…...

编程日记 2024/7/23 4:16:33

AndroidStudio 编辑xml布局文件卡死问题解决

之前项目编写的都是正常&#xff0c;升级AndroidStudio后编辑布局文件就卡死&#xff0c;还以为是AndroidStudio文件。 其实不然&#xff0c;我给整个项目增加了版权声明。所以全部跟新后&#xff0c;布局文件也增加了版权声明。估计AndroidStudio在 解析布局文件时候因为有版…...

编程日记 2024/7/23 4:14:31

使用 PVE 自签 CA 证书签发新证书

前言 PVE 安装时会自动创建一个有效期 10 年的 CA 证书, 我们可以利用这个 CA 证书给虚拟机中的 Web 应用签发新的 TLS 证书用于提供 HTTPS 服务. 下面以 PVE 虚拟机中通过 Docker 跑的一个 雷池 应用为例进行演示. PVE 证书位置 官方文档: https://pve.proxmox.com/wiki/Pr…...

编程日记 2024/7/23 4:13:30

CTF show Web 红包题第六弹

提示 1.不是SQL注入 2.需要找关键源码 思路 进入页面发现是一个登录框&#xff0c;很难让人不联想到SQL注入&#xff0c;但提示都说了不是SQL注入&#xff0c;所以就不往这方面想了 ​ 先查看一下网页源码&#xff0c;发现一段JavaScript代码&#xff0c;有一个关键类ctfs…...

编程新知 2025/9/16 1:45:49

AtCoder 第409​场初级竞赛 A~E题解

A Conflict 【题目链接】 原题链接&#xff1a;A - Conflict 【考点】 枚举 【题目大意】 找到是否有两人都想要的物品。 【解析】 遍历两端字符串&#xff0c;只有在同时为 o 时输出 Yes 并结束程序&#xff0c;否则输出 No。 【难度】 GESP三级 【代码参考】 #i…...

编程新知 2025/7/23 9:09:08

渲染学进阶内容——模型

最近在写模组的时候发现渲染器里面离不开模型的定义，在渲染的第二篇文章中简单的讲解了一下关于模型部分的内容，其实不管是方块还是方块实体，都离不开模型的内容 🧱 一、CubeListBuilder 功能解析 CubeListBuilder 是 Minecraft Java 版模型系统的核心构建器，用于动态创…...

编程新知 2025/7/30 14:13:39

大模型多显卡多服务器并行计算方法与实践指南

一、分布式训练概述 大规模语言模型的训练通常需要分布式计算技术，以解决单机资源不足的问题。分布式训练主要分为两种模式： 数据并行：将数据分片到不同设备，每个设备拥有完整的模型副本 模型并行：将模型分割到不同设备，每个设备处理部分模型计算 现代大模型训练通常结合…...

编程新知 2025/7/23 19:14:14

JVM暂停（Stop-The-World，STW）的原因分类及对应排查方案

JVM暂停（Stop-The-World，STW）的完整原因分类及对应排查方案，结合JVM运行机制和常见故障场景整理而成： 一、GC相关暂停​​ 1. ​​安全点（Safepoint）阻塞​​ ​​现象​​：JVM暂停但无GC日志，日志显示No GCs detected。​​原因​​：JVM等待所有线程进入安全点（如…...

编程新知 2025/8/25 19:36:37

图表类系列各种样式PPT模版分享

图标图表系列PPT模版&#xff0c;柱状图PPT模版&#xff0c;线状图PPT模版&#xff0c;折线图PPT模版&#xff0c;饼状图PPT模版&#xff0c;雷达图PPT模版&#xff0c;树状图PPT模版 图表类系列各种样式PPT模版分享&#xff1a;图表系列PPT模板https://pan.quark.cn/s/20d40aa…...

编程新知 2025/9/13 0:08:57

CRMEB 中 PHP 短信扩展开发：涵盖一号通、阿里云、腾讯云、创蓝

目前已有一号通短信、阿里云短信、腾讯云短信扩展 扩展入口文件 文件目录 crmeb\services\sms\Sms.php 默认驱动类型为&#xff1a;一号通 namespace crmeb\services\sms;use crmeb\basic\BaseManager; use crmeb\services\AccessTokenServeService; use crmeb\services\sms\…...

编程新知 2025/9/12 22:08:06

打手机检测算法AI智能分析网关V4守护公共/工业/医疗等多场景安全应用

一、方案背景​ 在现代生产与生活场景中&#xff0c;如工厂高危作业区、医院手术室、公共场景等&#xff0c;人员违规打手机的行为潜藏着巨大风险。传统依靠人工巡查的监管方式&#xff0c;存在效率低、覆盖面不足、判断主观性强等问题&#xff0c;难以满足对人员打手机行为精…...

编程新知 2025/9/2 6:25:28

上位机开发过程中的设计模式体会(1)：工厂方法模式、单例模式和生成器模式

简介 在我的 QT/C 开发工作中&#xff0c;合理运用设计模式极大地提高了代码的可维护性和可扩展性。本文将分享我在实际项目中应用的三种创造型模式&#xff1a;工厂方法模式、单例模式和生成器模式。 1. 工厂模式 (Factory Pattern) 应用场景 在我的 QT 项目中曾经有一个需…...

编程新知 2025/8/18 3:01:22

门静脉高压——表现

一、门静脉高压表现 00:01 1. 门静脉构成 00:13 组成结构&#xff1a;由肠系膜上静脉和脾静脉汇合构成&#xff0c;是肝脏血液供应的主要来源。淤血后果&#xff1a;门静脉淤血会同时导致脾静脉和肠系膜上静脉淤血&#xff0c;引发后续系列症状。 2. 脾大和脾功能亢进 00:46 …...

编程新知 2025/9/13 17:31:02