当前位置: 首页 > news >正文

AI 绘画Stable Diffusion 研究(十六)SD Hypernetwork详解


大家好,我是风雨无阻。


本期内容:

  • 什么是 Hypernetwork?
  • Hypernetwork 与其他模型的区别?
  • Hypernetwork 原理
  • Hypernetwork 如何下载安装?
  • Hypernetwork 如何使用?

在上一篇文章中,我们详细介绍了 embedding 的定义、作用以及如何安装使用 ,相信看过的朋友都知道,embedding 是属于一种将提示词打包的模型微调技术。感兴趣的朋友,可以前往查看:AI 绘画Stable Diffusion 研究(十五)SD Embedding详解。


其实今天要讲到的 Hypernetwork 和 embedding 甚至和后面我们即将介绍的 Lora 模型一样,也属于一种模型微调技术。


Hypernetwork 其实并不是我们介绍的一个重点知识,我们只需要了解这个微调技术的原理和使用方法即可!


主要有以下原因:

  • Hypernetwork是一个比Lora更早的模型微调技术,现在使用的人数越来越少。

    我们在c站筛选Hypernetwork,只有33个Hypernetwork文件。

在这里插入图片描述


  • Hypernetwork使用效果并不理想,甚至还不如体积只有几k的embeddings文件,但是Hypernetwork的文件体积却可以与lora相提并论,在几十M甚至上百M。

在这里插入图片描述


  • Hypernetwork可以实现的效果,用其他的替代方式几乎都可以实现,比如用embeddings或者用lora。

1、什么是 Hypernetwork?

Hypernetwork 中文名(超网络),最初由stable diffusion 早期使用者 NovelAI开发,它是一个附加到stable diffusion模型的小型神经网络,用于修改其风格。


2、Hypernetwork 与其他模型的区别

  • Hypernetwork VS Checkpoint(大模型)

Checkpoint模型包含生成图像的所有必要信息,我们可以通过其文件大小来识别,Checkpoint 它们的体积范围从 2 GB 到 7 GB不等,Hypernetwork通常低于 200 MB。

​ Hypernetwork无法单独使用,它需要与checkpoint模型配合来生成图像。


  • Hypernetwork VS LoRA模型

    Hypernetwork与LoRA 模型很相似,它们的文件大小相似,通常低于 200MB,都比checkpoint模型小。

    有一个事实是:LoRA 模型比Hypernetwork模型效果更好。


  • Hypernetwork VS Embeddings

    Embeddings是一种称为Textual Inversion”文本反转”的微调方法,它只是定义新的关键字来实现某些样式。与 HypernetworkEmbeddings一样, 不会改变模型Embeddings和Hypernetwork适用于stable diffusion模型的不同部分。

    Embeddings在文本编码器中创建新的嵌入。

    Hypernetwork将一个小型网络插入噪声预测器的cross-attention模块中。


3、Hypernetwork 的下载安装

​ 这里我们以c站下载Hypernetwork 模型为例进行说明。


第一步,浏览器中打开c站,搜索 Hypernetwork

在这里插入图片描述


第二步,选择喜欢的 Hypernetwork模型,下载即可

我们这里以下载这个 Hypernetwork模型演示,如下:

在这里插入图片描述


下载完成,得到waterElemental_10.pt 文件


第三步,将这个模型文件拷贝到 \sd-webui-aki-v4.2\models\hypernetworks 目录

\sd-webui-aki-v4.2\models\hypernetworks

在这里插入图片描述

重新启动 stable diffusion 使其生效。


4、Hypernetwork 的使用

Hypernetwork的使用方式与Embeddings 类似,区别是 Hypernetwork 用在正向提示词中,而Embeddings 是用在反向提示词中。


我们的按钮使用的 Hypernetwork 模型是:

Water Elemental(水元素)

Water Elemental(水元素)是一个独特的超网络,可以将任何东西变成水!

在主题之前使用短语water elementa"可以将此超网络与Stable Diffusion v1.5结合使用,更改超网络权重以调整水效果。


(1)、设置正向提示词

water elemental woman walking across a busy street 

(2)、选择 Water Elemental Hypernetwork 模型
在这里插入图片描述


选择 Water Elemental Hypernetwork 模型后,在正向提示词里面会自动添加:

在这里插入图片描述


(3)、设置参数

  • 采样算法:DPM++2M Karras
  • 迭代步数:15
  • CFG Scale: 7

在这里插入图片描述


(4)、点击按钮, 效果如下:

在这里插入图片描述


好了,今天的内容就分享到这里,后面我们将持续分享有关 Stable Diffusion 的干货,喜欢的朋友请关注我,我们下次再见。


相关文章:

AI 绘画Stable Diffusion 研究(十六)SD Hypernetwork详解

大家好,我是风雨无阻。 本期内容: 什么是 Hypernetwork?Hypernetwork 与其他模型的区别?Hypernetwork 原理Hypernetwork 如何下载安装?Hypernetwork 如何使用? 在上一篇文章中,我们详细介绍了 …...

2023.8 -java - 继承

继承就是子类继承父类的特征和行为,使得子类对象(实例)具有父类的实例域和方法,或子类从父类继承方法,使得子类具有父类相同的行为。 继承的特性 子类拥有父类非 private 的属性、方法。 子类可以拥有自己的属性和方法…...

前端面试:【移动端开发】PWA、Hybrid App和Native App的比较

在移动端开发中,开发者有多种选择,包括渐进式Web应用(PWA),混合应用(Hybrid App)和原生应用(Native App)。每种方法都有其独特的优势和适用场景。本文将对它们进行比较&a…...

picGo+gitee+typora设置图床

picGogiteetypora设置图床 picGogitee设置图床下载picGo软件安装picGo软件gitee操作在gitee中创建仓库在gitee中配置私人令牌 配置picGo在插件设置中搜索gitee插件并进行下载 TyporapicGo设置Typora 下载Typora进行图像设置 picGogitee设置图床 当我了解picGogitee可以设置图床…...

[JavaWeb]【十三】web后端开发-原理篇

目录 一、SpringBoot配置优先级 1.1 配置优先级比较 1.2 java系统属性和命令行参数 1.3 打包运行jar 1.4 综合优先级​编辑 二、Bean管理 2.1 获取bean 2.2 bean作用域 2.2.1 五种作用域 2.2.2 配置作用域 2.3 第三方bean 2.3.1 编写公共配置类 三、SpringBoot原理 …...

服务注册中心 Eureka

服务注册中心 Eureka Spring Cloud Eureka 是 Netflix 公司开发的注册发现组件,本身是一个基于 REST 的服务。提供注册与发现,同时还提供了负载均衡、故障转移等能力。 Eureka 有 3 个角色 服务中心(Eureka Server):…...

SpringIoC组件的高级特性

目录 一、Bean组件的周期与作用域 二、FactoryBean接口 一、Bean组件的周期与作用域 1.1 Bean组件的生命周期 什么是Bean的周期方法 我们可以在组件类中定义方法,然后当IoC容器实例化和销毁组件对象的时候进行调用!这两个方法我们成为生命周期方法&a…...

Linux--进程地址空间

1.线程地址空间 所谓进程地址空间(process address space),就是从进程的视角看到的地址空间,是进程运行时所用到的虚拟地址的集合。 简单地说,进程就是内核数据结构和代码和本身的代码和数据,进程本身不能…...

ISIS路由协议

骨干区域与非骨干区域 凡是由级别2组建起来的邻居形成骨干区域;级别1就在非骨干区域,骨干区域有且只有一个,并且需要连续,ISIS在IP环境下目前不支持虚链路。 路由器级别 L1路由器只能建立L1的邻居;L2路由器只能建立L…...

论文解读:Bert原理深入浅出

摘取于https://www.jianshu.com/p/810ca25c4502 任务1:Masked Language Model Maked LM 是为了解决单向信息问题,现有的语言模型的问题在于,没有同时利用双向信息,如 ELMO 号称是双向LM,但实际上是两个单向 RNN 构成的…...

共享内存 windows和linux

服务端&#xff0c;即写入端 #include <iostream> #include <string.h> #define BUF_SIZE 1024 #ifdef _WIN32 #include <windows.h> #define SHARENAME L"shareMemory" HANDLE g_MapFIle; LPVOID g_baseBuffer; #else #define SHARENAME "sh…...

一个mongodb问题分析

mongodb问题分析 现状 表的个数&#xff1a; 生产上常用的表就10来个。 sharding cluster replica set方式部署&#xff1a; 9个shard server&#xff0c; 每个shard server 1主2从&#xff0c; 大量数据写入时或对大表创建索引时&#xff0c;可能有主从复制延迟问题。实…...

Vue3.0极速入门- 目录和文件说明

目录结构 以下文件均为npm create helloworld自动生成的文件目录结构 目录截图 目录说明 目录/文件说明node_modulesnpm 加载的项目依赖模块src这里是我们要开发的目录&#xff0c;基本上要做的事情都在这个目录里assets放置一些图片&#xff0c;如logo等。componentsvue组件…...

RabbitMQ---订阅模型-Direct

1、 订阅模型-Direct • 有选择性的接收消息 • 在订阅模式中&#xff0c;生产者发布消息&#xff0c;所有消费者都可以获取所有消息。 • 在路由模式中&#xff0c;我们将添加一个功能 - 我们将只能订阅一部分消息。 例如&#xff0c;我们只能将重要的错误消息引导到日志文件…...

Django REST framework实现api接口

drf 是Django REST framework的简称&#xff0c;drf 是基于django的一个api 接口实现框架&#xff0c;REST是接口设计的一种风格。 一、 安装drf pip install djangorestframework pip install markdown # Markdown support for the browsable API. pip install …...

4.19 20

服务端没有 listen&#xff0c;客户端发起连接建立&#xff0c;会发生什么&#xff1f; 服务端如果只 bind 了 IP 地址和端口&#xff0c;而没有调用 listen 的话&#xff0c;然后客户端对服务端发起了连接建立&#xff0c;服务端会回 RST 报文。 没有 listen&#x…...

(动态规划) 剑指 Offer 10- II. 青蛙跳台阶问题 ——【Leetcode每日一题】

❓剑指 Offer 10- II. 青蛙跳台阶问题 难度&#xff1a;简单 一只青蛙一次可以跳上1级台阶&#xff0c;也可以跳上2级台阶。求该青蛙跳上一个 n 级的台阶总共有多少种跳法。 答案需要取模 1e97&#xff08;1000000007&#xff09;&#xff0c;如计算初始结果为&#xff1a;1…...

物联网WIFI 模块AT指令版本七大元凶

前言 目前我们讨论的这个问题&#xff0c;并不是说WIFI方案不具备以应的功能。而是指在同一个AT固件下可能存在的问题。由于各厂商AT指令的开发深度不同&#xff0c;导致各厂商之间的AT指令差异很大。我总结了一些问题&#xff0c;可能是导致目前AT指令不好用元凶。 底层库问题…...

Qt 正则(数据格式校验、替换指定格式数据、获取匹配数据)

头文件引用 #include <QRegExp>初始化QRegExp实列 QRegExp re("^\\d{1,3},\\d{1,3}$");数据格式验证 QRegExp re("^\\d{1,3},\\d{1,3}$"); QString msg "12,33"; if(re.exactMatch()){// 验证通过 }else{//验证不通过 }替换数…...

网络层协议——ip

文章目录 1. 网络层2. IP协议2.1 协议头格式 3. 网段划分3.1 特殊的IP地址3.2 IP地址的数量限制 4. 私有IP地址和公网IP地址 1. 网络层 在应用层解决了如何读取完整报文、序列化反序列化、协议处理问题。在传输层解决了可靠性问题。那么网络层IP的作用是在复杂的网络环境中确定…...

别再只用BigGantt了!这个免费JIRA甘特图插件Gantt Suite,配置简单速度快

轻量高效的JIRA甘特图解决方案&#xff1a;Gantt Suite全面评测与迁移指南 在项目管理领域&#xff0c;甘特图作为可视化排期的黄金标准已有百年历史。然而当这一经典工具遇上现代敏捷开发平台JIRA时&#xff0c;许多团队却陷入了两难境地——要么忍受BigGantt等老牌插件的臃肿…...

从RIPv2到RIPng:IPv6时代路由协议的演进与实战部署

1. 从RIPv2到RIPng&#xff1a;为什么IPv6需要新的路由协议&#xff1f; 第一次在实验室配置RIPv2时&#xff0c;我盯着那些IPv4地址看了整整三天。直到某天客户突然要求支持IPv6&#xff0c;才发现这个诞生于1988年的老协议已经跟不上时代——就像用传呼机收发4K视频&#xff…...

抖音下载器底层架构解析:策略模式与异步编排的高性能实现

抖音下载器底层架构解析&#xff1a;策略模式与异步编排的高性能实现 【免费下载链接】douyin-downloader A practical Douyin downloader for both single-item and profile batch downloads, with progress display, retries, SQLite deduplication, and browser fallback su…...

Cursor Pro 终极破解指南:如何永久免费使用AI编程神器

Cursor Pro 终极破解指南&#xff1a;如何永久免费使用AI编程神器 【免费下载链接】cursor-free-vip [Support 0.45]&#xff08;Multi Language 多语言&#xff09;自动注册 Cursor Ai &#xff0c;自动重置机器ID &#xff0c; 免费升级使用Pro 功能: Youve reached your tri…...

基于ChatGPT与Telethon的Telegram频道智能评论机器人开发指南

1. 项目概述与核心价值 如果你在运营Telegram频道&#xff0c;或者需要管理多个社群&#xff0c;肯定遇到过这样的场景&#xff1a;频道里每天都有大量新消息&#xff0c;你想保持活跃度、引导讨论&#xff0c;但手动回复每一条消息不仅耗时耗力&#xff0c;还很难保证回复的质…...

如何快速掌握Unitree Go2机器人ROS2开发:面向初学者的完整教程

如何快速掌握Unitree Go2机器人ROS2开发&#xff1a;面向初学者的完整教程 【免费下载链接】go2_ros2_sdk Unofficial ROS2 SDK support for Unitree GO2 AIR/PRO/EDU 项目地址: https://gitcode.com/gh_mirrors/go/go2_ros2_sdk Unitree Go2 ROS2 SDK是一个强大的开源项…...

Steam SDK上传游戏包体避坑指南:路径、验证码与BuildID那些事儿

Steam SDK上传游戏包体避坑指南&#xff1a;路径、验证码与BuildID那些事儿 第一次通过Steam SDK上传游戏包体时&#xff0c;开发者往往会遇到各种意料之外的"坑"。这些看似小问题却可能导致数小时的无效排查。本文将从实战角度&#xff0c;分享那些官方文档没细说但…...

4. 打破ASR技术瓶颈:Whisper-1模型原理、性能与落地实践

1. 引言 语音识别&#xff08;Automatic Speech Recognition, ASR&#xff09;是人工智能领域的核心技术方向之一&#xff0c;其历史可追溯至20世纪50年代贝尔实验室的Audrey系统——这一仅能识别10个英文数字的早期系统&#xff0c;标志着机器理解人类语音的开端。此后半个多…...

Robodyssey机器人教育:从STEM理念到项目实践,点燃孩子科技兴趣

1. 项目概述与核心理念十年前&#xff0c;我在一次行业展会上第一次看到一群孩子围着一个摊位&#xff0c;他们不是在玩现成的玩具&#xff0c;而是聚精会神地调试着自己手里那些由电线、电路板和塑料零件组成的“小怪物”。那个摊位就是Robodyssey。当时我就在想&#xff0c;把…...

ClawRouter:智能流量路由与内容处理工具的设计与实践

1. 项目概述与核心价值 最近在折腾一些网络相关的自动化任务时&#xff0c;发现了一个挺有意思的项目&#xff0c;叫 ClawRouter。乍一看这个名字&#xff0c;可能会联想到“爪子”和“路由器”&#xff0c;感觉像是某种抓取工具和网络设备的结合体。实际上&#xff0c;这个项目…...