AI 绘画Stable Diffusion 研究（十六）SD Hypernetwork详解

大家好，我是风雨无阻。

本期内容：

• 什么是 Hypernetwork？
• Hypernetwork 与其他模型的区别？
• Hypernetwork 原理
• Hypernetwork 如何下载安装？
• Hypernetwork 如何使用？

在上一篇文章中，我们详细介绍了 embedding 的定义、作用以及如何安装使用 ，相信看过的朋友都知道，embedding 是属于一种将提示词打包的模型微调技术。感兴趣的朋友，可以前往查看：AI 绘画Stable Diffusion 研究（十五）SD Embedding详解。

其实今天要讲到的 Hypernetwork 和 embedding 甚至和后面我们即将介绍的 Lora 模型一样，也属于一种模型微调技术。

Hypernetwork 其实并不是我们介绍的一个重点知识，我们只需要了解这个微调技术的原理和使用方法即可！

主要有以下原因：

• Hypernetwork是一个比Lora更早的模型微调技术，现在使用的人数越来越少。

  我们在c站筛选Hypernetwork，只有33个Hypernetwork文件。

• Hypernetwork使用效果并不理想，甚至还不如体积只有几k的embeddings文件，但是Hypernetwork的文件体积却可以与lora相提并论，在几十M甚至上百M。

• Hypernetwork可以实现的效果，用其他的替代方式几乎都可以实现，比如用embeddings或者用lora。

1、什么是 Hypernetwork？

Hypernetwork 中文名（超网络），最初由stable diffusion 早期使用者 NovelAI开发，它是一个附加到stable diffusion模型的小型神经网络，用于修改其风格。

2、Hypernetwork 与其他模型的区别

• Hypernetwork VS Checkpoint（大模型）

Checkpoint模型包含生成图像的所有必要信息，我们可以通过其文件大小来识别，Checkpoint 它们的体积范围从 2 GB 到 7 GB不等，Hypernetwork通常低于 200 MB。

​ Hypernetwork无法单独使用，它需要与checkpoint模型配合来生成图像。

• Hypernetwork VS LoRA模型

  Hypernetwork与LoRA 模型很相似，它们的文件大小相似，通常低于 200MB，都比checkpoint模型小。

  有一个事实是：LoRA 模型比Hypernetwork模型效果更好。

  
  

• Hypernetwork VS Embeddings

  Embeddings是一种称为Textual Inversion”文本反转”的微调方法，它只是定义新的关键字来实现某些样式。与 HypernetworkEmbeddings一样， 不会改变模型Embeddings和Hypernetwork适用于stable diffusion模型的不同部分。

  Embeddings在文本编码器中创建新的嵌入。

  Hypernetwork将一个小型网络插入噪声预测器的cross-attention模块中。

3、Hypernetwork 的下载安装

​ 这里我们以c站下载Hypernetwork 模型为例进行说明。

​ 第一步，浏览器中打开c站，搜索 Hypernetwork

第二步，选择喜欢的 Hypernetwork模型，下载即可

我们这里以下载这个 Hypernetwork模型演示，如下：

下载完成，得到waterElemental_10.pt 文件

第三步，将这个模型文件拷贝到 \sd-webui-aki-v4.2\models\hypernetworks 目录

\sd-webui-aki-v4.2\models\hypernetworks

重新启动 stable diffusion 使其生效。

4、Hypernetwork 的使用

Hypernetwork的使用方式与Embeddings 类似，区别是 Hypernetwork 用在正向提示词中，而Embeddings 是用在反向提示词中。

我们的按钮使用的 Hypernetwork 模型是：

Water Elemental(水元素)

Water Elemental(水元素)是一个独特的超网络，可以将任何东西变成水!

在主题之前使用短语water elementa"可以将此超网络与Stable Diffusion v1.5结合使用，更改超网络权重以调整水效果。

(1)、设置正向提示词

water elemental woman walking across a busy street 

(2)、选择 Water Elemental Hypernetwork 模型

选择 Water Elemental Hypernetwork 模型后，在正向提示词里面会自动添加：

(3)、设置参数

• 采样算法：DPM++2M Karras
• 迭代步数：15
• CFG Scale: 7

（4）、点击按钮， 效果如下：

好了，今天的内容就分享到这里，后面我们将持续分享有关 Stable Diffusion 的干货，喜欢的朋友请关注我，我们下次再见。