当前位置: 首页 > news >正文

FLUX模型,或许这几点你还未曾都了解,最详细的Flux模型介绍(附模型安装包)

当我们还在沉浸在惊叹和体验快手的Kolors模型之时,SD原开发团队组成的“黑森林”出的FLUX模型就袭来了。我们不得不感叹FLUX模型给我们带来的冲击,模型所绘制的画面质感、精细度的确让我们眼前一亮,之前发布的SD3开源模型给我们带来的些许失落感顿时烟消云散。因为FLUX的出现,填补了我们对SD3的些许失望。

接下来,我们借此文跟大家交流下这个近期备受追捧的开源绘画模型FLUX1.0。

模型介绍及下载存放

在我们使用FLUX开源模型之前,需要先将FLUX这个体系的相应生图模型相关的UNET、CLIP和VAE模块用到的模型做下载存放备用。

UNET

与我们之前文章中介绍的“模型体系生图所用的模块”中提到的三个模型模块一样,在FLUX的生图流程中,也需要调用到:UNET、CLIP和VAE这三个模块的模型。我们抛开只能通过API调用的Flux-pro版的不说,就跟大家聊聊本地部署的模型使用。

我们需要先下载好flux的主模型,这里我们主要介绍六种规格的模型供大家尝试,分别是:

● 满血版的flux1-dev.sft,23.8 GB(算力要求高,出图用时长)

https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

● 快速出图版的flux1-schnell.sft,23.8 GB(4步即可出图,质感也只略逊色于满血版)

https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main

● fp8版的flux1-dev-fp8.safetensors,11.9GB(对显存要求不那么高的,建议16G以上,出图相对满血版的更快)

https://huggingface.co/Kijai/flux-fp8/tree/main

● 在Kijai大佬的这个剪枝版的下载链接中,还能下载到flux1-schnell-fp8.safetensors,这个模型,也是官方推出的快速出图版的剪枝模型,也是11.9G。

上述四种模型下载后存放在ComfyUI目录下:

ComfyUI\models\unet\FLUX

● 此外还有Comfy Org版dev模型:

https://huggingface.co/Comfy-Org/flux1-dev/tree/main

● Comfy Org版schnell模型:

https://huggingface.co/Comfy-Org/flux1-schnell/tree/main

其模型下载后,存放在ComfyUI\models\checkpoints目录中,被视为普通的基础模型来调用,它的模型里包含了clip和vae。

对于显存更小的(8G)同学,可以搜索“gguf”这个版本的FLUX模型,对显存算力的需求会更低一点,有兴趣的朋友可以自行尝试。

Flux-dev-gguf:https://huggingface.co/city96/FLUX.1-dev-gguf``GGUF节点存储库:https://github.com/city96/ComfyUI-GGUF

CLIP

将用于CLIP加载器所要调用的模型下载后存放在目录:

ComfyUI\models\clip

下载地址:

https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

VAE

至于FLUX模型,其生态用到的VAE模型ae.sft: 335 MB,下载地址,在官方主模型下载链接中也提供了下载,下载后存放路径为:

ComfyUI\models\vae

https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

FLUX工作流使用要点

FLUX模型,取消了反向提示词的输入,在搭建工作流的时候有需要用到也只需加一个空的文本编辑器节点就好。

此外,CFG值也默认都为1.0即可,如果用到了K采样节点搭建工作流时。

加载器的选择

在FLUX的工作流中使用满血版或半血版,区别在于模型的选择和CLIP加载器的选择,如果你的ComfyUI中没有相应的可选想或节点,那么大概率是你需要更新你的ComfyUI本体了。

半血版,则是将主模型改为fp8的,权重类型为fp8的,clip1也改为fp8的t5模型,出图快,效果不会逊色多少于满血版的。

满血版,则是将主模型改为dev的,权重类型为默认的,clip1改为fp16的t5模型。

引导值

这个引导值(guidance),大家可能不太注意,这个值对于画面画风是有影响的。也就是模型的艺术表现力方面,默认3.5即可;值越小则艺术感越强,用于风格非写实时用(参考值1.5~2);值越大,则细节越多,出现更锐化清晰些(参考值4.5)。大家在不同画风绘制的时候可以加以尝试,锁定种子值后,调整这个值,自行体验。

采样器与调度器的选择组合

这里我们借用一些博主测试后的体验小结,跟大家分享推荐使用五种采样器与调度器的搭配组合:

ipdmn+simple

uni_pc_bh2+simple

euler+beta

euler+simple

dpmpp+sgm_uniform

步数

对于出图的步数,我们也做过尝试与比对,更多的步数时间会更多但细节表现也会更好些。我们可以根据需要,适当提高。

常规模型如flux1-dev.sft和flux1-dev-fp8.safetensors的比对

对于快速出图模型flux1-schnell.sft,官方默认是4步,但不妨碍我们尝试更多步。

相关资源:

  最后篇末我们也会分享目前我们用过的一些FLUX相关的工作流,供大家参考与学习,主要包含:文生图、图生图、局部重绘、反推提示词图生图、带LoRA的工作流,这些是目前FLUX生态中相对成熟的可用的部分,当然最近也出了Controlnet和IPA的一些模型和用法,我们还没来及测试和体验,暂让子弹飞一会儿。相信不久的将来,包括各种LoRA、IPAdapter、InstantID、Controlnet...等生态也会慢慢更加丰富起来。  今天文章中的说明图像、模型文件和工作流文件,我们都分享在了云盘,需要的小伙伴直接扫码获取

相关文章:

FLUX模型,或许这几点你还未曾都了解,最详细的Flux模型介绍(附模型安装包)

当我们还在沉浸在惊叹和体验快手的Kolors模型之时,SD原开发团队组成的“黑森林”出的FLUX模型就袭来了。我们不得不感叹FLUX模型给我们带来的冲击,模型所绘制的画面质感、精细度的确让我们眼前一亮,之前发布的SD3开源模型给我们带来的些许失落…...

RAG(Retrieval-Augmented Generation)检索增强生成技术基础了解学习与实践

RAG(Retrieval-Augmented Generation)是一种结合了信息检索(Retrieval)和生成模型(Generation)的技术,旨在提高生成模型的性能和准确性。RAG 技术通过在生成过程中引入外部知识库,使…...

基于SpringBoot实现高性能缓存组件

1. 简介 为了体现我们的实力,首先我们要有造轮子的能力。这意味着我们不仅要熟练掌握现有的技术栈和框架,还要具备深厚的技术功底。通过自主设计和实现关键组件,如高性能缓存系统,我们能够深入理解技术背后的原理,掌握…...

【深度学习基础模型】递归神经网络 (Recurrent Neural Networks, RNN) 详细理解并附实现代码。

【深度学习基础模型】递归神经网络 (Recurrent Neural Networks, RNN) 【深度学习基础模型】递归神经网络 (Recurrent Neural Networks, RNN) 文章目录 【深度学习基础模型】递归神经网络 (Recurrent Neural Networks, RNN)1.算法原理介绍:递归神经网络 (Recurrent…...

python全栈学习记录(十九) hashlib、shutil和tarfile、configparser

hashlib、shutil和tarfile、configparser 文章目录 hashlib、shutil和tarfile、configparser一、hashlib二、shutil和tarfile1.shutil2.tarfile 三、configparser 一、hashlib hash是一种算法,该算法接受传入的内容,经过运算得到一串hash值。如果把hash…...

RL进阶(一):变分推断、生成模型、SAC

参考资料: 视频课程《CS285: Deep Reinforcement Learning, Decision Making, and Control》第18讲、第19讲,Sergey Levine,UCerkeley课件PDF下载:https://rail.eecs.berkeley.edu/deeprlcourse/主要内容:变分推断、生成模型、以及Soft Actor-Critic。变分推断在model-bas…...

WPF 绑定 DataGrid 里面 Button点击事件 TextBlock 双击事件

TextBlock双击事件 <DataGridTemplateColumn Width"*" Header"内标"><DataGridTemplateColumn.CellTemplate><DataTemplate><Grid><TextBlockBackground"Transparent"Tag"{Binding InternalId}"Text"…...

828华为云征文|华为云Flexus云服务器X实例Windows系统部署一键短视频生成AI工具moneyprinter

在追求创新与效率并重的今天&#xff0c;我们公司迎难而上&#xff0c;决定自主搭建一款短视频生成AI工具——MoneyPrinter&#xff0c;旨在为市场带来前所未有的创意风暴。面对服务器选择的难题&#xff0c;我们经过深思熟虑与多方比较&#xff0c;最终将信任票投给了华为云Fl…...

非标精密五金加工的技术要求

非标精密五金加工在现代制造业中占据着重要地位&#xff0c;其对于产品的精度、质量和性能有着较高的要求。以下是时利和整理的其具体的技术要求&#xff1a; 一、高精度的加工设备 非标精密五金加工需要先进的加工设备来保证加工精度。例如&#xff0c;高精度的数控机床是必不…...

新手小白怎么通过云服务器跑pytorch?

新手小白怎么通过云服务器跑pytorch&#xff1f;安装PyTorch的步骤可以根据不同的操作系统和需求有所差异&#xff0c;通过云服务器运行PyTorch的过程主要包括选择GPU云服务器平台、配置服务器环境、部署和运行PyTorch模型、优化性能等步骤。具体步骤如下&#xff1a; 第一步&a…...

Spring 全家桶使用教程

✅作者简介&#xff1a;2022年博客新星 第八。热爱国学的Java后端开发者&#xff0c;修心和技术同步精进。 &#x1f34e;个人主页&#xff1a;Java Fans的博客 &#x1f34a;个人信条&#xff1a;不迁怒&#xff0c;不贰过。小知识&#xff0c;大智慧。 &#x1f49e;当前专栏…...

Spark SQL性能优化高频面试题及答案

目录 高频面试题及答案1. 如何通过分区&#xff08;Partitioning&#xff09;优化Spark SQL查询性能&#xff1f;2. 什么是数据倾斜&#xff08;Data Skew&#xff09;&#xff1f;如何优化&#xff1f;3. 如何使用广播&#xff08;Broadcast&#xff09;优化Join操作&#xff…...

云原生链路观测平台 openobserve + fluent-bit,日志收集

grpc-opentracing https://github.com/grpc-ecosystem/grpc-opentracing openobserve fluent-bit 为啥会选择这个组合 一个 rust 写的一个是c写的&#xff0c;性能和内存方面不用担心&#xff0c;比java 那套好太多了 openobserve 文档 &#xff1a;https://openobserve.ai/…...

Android 车载应用开发指南 - CarService 详解(下)

车载应用正在改变人们的出行体验。从导航到娱乐、从安全到信息服务&#xff0c;车载应用的开发已成为汽车智能化发展的重要组成部分。而对于开发者来说&#xff0c;如何将自己的应用程序无缝集成到车载系统中&#xff0c;利用汽车的硬件和服务能力&#xff0c;是一个极具挑战性…...

【Linux网络 —— 网络基础概念】

Linux网络 —— 网络基础概念 计算机网络背景网络发展 初始协议协议分层协议分层的好处 OSI七层模型TCP/IP五层(或四层)模型 再识协议为什么要有TCP/IP协议&#xff1f;什么是TCP/IP协议&#xff1f;TCP/IP协议与操作系统的关系所以究竟什么是协议&#xff1f; 网络传输基本流程…...

el-form动态标题和输入值,并且最后一个输入框不校验

需求&#xff1a;给了固定的label&#xff0c;叫xx单位&#xff0c;要输入单位的信息&#xff0c;但是属性名称都一样的&#xff0c;UI画图也是表单的形式&#xff0c;所以改为动态添加的形式&#xff0c;实现方式也很简单&#xff0c;循环就完事了&#xff0c;连着表单校验也动…...

一,初始 MyBatis-Plus

一&#xff0c;初始 MyBatis-Plus 文章目录 一&#xff0c;初始 MyBatis-Plus1. MyBatis-Plus 的概述2. 入门配置第一个 MyBatis-Plus 案例3. 补充说明&#xff1a;3.1 通用 Mapper 接口介绍3.1.1 Mapper 接口的 “增删改查”3.1.1.1 查询所有记录3.1.1.2 插入一条数据3.1.1.3 …...

安卓13删除下拉栏中的关机按钮版本2 android13删除下拉栏关机按钮

总纲 android13 rom 开发总纲说明 文章目录 1.前言2.问题分析3.代码分析4.代码修改5.编译6.彩蛋1.前言 顶部导航栏下拉可以看到,底部这里有个设置按钮,点击可以进入设备的设置页面,这里我们将更改为删除,不同用户通过这个地方进入设置。我们之前写过一个文章也是一样的删除…...

快递物流单号识别API接口代码

官网&#xff1a;快递鸟 API参数 一、接口描述/说明 &#xff08;1&#xff09;该接口仅对运单号做出识别&#xff0c;识别可能属于的一家或多家快递公司。 &#xff08;2&#xff09;接口并不返回物流轨迹&#xff0c;用户可结合即时查询接口和订阅查询接口完成轨迹查询、订…...

AI时代的程序员:如何保持和提升核心竞争力

1.引言 随着AIGC&#xff08;如 ChatGPT、Midjourney、Claude 等&#xff09;大语言模型的快速崛起&#xff0c;AI辅助编程工具逐渐成为程序员工作的重要组成部分。这一转变不仅改变了工作方式&#xff0c;更深刻影响了程序员的职业角色和技术路径。有人担心&#xff0c;AI将取…...

大型活动交通拥堵治理的视觉算法应用

大型活动下智慧交通的视觉分析应用 一、背景与挑战 大型活动&#xff08;如演唱会、马拉松赛事、高考中考等&#xff09;期间&#xff0c;城市交通面临瞬时人流车流激增、传统摄像头模糊、交通拥堵识别滞后等问题。以演唱会为例&#xff0c;暖城商圈曾因观众集中离场导致周边…...

【Redis技术进阶之路】「原理分析系列开篇」分析客户端和服务端网络诵信交互实现(服务端执行命令请求的过程 - 初始化服务器)

服务端执行命令请求的过程 【专栏简介】【技术大纲】【专栏目标】【目标人群】1. Redis爱好者与社区成员2. 后端开发和系统架构师3. 计算机专业的本科生及研究生 初始化服务器1. 初始化服务器状态结构初始化RedisServer变量 2. 加载相关系统配置和用户配置参数定制化配置参数案…...

Auto-Coder使用GPT-4o完成:在用TabPFN这个模型构建一个预测未来3天涨跌的分类任务

通过akshare库&#xff0c;获取股票数据&#xff0c;并生成TabPFN这个模型 可以识别、处理的格式&#xff0c;写一个完整的预处理示例&#xff0c;并构建一个预测未来 3 天股价涨跌的分类任务 用TabPFN这个模型构建一个预测未来 3 天股价涨跌的分类任务&#xff0c;进行预测并输…...

爬虫基础学习day2

# 爬虫设计领域 工商&#xff1a;企查查、天眼查短视频&#xff1a;抖音、快手、西瓜 ---> 飞瓜电商&#xff1a;京东、淘宝、聚美优品、亚马逊 ---> 分析店铺经营决策标题、排名航空&#xff1a;抓取所有航空公司价格 ---> 去哪儿自媒体&#xff1a;采集自媒体数据进…...

自然语言处理——循环神经网络

自然语言处理——循环神经网络 循环神经网络应用到基于机器学习的自然语言处理任务序列到类别同步的序列到序列模式异步的序列到序列模式 参数学习和长程依赖问题基于门控的循环神经网络门控循环单元&#xff08;GRU&#xff09;长短期记忆神经网络&#xff08;LSTM&#xff09…...

ArcGIS Pro制作水平横向图例+多级标注

今天介绍下载ArcGIS Pro中如何设置水平横向图例。 之前我们介绍了ArcGIS的横向图例制作&#xff1a;ArcGIS横向、多列图例、顺序重排、符号居中、批量更改图例符号等等&#xff08;ArcGIS出图图例8大技巧&#xff09;&#xff0c;那这次我们看看ArcGIS Pro如何更加快捷的操作。…...

【无标题】路径问题的革命性重构:基于二维拓扑收缩色动力学模型的零点隧穿理论

路径问题的革命性重构&#xff1a;基于二维拓扑收缩色动力学模型的零点隧穿理论 一、传统路径模型的根本缺陷 在经典正方形路径问题中&#xff08;图1&#xff09;&#xff1a; mermaid graph LR A((A)) --- B((B)) B --- C((C)) C --- D((D)) D --- A A -.- C[无直接路径] B -…...

为什么要创建 Vue 实例

核心原因:Vue 需要一个「控制中心」来驱动整个应用 你可以把 Vue 实例想象成你应用的**「大脑」或「引擎」。它负责协调模板、数据、逻辑和行为,将它们变成一个活的、可交互的应用**。没有这个实例,你的代码只是一堆静态的 HTML、JavaScript 变量和函数,无法「活」起来。 …...

手机平板能效生态设计指令EU 2023/1670标准解读

手机平板能效生态设计指令EU 2023/1670标准解读 以下是针对欧盟《手机和平板电脑生态设计法规》(EU) 2023/1670 的核心解读&#xff0c;综合法规核心要求、最新修正及企业合规要点&#xff1a; 一、法规背景与目标 生效与强制时间 发布于2023年8月31日&#xff08;OJ公报&…...

保姆级【快数学会Android端“动画“】+ 实现补间动画和逐帧动画!!!

目录 补间动画 1.创建资源文件夹 2.设置文件夹类型 3.创建.xml文件 4.样式设计 5.动画设置 6.动画的实现 内容拓展 7.在原基础上继续添加.xml文件 8.xml代码编写 (1)rotate_anim (2)scale_anim (3)translate_anim 9.MainActivity.java代码汇总 10.效果展示 逐帧…...