【AI辅助设计】没错！训练FLUX LoRA就这么简单！

前言

得益于开源社区的力量，在各位大佬的努力下，现在16G VRAM的家用电脑也可以训练FLUX的LoRA了 👏。
今天我使用fluxgym这个方法，训练LoRA，并记录过程。

篇幅有限，这里就不一一展示了，有需要的朋友可以点击下方的链接进行领取！

CSDN官方AI绘画资料合集，点击这里快速获取！

fluxgym

由cocktail peanut 整合开发的一个易用的前端LoRA训练web应用，其背后也是使用Kohya Scripts。有两大优点：

• 显著降低显存占用。支持12GB、16GB、20GB显卡；
• 超级简单的用户界面和流程；

但目前仅支持NV的卡，项目地址：https://github.com/cocktailpeanut/fluxgym

得益于其优秀的易用性，X上越来越多的推友，都用这个应用来训练LoRA。

安装fluxgym

篇幅有限，这里就不一一展示了，有需要的朋友可以点击下方的链接进行领取！

CSDN官方AI绘画资料合集，点击这里快速获取！

克隆项目

首先克隆 Fluxgym 和 kohya-ss/sd-scripts：

git clone https://github.com/cocktailpeanut/fluxgym``cd fluxgym``git clone -b sd3 https://github.com/kohya-ss/sd-scripts

您的文件夹结构将如下所示：

/fluxgym`  `app.py`  `requirements.txt`  `/sd-scripts

创建conda环境

官方使用的是venv虚拟环境，我这里就直接使用conda环境来安装了。

conda create -n fluxgym python=3.10

激活环境

conda activate fluxgym

进入sd-scripts，并安装依赖

cd sd-scripts``pip install -r requirements.txt

然后回到根目录，在安装依赖：

cd ..``pip install -r requirements.txt

最后，安装 pytorch Nightly：

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu121

篇幅有限，这里就不一一展示了，有需要的朋友可以点击下方的链接进行领取！

CSDN官方AI绘画资料合集，点击这里快速获取！

下载模型

其实跟fp16的FLUX模型组一样的，如果已经下载过，直接复制相关模型文件到相关目录即可。

首先，在foder下下载以下模型models/clip：

• https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/clip_l.safetensors?download=true

• https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/t5xxl_fp16.safetensors?download=true

其次，下载文件夹下的以下模型models/vae：

• https://huggingface.co/cocktailpeanut/xulf-dev/resolve/main/ae.sft?download=true

最后下载models/unet文件夹下的以下模型：

• https://huggingface.co/cocktailpeanut/xulf-dev/resolve/main/flux1-dev.sft?download=true

结果文件结构如下：

/models`  `/clip`    `clip_l.safetensors`    `t5xxl_fp16.safetensors`  `/unet`    `flux1-dev.sft`  `/vae`    `ae.sft``/sd-scripts``/outputs``/env``app.py``requirements.txt``...

运行

返回根fluxgym文件夹，激活 caonda环境，运行：

python app.py  

训练过程

准备数据集

这次的目标是训练一个等距视角的室内模型icon。获取素材的过程，大家可以使用Midjourney，质量可控，方便快捷~😂

生成10到20张图就可以作为素材输入了。

将图片一一下载好，名字没关系，fluxgym后续可以处理。

尺寸就使用Midjourney生成的1024x1024吧，其实可以放大后再保存，这样训练出来的模型，质量更好。
篇幅有限，这里就不一一展示了，有需要的朋友可以点击下方的链接进行领取！

CSDN官方AI绘画资料合集，点击这里快速获取！

训练信息

这里制作简单演示哈~。按照图片所示，输入基础的训练参数，其他先默认吧：

1. LoRA名称

2. 触发词

3. 上传图片素材

4. 使用Florence反推打标。这个真的好用，免去了打标的步骤

值得一提的是，Florence打标必须点赞，又方便又好~👍

使用打标时，需要另外下载模型，这里需要等待一段时间。

反推得还是很准确的。

开始训练

一切就绪后，就可以点击开始训练了。

耐心等待中 ☕️

显存去到了接近20GB

最终用时36分钟。

篇幅有限，这里就不一一展示了，有需要的朋友可以点击下方的链接进行领取！

CSDN官方AI绘画资料合集，点击这里快速获取！

LoRA效果

训练好的LoRA模型就在根目录的output文件夹中。时间关系，我就不做xy图了，直接用最后产出的LoRA看看效果。

加上LoRA后，元素和细节更加明显了。使用同样的提示语，右图为加上LoRA的效果。

3d isometric interiors, a living room with a blue background, featuring a sofa with cushions, a table with various objects on it, a chair, a monitor, keyboard, mouse, lamp, and other items on the table, houseplants, windows with curtains, and toys scattered on the floor.

更多输出如下：

写在最后

还是那句话，因为开源，所以生气蓬勃！ 可以说，这是我目前遇到的最易用的LoRA训练流程，大家赶紧用起来吧~。

篇幅有限，这里就不一一展示了，有需要的朋友可以点击下方的链接进行领取！

CSDN官方AI绘画资料合集，点击这里快速获取！