使用黑森林实验室发布的Flux.1 文生图模型进行 UI 创作以及 PS 操作

我们前期介绍了黑森林实验室发布的 Flux.1 文生图大模型，其模型是一个扩散模型。扩散模型通过迭代细化噪声图像来生成最终图像。这种去噪过程使扩散模型能够创建更连贯、更逼真的图像，因为扩散是一个多步骤过程，这与 GAN（生成对抗网络）或 VAE（变分自动编码器）等以前的生成模型不同。Flux AI 图像生成模型通过引入流匹配和时间戳采样等概念，对这种方法进行了重大改进，提供了一组独特的功能，可提高图像质量和生成速度。

FLUX.1 发布了多个版本：Flux 1.1 Pro Ultra，FLUX.1 [pro]、FLUX.1 [dev] 和 FLUX.1 [schnell]以及应用于图片编辑的FLUX.1 Fill，FLUX.1 Depth，FLUX.1 Canny，FLUX.1 Redux。

Flux 1.1 Pro Ultra： Flux1.1 Pro 是 Black Forest Labs 提供的旗舰型号。它旨在创建高分辨率图像，非常适合需要精细细节和清晰视觉效果的任务。此版本针对图像清晰度和精度至关重要的场景进行了优化，例如广告、印刷媒体以及艺术图片等。

Flux .1 Pro：Flux.1 Pro 是一款高性能模型，它针对更广泛的专业应用进行了优化，这些应用对极端细节和分辨率的要求并不像艺术图片等领域那么严格。这两款专业模型都只能通过其 API 使用，权重托管在 Replicate、Fal AI 和 Mystic AI 等平台上。

Flux .1 Dev：FLUX.1 [dev] 是一种开放权重的模型，适用于非商业应用。FLUX.1 [dev] 直接从 FLUX.1 [pro] 提炼而来，具有相似的质量和及时处理能力，同时比同等大小的标准模型更高效。FLUX.1 [dev] 权重可在HuggingFace上使用，并可直接在Replicate或Fal.ai上使用。

Flux .1 Schnell：此变体模型是所有其他变体中速度最快的，与 Flux.1 Dev 模型类似，Flux.1 Schnell 模型也是开源的，可在 HuggingFace 上根据 Apache 2.0 获得许可。对于那些想要在本地机器上执行生成式 AI 图片的人来说，它可以使用最快的速度以及最少的硬件资源来实现。

虽然是开源模型，但是 pro 版本的模型需要使用黑森林实验室的 API 使用，其模型权重并没有开放，但是大家可以使用 dev版本的模型进行代码实现，其代码也是开源代码，也可以直接使用 hugging face 的库进行实现，其代码如下:

from diffusers import FluxPipeline
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype = torch.bfloat16)
pipe.to("cuda")
prompt = """这里添加图片的描述信息"""
image = pipe(prompt,height=1024,width=1024,guidance_scale=1.0,num_inference_steps=30,max_sequence_length=512,generator=torch.Generator("cpu").manual_seed(0)
).images[0]
image.save("flux-dev.png")

这里使用 flux 的文生图模型，来设计音乐播放器或者其他 UI 设计界面还是比较容易实现的，当然黑森林实验室也发布了 flux tools 工具来进行图片的 Ps 操作，话说使用AI 进行 PS 简直不要太爽。

FLUX.1 Fill，FLUX.1 Depth，FLUX.1 Canny，FLUX.1 Redux四个模型主要用于图片的编辑工作。

FLUX.1 fill：最先进的修复模型，可以根据文本描述和二进制掩码编辑或者扩展输入图像以便生成最终的图像。超越了现有工具（如 Ideogram 2.0）和其他开源模型（如 AlimamaCreative 的
FLUX-Controlnet-Inpainting）。FLUX.1 fill允许无缝编辑，与现有图像自然融合效果出色。

其模型支持局部绘画，并支持图片的扩展功能，大白话就是输入一个局部的图片，模型自动补充其他地方的图片，以便生成完整的图像。

FLUX.1 Depth：根据从输入图像和文本提示中提取深度图训练模型，以实现结构化图片的输出。

FLUX.1 Canny：经过训练的模型，可根据从输入图像和文本提示中提取图片的 Canny 边缘，以便实现结构引导。

通过以上 2 个模型，可以实现通过边缘或深度图保留原始图像的结构，用户可以进行文本引导编辑，同时保持核心构图的完整。

FLUX.1 Redux：允许根据输入图像和文本提示重新创建新的图片，当然图片主体不会进行大的 变化。也可以根据输入文本提示进行图片主体位置的调整以及方向方位的调整等。其生成的图片与输入图片类似，更新处不是太明显

其几个 tools 工具模型也是开源的模型，可以直接在 GitHub 上面找到，也可以使用 hugging face 的代码实现：

pip install -U diffusers
import torch
from diffusers import FluxFillPipeline
from diffusers.utils import load_image
image = load_image("cup.png")
mask = load_image("cup_mask.png")
pipe = FluxFillPipeline.from_pretrained("black-forest-labs/FLUX.1-Fill-dev", torch_dtype=torch.bfloat16).to("cuda")
image = pipe(prompt="a white paper cup",image=image,mask_image=mask,height=1632,width=1232,guidance_scale=30,num_inference_steps=50,max_sequence_length=512,generator=torch.Generator("cpu").manual_seed(0)
).images[0]
image.save(f"flux-fill-dev.png")

https://github.com/black-forest-labs/flux
https://blackforestlabs.ai/announcing-black-forest-labs/
https://huggingface.co/black-forest-labs/FLUX.1-Fill-dev更多transformer，VIT，swin tranformer
参考头条号：人工智能研究所
v号：启示AI科技

  动画详解transformer  在线教程