用自定义图像微调FLUX.1模型

使用自有图像微调FLUX.1模型现在可以在Replicate上使用快速FLUX训练器微调模型。该训练速度极快不到2分钟、成本低廉低于2美元并提供可运行的模型以及可下载的LoRA权重。FLUX.1是Black Forest Labs今年夏季发布的文本生成图像模型系列。FLUX.1模型为开源图像模型设立了新标准能够生成逼真的手部、清晰的文字甚至包括难度极高的搞笑表情包。现在可以使用Ostris的AI工具包在Replicate上微调FLUX.1 [dev]模型。通过向模型展示一组示例图像教会它识别并生成新概念从而针对特定风格、角色或物体定制模型输出。Ostris的工具包采用LoRA技术实现快速、轻量级的训练。如何微调FLUX.1只需上传一些图像通过网页或API即可在Replicate上微调FLUX.1。准备训练数据开始微调前需要准备一组代表要教授模型的概念的图像。这些图像应足够多样化以涵盖概念的不同方面。例如如果针对特定角色进行微调应包含不同场景、姿势和光照条件下的图像。以下是指导原则使用12-20张图像以获得最佳效果尽可能使用大尺寸图像使用JPEG或PNG格式可选为每张图像创建同名的.txt描述文件将图像及可选的描述文件打包成单个zip文件。通过网页创建训练首先选择或创建一个目标模型在模型选择器字段中输入名称。然后上传包含训练数据的zip文件作为input_images并设置训练参数。trigger_word指要训练的对象、风格或概念。选择一个非真实单词的字符串如TOK或与训练内容相关的词如CYBRPNK。指定的触发词将在训练期间与所有图像关联。之后运行微调模型时可以在提示中包含触发词来激活概念。对于训练步数1000是一个不错的起点。保持learning_rate、batch_size和resolution为默认值。除非想提供自定义描述否则保持autocaptioning启用。如果要将模型保存到Hugging Face请输入Hugging Face令牌并设置仓库ID。填写完成后点击“创建训练”开始微调。通过API创建训练确保环境中已设置REPLICATE_API_TOKEN可在账户设置中找到。importreplicate# 创建目标模型modelreplicate.models.create(owneryourusername,nameflux-your-model-name,visibilitypublic,# 或 privatehardwaregpu-t4,description微调后的FLUX.1模型)# 启动训练trainingreplicate.trainings.create(versionostris/flux-dev-lora-trainer:4ffd32160efd92e956d39c5338a9b8fbafca58e03f791f6d8011f3e20e8ea6fa,input{input_images:open(/path/to/your/local/training-images.zip,rb),steps:1000,hf_token:YOUR_HUGGING_FACE_TOKEN,# 可选hf_repo_id:YOUR_HUGGING_FACE_REPO_ID,# 可选},destinationf{model.owner}/{model.name})注意此时为模型选择何种硬件无关紧要因为所有FLUX.1微调都会路由到H100 GPU。1000步训练通常需要20-30分钟成本低于2美元。使用训练好的模型训练完成后可以直接在Replicate上使用该模型就像使用任何其他模型一样。通过API运行示例使用Python客户端importreplicate outputreplicate.run(yourusername/flux-your-model-name:version_id,input{prompt:A portrait photo of a space station, bad 70s food,num_inference_steps:28,guidance_scale:7.5,model:dev,})共享模型如果想让其他人发现并使用新的微调模型需要将其设为公开。默认情况下通过网页训练表单创建的模型是私有的。前往模型设置页面将可见性设为“公开”。使用FLUX.1 [schnell]加速生成可以使用较小的FLUX.1 [schnell]模型配合FLUX.1 [dev] LoRA以更快、更便宜地生成图像。生成时将model参数从dev改为schnell并将num_inference_steps降低到4左右。许可与商业使用如果在Replicate上使用FLUX.1模型及其微调版本生成图像则可以商业使用这些图像。如果从Replicate下载权重并在自有计算机上生成图像则不能商业使用。定价训练过程按秒计费。FLUX模型训练在Nvidia H100 GPU硬件上运行成本为每秒0.001528美元。对于20分钟的训练使用约20张训练图像和1000步预计需支付约1.85美元。模型训练完成后可以像任何其他Replicate模型一样通过API运行仅按生成图像的时间计费。与其他定制模型不同私有模型不会收取空闲时间费用。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享