当前位置： 首页 > news >正文

基于Stable Diffusion的AIGC服饰穿搭实践

news 2025/7/6 22:36:12

06f62f3fa92dca0e54b18e2edc2eb8a0.gif

本文主要介绍了基于Stable Diffusion技术的虚拟穿搭试衣的研究探索工作。文章展示了使用LoRA、ControlNet、Inpainting、SAM等工具的方法和处理流程，并陈述了部分目前的实践结果。通过阅读这篇文章，读者可以了解到如何运用Stable Diffusion进行实际操作，并提供更优质的服饰虚拟穿搭体验。

19d1f183309e7dc62e28016ecb2e5d77.png

业务背景

随着AI技术的不断创新，AI创作工具已经逐渐成为艺术家、设计师和创作者们的最佳助手。在AI生图领域，Stable Diffusion以其开源、生出图片质量高等众多优势脱颖而出，展现出强大的综合实力。我们希望利用Stable Diffusion作为工具，在虚拟服饰穿搭领域进行一些创新和探索，期待通过AI技术的应用，在线上提供更多样化、个性化的服装选择和搭配方案，为用户提供更好的服饰虚拟穿搭体验。

441474cb7e7f4c8ea3d3d085967ff721.png

现状调研

在虚拟穿搭领域，目前主要有两类主流方法，分别是虚拟试衣VTON和基于Stable Diffusion的AIGC穿搭。

▐  虚拟试衣VTON

基于图像的虚拟试衣方法的处理流程通常有两个阶段：将试穿的服装扭曲以与目标人物对齐的几何匹配模块（GMM）和将扭曲的服装与目标人物图像混合的Try-On Module (TOM)。

dc6e39b0e29bb45d1d332e6913b6f867.png

为了训练神经网络，理想的数据集应该是：用户身穿自己衣服的照片，要试穿的衣服产品图，用户身着要试穿衣服的照片，在一般情况下获取到这样大量的理想数据集是非常难的。因此，对于VTON而言，大多数虚拟试衣模型神经网络的训练，都建立在一个上万张女模型数据集的基础上，且这上万张模特数据照片以正面视角为主，缺乏多机位多角度的拍摄。样本图片大小固定为256*192，出图的清晰度已经很难满意目前的用户需求。上述原因都限制了VTON实际应用中的效果。

▐  基于Stable Diffusion的AIGC穿搭

利用Stable Diffusion的大模型生图能力，辅以LoRA、ControlNet、Inpainting等“外挂”手段，增强穿搭出图的可控性与稳定性。

  • LoRA

LoRA，英文全称Low-Rank Adaptation of Large Language Models，直译为大语言模型的低阶适应，是一种参数高效性微调方法。LoRA的基本原理是在冻结预训练好的模型权重参数情况下，通过往模型中加入额外的网络层，并只训练这些新增的网络层参数。由于这些新增参数数量较少，这样不仅 finetune 的成本显著下降，还能获得和全模型微调类似的效果。

412130ccb6bdb27c6ec2685631b5ceae.png

在https://civitai.com/等主流的绘画模型分享网站中，我们可以下载并运用已经finetune好的LoRA模型，用于输出特定风格的人、场景、服饰等。在我们服饰生成的工作中，我们通过对每件服饰准备了十张左右的训练样本图片，经过数据清洗、打标等处理流程后，通过训练生成一个LoRA小模型，这个LoRA模型可以学习到服饰的颜色、纹理等特征，最后应用LoRA模型产出AIGC的服饰穿搭。

  • ControlNet

在完成上述的LoRA训练后，如果我们希望AI生成的图片更易控制，人物姿态更明确，就可以使用ControlNet插件。ControlNet的核心能力是通过设置各种条件来让AI生成的最终图片结果更加可控。这些条件是通过调整预处理器参数实现的，因此我们需要先了解ControlNet各种预处理器模块的功能。下图展示了一些主要预处理器的功能和对应的模型。

8b647f516fc08d5dae85095bf4e3eec2.png

例如，我们可以选择Canny预处理器，再选择对应的模型，对输入的图片进行边缘检测，生成线稿，然后根据Prompt提示词来生成与上传图片同样构图的画面。

eaf8b0caee02d464ca88d196b201f717.png

  • Inpainting

Inpainting模式是Stable Diffusion图生图中的一种特殊模式，用户可以通过上传Mask图，使Stable Diffusion根据其余信息（例如Prompt、LoRA、ControlNet）保留Mask内部的全部细节，重绘其余所有部分。

3cea0f2b86e5c4412b3dc233b70852ae.png

可以通过Mask Mode选择重绘Masked部分或者除Masked外的剩余部分。

  • Segment Anything

Segment Anything如其名分割一切，是一个由Meta开源的图像分割模型，号称图像分割领域的GPT 4.0。网页demo如下：https://segment-anything.com/demo。在Stable Diffusion的Web UI中，我们也可以通过下载安装Segment Anything插件来实现相同的功能。分割方式非常友好，可以通过左键、右键简单地点击来选择或者提出对应物体，物体就会立即被分割出来，可以绘制成Mask图，直接发送至上节的Inpainting模式中使用。

f0de5a88dbee1c400cd95648420a5220.png

5d3812cacdd1aeb36eee854557a811df.png

处理流程

▐  本地部署

Stable Diffusion Web UI 是一个基于 Stable Diffusion 的基础应用，利用 gradio 模块搭建出交互程序，可以在低代码 GUI 中立即访问 Stable Diffusion，我们在本地部署了Stable Diffusion Web UI ，本地机器显卡配置为RTX3060 12GB。Stable Diffusion Web UI为保持代码整洁和便于管理，逐步将非核心功能解耦并转为插件和拓展脚本形式提供，我们可以根据需要从对应的GitHub仓库中下载插件，并放到Web UI 路径下的extensions文件夹下，启动时Web UI会从中自动加载插件。

Stable Diffusion Web UI 地址：https://github.com/AUTOMATIC1111/stable-diffusion-webui

▐  LoRA训练

  • 训练样本背景去除、大小裁剪

在进行LoRA训练前，对于每一件服饰，我们批量处理了约10张样本图片，去除了背景并统一裁剪为512*512的尺寸。

  • Tag生成

这里，我们使用Tagger插件，Tagger插件可以批量反推样本图片的Tag标签数据，相比于Stable Diffusion图生图中自带的CLIP和DeepBooru插件效果更好。输入样本图片所在的文件夹信息，并在下方填写Additional/Exclude tags选项，即可预设或者屏蔽某些Tag标签的产出。

Tagger 地址：https://github.com/toriato/stable-diffusion-webui-wd14-tagger

3999f218fa27c27dfbfa1f94ced792dd.png

  • Tag编辑

在tag标签生成后，可以通过Dataset Tag Editor插件，对tag进行编辑。目前插件的tag反推精准度依然有限，时常需要人工介入剔除掉一些不相干或者完全错误的Tag词，以保证训练LoRA模型的精准性和还原性。

ff7b7d5204a4d066cce81b65748a4ec5.png

Dataset Tag Editor 地址：https://github.com/toshiaki1729/stable-diffusion-webui-dataset-tag-editor

  • 本地训练

在完成上述一系列图片、tag标签的预处理后，就正式进入到了LoRA模型的训练阶段，在本机RTX3060 12GB的机器配置下，完成对示例11张样本图片50批次训练的时间成本在30分钟左右。训练完成后，单个LoRA模型的大小在37MB左右。

9beb196ed56ddaf9cb314ef48933047f.png

▐  ControlNet

在以人物为主的生成图中，最常采用的是openpose系列的预处理器，openpose来对人物全身的骨骼姿态进行检测，使得输出图和上传输入图保留一致的人体骨骼形体，增强输入人物的姿态可控。可以在ControlNet插件中预览人体的骨骼姿态，也可以通过调节Control Weight权重参数来控制骨骼姿态对最终出图结果的影响。

febb0c5de3a89b08c2fe22079a3eabf7.png

9f3e882f790b21b453cfad9382e01981.jpeg

成果展示

▐  单件试衣

针对于不同类型的服饰采集了训练样本，进行了LoRA的训练，服饰类型包括衬衫、外套、裤子、鞋子等，查看了单一LoRA与模特、虚拟人结合出图的效果。结果发现普通上衣下衣类别的服饰准确率比较高，可以基本还原服饰的颜色、纹理等特征，上身效果也不错。

  • T恤

输入

ee1b2641bab690d991674b71f3d2042e.png

输出

8a0ca5834e2280f838b6ec3a9cc514e2.png

  • 外套

输入

63088a79e4a3e19a1d21aede75d7c3cd.png

输出

71cbf5aa9860be35e479af24e3a850d2.jpeg

  • 夹克

输入

5b3ed72c16eda256e87fc9982acbd7d8.png

输出

aa01584a80dce22465f014d47a2efa4b.png

  • 衬衫

输入

0c7aa50afafd3c230e2649660aec6d8f.png

输出

ae7459e5f9311085f936f5d5e806639c.png

  • 长裙

输入

d24e303f12f6a09df354ef79f0aa4865.png

输出

45d75d6939c1e846d4f462a08b319e48.png

  • 鞋

输入

69b3a5b3892851636f64514cae7bddb5.png

输出

d4ba5d805324c61744c23123cbbd4930.png

▐  季节试衣

在对单一服饰的LoRA训练出图后，我们又对于不同季节的服饰套装进行了风格训练，选取了春秋季、夏季、冬季三个季节的服饰穿搭套装进行了LoRA训练。从产出的图片效果来看，服饰套装的上身效率很不错，搭配比较合理，与季节的关联度比较高。

  • 春秋季

79433175a0ba4b06d9106c269dfcc565.png

  • 夏季

a7afcdbfb70aadcf1d81fbd2fbe9e173.png

  • 冬季

dccac86bed4d308d3122b37523472f60.png

b99211ffb98414277dde5d4b98eb6864.jpeg

总结

我们基于在本地环境搭建的Stable Diffusion，对服饰进行了LoRA小模型微调，学习到服饰自身的特征信息，利用ControlNet插件提升了出图的可靠性与稳定性，初步完成了AIGC的服饰穿搭DEMO实践。从单件服饰的生成穿搭来看，普通类的上下衣主服饰还原度比较高。季节类的套装和人物模特合图效果尚可，上身效果也比较不错。

d46090838c4c4a8568a7178aa69cfd64.jpeg

参考文献

  1. CP-VTON+: Clothing Shape and Texture Preserving Image-Based Virtual Try-On（地址：https://minar09.github.io/cpvtonplus/cvprw20_cpvtonplus.pdf）

  2. Segment Anything（地址：https://segment-anything.com/）

  3. continue-revolution/sd-webui-segment-anything（地址：https://github.com/continue-revolution/sd-webui-segment-anything）

  4. toshiaki1729/stable-diffusion-webui-dataset-tag-editor（地址：https://github.com/toshiaki1729/stable-diffusion-webui-dataset-tag-editor）

  5. 零基础读懂Stable Diffusion（I）：怎么组成（地址：https://zhuanlan.zhihu.com/p/597247221）

  6. Stable Diffusion 常用术语（地址：https://www.bilibili.com/read/cv24001275/?from=search）

ef4a53d2d8588d2cf1540d8826124366.jpeg

团队介绍

我们是大淘宝技术-手猫技术-营销&导购团队，我作为一支专注于手机天猫创新的商业化及导购场景探索的团队，我们团队紧密依托淘天集团强大的互联网背景,致力于为手机天猫带来更高效、更具创新性的技术支持和商业化的导购场景。我们的团队成员来自不同的技术领域和营销导购领域,拥有丰富的技术经验和营销经验。我们不断探索并实践新的技术,创新商业化的导购场景,并将这些创新技术应用于手机天猫业务中,提高了用户体验和平台运营效率。作为一支技术创新和商业化的团队,我们致力于为手机天猫带来更广阔的商业化空间和更高效的技术支持,赢得了用户和客户的高度评价和认可。我们团队一直秉承“技术领先、用户至上”的理念,不断探索创新、提升技术水平,为手机天猫的导购场景和商业化发展做出重要贡献。

¤ 拓展阅读 ¤

3DXR技术 | 终端技术 | 音视频技术

服务端技术 | 技术质量 | 数据算法

相关文章：

基于Stable Diffusion的AIGC服饰穿搭实践

本文主要介绍了基于Stable Diffusion技术的虚拟穿搭试衣的研究探索工作。文章展示了使用LoRA、ControlNet、Inpainting、SAM等工具的方法和处理流程，并陈述了部分目前的实践结果。通过阅读这篇文章，读者可以了解到如何运用Stable Diffusion进行实际操作&…...

编程日记 2023/9/2 13:38:00

【 ARMv9 Cluster BUS QoS 配置】

文章目录 ARM Cluster QoS ARM Cluster QoS QoS（Quality of Service，服务质量）在 ARM 架构中，主要指的是一种机制，它可以控制和管理系统资源（如内存、总线带宽等）的使用，以满足各种…...

编程日记 2023/9/2 13:36:59

简单了解网络基本概念

目录 一、网络含义 二、什么是以太网？ 三、网络分类 四、网络架构 五、数据传输方式 六、双工模式 一、网络含义 在实际生活中我们用传输介质把独立的终端设备相互连接起来就构成了网络。 二、什么是以太网？ 以太网是一种网络通信协议标准&#…...

编程日记 2023/9/2 13:35:58

网络安全知识库

0x00 前言 本篇用来整理所有的零散的知识，作为一个技能树或者技能表来进行引导 CTF 加解密合集CTF Web合集 0x01 Http 1.http头 1.1 本地访问识别 如何伪造http头，让后端认为是本地访问...

编程日记 2023/9/2 13:34:56

无涯教程-JavaScript - FLOOR函数

描述 FLOOR函数将数字向下舍入为零,直到最接近的有效倍数。 语法 FLOOR (number, significance)争论 Argument描述Required/OptionalNumberThe numeric value you want to round.RequiredSignificanceThe multiple to which you want to round.Required Notes 如果数字的符…...

编程日记 2023/9/2 13:33:54

【LeetCode-中等题】146. LRU 缓存

文章目录 题目方法一：直接继承LinkedHashMap调用api方法二：自定义LinkedHashMap HashMap ListNode LinkedHashMap 题目 LRU缓存是什么：LRU缓存机制，你想知道的这里都有 实现 LRU 缓存算法 方法一：直接继承Linked…...

编程日记 2023/9/2 13:32:53

表白墙程序

目录 一、页面代码部分 二、设计程序 二、实现 doPost​编辑 三、实现 doGet 四、前端代码部分 五、使用数据库存储数据 一、页面代码部分 在之前的一篇博客中&#xff0c;已经写过了表白墙的页面代码实现&#xff0c;这里就不再重复了 页面代码如下&#xff1a; <!…...

编程日记 2023/9/2 13:31:52

git 本地仓库关联到远程仓库

将本地仓库关联到远程仓库 方式一&#xff1a;远程仓库没有文件 第一步&#xff1a; git init&#xff08;初始化git仓库&#xff09; 第二步&#xff1a; git remote add 地址&#xff08;设置remote地址&#xff09; 第三步&#xff1a; git add . &#xff08;将所有变…...

编程日记 2023/9/2 13:30:51

Introducing Language Guidance in Prompt-based Continual Learning

本文是LLM系列文章&#xff0c;针对《Introducing Language Guidance in Prompt-based Continual Learning》的翻译。 基于提示的持续学习中引入语言指导 摘要1 引言2 相关工作3 背景4 基于提示的持续学习语言指导5 实验6 结论 摘要 持续学习旨在学习一系列任务的单一模型&am…...

编程日记 2023/9/2 13:29:50

Matlab（数值微积分）

目录 1.多项式微分与积分 1.1 微分 1.2 多项式微分 1.3 如何正确的使用Matlab? 1.3.1 Matlab表达多项式 1.3.2 polyval() 多项式求值 1.3.3 polyder()多项式微分 1.4 多项式积分 1.4.1 如何正确表达 1.4.2 polyint() 多项式积分 2.数值的微分与积分 2.1 数值微分 2…...

编程日记 2023/9/2 13:28:48

【数据结构回顾】

数据结构回顾 一、单链表二、单循环链表 一、单链表 #include <stdio.h> #include <stdlib.h>typedef struct Node {int data;Node *next; }Node;Node* initList() {Node *list (Node*)malloc(sizeof(Node));list->data 0;list->next NULL;return list; }…...

编程日记 2023/9/2 13:27:47

QT创建可移动点类

效果如图所示&#xff1a; 创建新类MovablePoint&#xff0c;继承自QWidget. MovablePoint头文件: #ifndef MOVABLEPOINT_H #define MOVABLEPOINT_H#include <QWidget> #include <QPainter> #include <QPaintEvent> #include <QStyleOption> #includ…...

编程日记 2023/9/2 13:26:46

Flutter启动页

效果图 import dart:async; import package:flutter/cupertino.dart; import package:flutter/material.dart; import jumpPage.dart;class TransitPage extends StatefulWidget {const TransitPage({super.key});overrideState<TransitPage> createState() > _Trans…...

编程日记 2023/9/2 13:25:45

读word模板批量生成制式文件

文章目录 1、Maven依赖2、.docx或.doc格式的word模板准备3、读word模板&#xff0c;批量替换代码域&#xff0c;生成文件&#xff0c;demo4、结果展示 1、Maven依赖 <dependency><groupId>fr.opensagres.xdocreport</groupId><artifactId>fr.opensagre…...

编程日记 2023/9/2 13:24:43

Node.js crypto模块 加密算法

背景 微信小程序调用飞蛾热敏纸打印机&#xff0c;需要进行参数sig签名校验&#xff0c;使用的是sha1进行加密 // 通过crypto.createHash()函数&#xff0c;创建一个hash实例&#xff0c;但是需要调用md5&#xff0c;sha1&#xff0c;sha256&#xff0c;sha512算法来实现实例的…...

编程日记 2023/9/2 13:23:42

Win11 避坑安装WSL2 Ubuntu22.04

开始之前以管理员身份打开 PowerShell 启用适用于 Linux 的 Windows 子系统 需要先启用“适用于 Linux 的 Windows 子系统”可选功能&#xff0c;然后才能在 Windows 上安装 Linux 分发。 PowerShell然后输入以下命令&#xff1a; dism.exe /online /enable-feature /featur…...

编程日记 2023/9/2 13:22:40

ESP8266+继电器+MQTT+VUE 实现远程开关灯

超详细教程 – ESP8266继电器MQTTVUE 实现远程开关灯 超详细教程 – ESP8266继电器MQTTVUE 实现远程开关灯 接线图 NC&#xff08;通常闭合&#xff09;与COM&#xff08;公共&#xff09;、NO&#xff08;通常开放&#xff09;与COM 是继电器引脚的不同配置&#xff0c;用于不…...

编程日记 2023/9/2 13:21:38

Android中级——四大组件工作过程

四大组件工作过程 ActivityServicestartService()过程bindService()过程 BroadcastReceiver注册过程发送和接收过程 ContentProvider Activity startActivity()最终都会调用到startActivityForResult() public void startActivityForResult(RequiresPermission Intent intent…...

编程日记 2023/9/2 13:20:37

【RabbitMQ】RabbitMQ 服务无法启动。系统出错。发生系统错误 1067。进程意外终止。

问题描述 RabbitMQ 服务无法启动。 rabbitmq-service.bat startRabbitMQ 服务正在启动 . RabbitMQ 服务无法启动。系统出错。发生系统错误 1067。进程意外终止。原因分析 RabbitMQ和Erlang版本不匹配。 解决方案 查询并安装RabbitMQ版本对应Erlang版本 https://www.rabbitm…...

编程日记 2023/9/2 13:19:36

如何理解attention中的Q、K、V？

y直接用torch实现一个SelfAttention来说一说&#xff1a; 1、首先定义三哥线性变换&#xff0c;query&#xff0c;key以及value&#xff1a; class BertSelfAttention(nn.Module):self.query nn.Linear(config.hidden_size, self.all_head_size)#输入768&#xff0c;输出768…...

编程日记 2023/9/2 13:18:33

Vim 调用外部命令学习笔记

Vim 外部命令集成完全指南 文章目录 Vim 外部命令集成完全指南核心概念理解命令语法解析语法对比 常用外部命令详解文本排序与去重文本筛选与搜索高级 grep 搜索技巧文本替换与编辑字符处理高级文本处理编程语言处理其他实用命令 范围操作示例指定行范围处理复合命令示例 实用技…...

编程新知 2025/7/5 18:14:39

web vue 项目 Docker化部署

Web 项目 Docker 化部署详细教程 目录 Web 项目 Docker 化部署概述Dockerfile 详解 构建阶段生产阶段 构建和运行 Docker 镜像 1. Web 项目 Docker 化部署概述 Docker 化部署的主要步骤分为以下几个阶段&#xff1a; 构建阶段&#xff08;Build Stage&#xff09;&#xff1a…...

编程新知 2025/7/6 4:04:07

内存分配函数malloc kmalloc vmalloc

内存分配函数malloc kmalloc vmalloc malloc实现步骤： 1）请求大小调整：首先，malloc 需要调整用户请求的大小，以适应内部数据结构（例如，可能需要存储额外的元数据）。通常，这包括对齐调整，确保分配的内存地址满足特定硬件要求（如对齐到8字节或16字节边界）。 2）空闲…...

编程新知 2025/6/18 0:49:30

RocketMQ延迟消息机制

两种延迟消息 RocketMQ中提供了两种延迟消息机制 指定固定的延迟级别 通过在Message中设定一个MessageDelayLevel参数&#xff0c;对应18个预设的延迟级别指定时间点的延迟级别 通过在Message中设定一个DeliverTimeMS指定一个Long类型表示的具体时间点。到了时间点后&#xf…...

编程新知 2025/7/1 20:41:53

Spring Boot 实现流式响应（兼容 2.7.x）

在实际开发中&#xff0c;我们可能会遇到一些流式数据处理的场景&#xff0c;比如接收来自上游接口的 Server-Sent Events&#xff08;SSE&#xff09; 或 流式 JSON 内容&#xff0c;并将其原样中转给前端页面或客户端。这种情况下&#xff0c;传统的 RestTemplate 缓存机制会…...

编程新知 2025/6/21 9:48:10

Java如何权衡是使用无序的数组还是有序的数组

在 Java 中，选择有序数组还是无序数组取决于具体场景的性能需求与操作特点。以下是关键权衡因素及决策指南： ⚖️ 核心权衡维度 维度有序数组无序数组查询性能二分查找 O(log n) ✅线性扫描 O(n) ❌插入/删除需移位维护顺序 O(n) ❌直接操作尾部 O(1) ✅内存开销与无序数组相…...

编程新知 2025/7/4 21:35:34

基于Flask实现的医疗保险欺诈识别监测模型

基于Flask实现的医疗保险欺诈识别监测模型 项目截图 项目简介 社会医疗保险是国家通过立法形式强制实施&#xff0c;由雇主和个人按一定比例缴纳保险费&#xff0c;建立社会医疗保险基金&#xff0c;支付雇员医疗费用的一种医疗保险制度&#xff0c; 它是促进社会文明和进步的…...

编程新知 2025/7/2 22:42:45

渲染学进阶内容——模型

最近在写模组的时候发现渲染器里面离不开模型的定义，在渲染的第二篇文章中简单的讲解了一下关于模型部分的内容，其实不管是方块还是方块实体，都离不开模型的内容 🧱 一、CubeListBuilder 功能解析 CubeListBuilder 是 Minecraft Java 版模型系统的核心构建器，用于动态创…...

编程新知 2025/7/5 19:48:37

Python实现prophet 理论及参数优化

文章目录 Prophet理论及模型参数介绍Python代码完整实现prophet 添加外部数据进行模型优化 之前初步学习prophet的时候&#xff0c;写过一篇简单实现&#xff0c;后期随着对该模型的深入研究&#xff0c;本次记录涉及到prophet 的公式以及参数调优&#xff0c;从公式可以更直观…...

编程新知 2025/7/6 9:32:59

srs linux

下载编译运行 git clone https:///ossrs/srs.git ./configure --h265on make 编译完成后即可启动SRS # 启动 ./objs/srs -c conf/srs.conf # 查看日志 tail -n 30 -f ./objs/srs.log 开放端口 默认RTMP接收推流端口是1935&#xff0c;SRS管理页面端口是8080&#xff0c;可…...

编程新知 2025/7/5 15:11:11