多模态模型中图像生成器使用的扩散模型的组件

多模态模型中图像生成器使用的扩散模型组件多模态模型中的图像生成器通常不是一个单独网络而是一套条件扩散生成系统。典型输入是文本、图像、mask、bbox、姿态、深度图、边缘图、语义图、视频帧或多模态 embedding输出是目标图像。最常见结构是Latent Diffusion ModelLDM也就是 Stable Diffusion 类路线。1. 总体结构典型扩散图像生成器如下文本 / 图像 / mask / bbox / 深度图 / 姿态 / 多模态 embedding ↓ 条件编码器 Condition Encoder ↓ 条件向量 / 条件 token ↓ 噪声 latent z_T ↓ 扩散去噪网络 U-Net / DiT ↓ 逐步去噪 z_T → z_0 ↓ VAE Decoder ↓ 生成图像如果是 Stable Diffusion 类模型核心流程是Prompt ↓ Tokenizer ↓ Text Encoder ↓ Text Embedding ↓ Denoising U-Net / DiT ↓ Latent Image ↓ VAE Decoder ↓ RGB Image2. 核心组件总览组件作用Tokenizer把文本 prompt 转成 token idText Encoder把文本 token 编码成语义 embeddingCondition Encoder编码图像、mask、深度、姿态、bbox 等条件VAE Encoder把真实图像压缩到 latent 空间训练或图生图时使用VAE Decoder把 latent 还原成 RGB 图像Noise Scheduler控制加噪和去噪时间步Denoising Network核心去噪网络通常是 U-Net 或 DiTCross-Attention让图像生成过程读取文本/多模态条件Classifier-Free Guidance控制生成结果与 prompt 的贴合程度Sampler决定推理时如何从噪声一步步生成图像Control ModuleControlNet / T2I-Adapter / IP-Adapter 等可控生成模块Safety / Postprocess后处理、超分辨率、过滤、裁剪等3. VAE图像与 latent 空间的转换器在 Stable Diffusion 这类 latent diffusion 中扩散过程不是直接在 RGB 图像上做而是在压缩后的 latent 空间中做。原因是 RGB 图像太大512 × 512 × 3经过 VAE 编码后变成64 × 64 × 4计算量大幅下降。3.1 VAE Encoder训练阶段或图生图阶段使用。RGB Image x ↓ VAE Encoder ↓ Latent z公式z Encoder_VAE(x)作用把真实图像压缩到连续 latent 空间3.2 VAE Decoder推理生成阶段最后使用。Latent z_0 ↓ VAE Decoder ↓ Generated RGB Image公式x_hat Decoder_VAE(z_0)作用把去噪后的 latent 还原成最终图像3.3 为什么需要 VAE直接在像素空间扩散速度慢 显存大 训练成本高在 latent 空间扩散速度更快 显存更小 更适合大规模训练和部署所以 Stable Diffusion、SDXL、很多文生图模型都采用 latent diffusion。4. Text Encoder文本条件编码器文本生成图像时prompt 不能直接输入扩散网络需要先编码成语义向量。流程A red bottle on the shelf ↓ Tokenizer ↓ Token IDs ↓ Text Encoder ↓ Text Embeddings常见 Text EncoderCLIP Text Encoder OpenCLIP Text Encoder T5 Encoder Gemini/Qwen/LLaMA 类 LLM encoder hidden statesStable Diffusion 1.x 常用 CLIP text encoderSDXL 使用更强的双文本编码器一些新模型会使用 T5 或大语言模型作为文本编码器。4.1 文本 embedding 的作用文本 embedding 会作为条件输入到去噪网络中Noise latent timestep text embedding ↓ Denoising Network ↓ Predicted noise也就是说扩散模型每一步去噪时都会参考文本语义。5. Denoising Network扩散模型的核心生成器这是扩散模型最关键的组件。它的任务是给定当前带噪 latent、时间步、条件信息 预测噪声或预测干净图像。输入z_t当前带噪 latent t扩散时间步 c条件信息例如文本 embedding、图像 embedding、mask、pose输出预测噪声 ε_theta(z_t, t, c)公式ε_pred ε_θ(z_t, t, c)然后 sampler 根据预测噪声更新 latentz_t → z_{t-1}经过多次迭代z_T → z_{T-1} → ... → z_1 → z_0最后z_0经过 VAE Decoder 得到图像。6. U-Net经典扩散去噪网络Stable Diffusion 1.x / 2.x / SDXL 主要使用 U-Net 作为去噪网络。结构Noisy Latent ↓ Down Blocks ↓ Middle Block ↓ Up Blocks ↓ Predicted NoiseU-Net 特点编码器-解码器结构 有 skip connection 适合图像空间/latent 空间的局部细节恢复 可以融合文本 cross-attention简化结构Text Embedding ↓ Noisy Latent → Downsample → Bottleneck → Upsample → Noise Prediction ↘____________ skip connections ____________↗6.1 U-Net 中的主要子模块子模块作用ResBlock提取局部图像特征Self-Attention建模图像内部长距离关系Cross-Attention融合文本或多模态条件Downsample降低空间分辨率扩大感受野Upsample恢复空间分辨率Time Embedding注入当前扩散时间步信息Skip Connection保留低层细节7. DiTTransformer 式扩散生成器除了 U-Net现代图像生成模型越来越多使用Diffusion TransformerDiT。DiT 不再用 CNN U-Net而是把 latent 切成 patch token再用 Transformer 去噪。结构Latent z_t ↓ Patchify ↓ Latent Tokens ↓ Add Time Embedding Condition Embedding ↓ Transformer Blocks ↓ Predict Noise / Velocity ↓ Unpatchify优点扩展性强 适合大模型训练 适合和多模态 token 融合 更接近 LLM / VLM 架构缺点小规模训练不一定优于 U-Net 推理成本可能更高 对训练数据和算力要求更高在多模态模型中DiT 很有潜力因为它天然适合统一处理文本 token 图像 token 视频 token 深度 token bbox token mask token8. Noise Scheduler加噪和去噪时间表扩散模型训练时会不断给图像 latent 加噪z_0 → z_1 → z_2 → ... → z_T其中z_0干净 latent z_T近似纯高斯噪声前向加噪公式q(z_t | z_0) N(√α_t z_0, (1 - α_t)I)可写成z_t √α_t z_0 √(1 - α_t) ε其中ε ~ N(0, I)训练目标是让模型预测这个噪声L || ε - ε_θ(z_t, t, c) ||²8.1 Scheduler 的作用Scheduler 决定每一步加多少噪声 每一步去多少噪声 推理需要多少步 采样轨迹怎么走常见 scheduler / sampler名称特点DDPM原始扩散采样稳定但慢DDIM可以少步采样速度更快Euler常用、速度快Euler Ancestral随机性更强DPM-Solver高效高质量UniPC少步生成表现较好Heun稳定性较好9. Time Embedding时间步编码扩散模型每一步去噪难度不同。t 大图像接近纯噪声需要生成大结构 t 小图像接近完成需要修复细节所以去噪网络必须知道当前是第几步。timestep t ↓ Time Embedding ↓ 加入 U-Net / DiT常见实现Sinusoidal Embedding MLP Time Embedding AdaLN / FiLM 调制作用让模型根据不同噪声强度执行不同去噪策略10. Cross-Attention文本控制图像生成的核心Cross-Attention 是文生图扩散模型最关键的条件融合方式。在 U-Net 或 DiT 中图像 latent token 作为 Query文本 token 作为 Key / ValueQ image latent features K text embeddings V text embeddings计算Attention(Q, K, V) softmax(QK^T / √d) V含义每个图像区域在生成时都会关注 prompt 中相关的文本 token。例如 promptA red Coca-Cola bottle on the second shelf图像区域可能分别关注red Coca-Cola bottle second shelf这就是文本能控制图像内容、颜色、物体、布局的核心原因。11. Classifier-Free Guidance提示词引导强度Classifier-Free Guidance简称 CFG是扩散模型推理中的关键技巧。它会同时计算两次预测无条件预测ε_uncond 有条件预测ε_cond然后组合ε_guided ε_uncond s × (ε_cond - ε_uncond)其中s是 guidance scale。含义s 越大越贴合 prompt s 越小越自然、自由常见设置CFG 5 ~ 9太低图像可能不听 prompt太高图像可能过饱和、失真、细节崩坏12. Sampler从噪声生成图像的推理算法推理时从随机噪声开始z_T ~ N(0, I)然后使用去噪网络和 sampler 逐步更新z_T → z_{T-1} → ... → z_0最终image VAE_Decoder(z_0)不同 sampler 会影响生成速度 细节质量 稳定性 随机性 风格常见推理步数20 steps 30 steps 50 steps少步生成更快但质量可能下降多步生成更稳定但延迟更高。13. ControlNet可控图像生成组件在多模态模型中图像生成经常不只受文本控制还会受结构条件控制例如边缘图 深度图 人体姿态 分割 mask 草图 法线图 语义图 布局 bboxControlNet 的作用是在不破坏原始扩散模型能力的情况下 额外注入结构控制信号。结构上可以理解为Control Image ↓ Control Encoder ↓ Control Features ↓ 注入 U-Net 多层整体Prompt Embedding ─────────────┐ ↓ Noisy Latent → U-Net → Predicted Noise ↑ ControlNet Features ↑ Depth / Pose / Edge / Mask13.1 ControlNet 常见条件条件用途Canny Edge控制边缘轮廓Depth Map控制空间结构OpenPose控制人体姿态Segmentation Map控制语义区域Normal Map控制表面方向Lineart控制线稿Scribble草图生成Inpaint Mask局部重绘Tile超分辨率 / 细节增强14. IP-Adapter图像参考条件IP-Adapter 主要用于参考图像 → 控制生成图像的主体、风格、身份或外观例如给一张商品包装图 生成同款商品在不同货架位置的图像它不像 ControlNet 那样强控制结构而是更偏向风格一致 主体一致 身份一致 外观一致结构Reference Image ↓ Image Encoder ↓ Image Prompt Embedding ↓ Cross-Attention / Adapter 注入扩散模型15. T2I-Adapter轻量条件适配器T2I-Adapter 和 ControlNet 类似也用于条件控制但通常更轻量。Condition Image ↓ Adapter ↓ Feature Injection ↓ U-Net适合边缘部署 多控制条件组合 低成本微调16. Inpainting 组件局部重绘图像编辑时常用 inpainting 模型。输入原图 mask prompt输出只修改 mask 区域后的图像结构Original Image Mask Prompt ↓ VAE Encoder Mask Encoder Text Encoder ↓ Denoising U-Net ↓ VAE Decoder ↓ Edited Image对自动售货柜场景可以用于遮挡补全 商品包装替换 缺失区域生成 hard negative 数据增强17. Image-to-Image 组件图生图不是从纯噪声开始而是从原图 latent 加噪后开始。流程Input Image ↓ VAE Encoder ↓ z_0 ↓ 加一定强度噪声 ↓ z_t ↓ 根据 prompt 去噪 ↓ VAE Decoder ↓ Output Image关键参数是denoise strength。strength 小保留原图更多 strength 大变化更大18. 多模态模型中的条件来源在多模态大模型中扩散图像生成器的条件不一定只有文本。常见条件包括条件来源作用文本 prompt控制语义内容图像 embedding控制主体/风格OCR 文本控制文字或商品标签bbox / layout控制物体位置mask控制局部生成depth控制空间结构pose控制人物姿态segmentation控制区域类别LLM hidden state由语言模型规划生成内容VLM visual token用视觉理解结果指导生成RAG 检索结果注入知识、商品属性、参考图19. 多模态 LLM 扩散生成器的组合方式多模态模型中LLM/VLM 和扩散模型通常有三种组合方式。19.1 LLM 生成 prompt扩散模型生成图像这是最常见方式。用户需求 ↓ LLM 解析并改写 prompt ↓ Stable Diffusion / SDXL / Flux / DiT ↓ 生成图像优点简单 工程成熟 易接入现有扩散模型缺点LLM 和 diffusion 之间只是文本连接 深层语义对齐有限19.2 LLM hidden state 直接控制 diffusion更深度的融合方式多模态输入 ↓ MLLM ↓ Hidden States ↓ Projection Adapter ↓ Diffusion Cross-Attention ↓ Generated Image这样图像生成不只依赖 prompt而是可以依赖 MLLM 的内部语义表示。适合复杂推理后生成图像 多图参考生成 图文混合理解后生成19.3 统一 token 模型把图像也离散化成 token直接由 Transformer 生成图像 token。Text Tokens Image Tokens ↓ Unified Transformer ↓ Generated Image Tokens ↓ Image Decoder ↓ Image这类路线更接近AnyGPT Unified-IO VILA-U Chameleon 类架构它不一定使用传统扩散模型但目标类似统一多模态输入输出。20. 扩散图像生成器的训练过程训练目标通常是让模型学会从带噪 latent 中预测噪声。训练数据图像 x 文本 caption c步骤1. x 经过 VAE Encoder 得到 z_0 2. 随机采样时间步 t 3. 随机采样高斯噪声 ε 4. 构造带噪 latent z_t 5. 输入 z_t、t、caption embedding c 6. Denoising Network 预测 ε_pred 7. 用 MSE 约束 ε_pred 接近真实噪声 ε公式z_t √α_t z_0 √(1 - α_t) ε损失L E[ || ε - ε_θ(z_t, t, c) ||² ]有些模型不预测噪声而是预测x_0干净 latent vvelocity score梯度方向21. 推理过程详细展开输入 prompt一瓶红色可乐放在自动售货柜第二层推理步骤1. Tokenizer 编码 prompt 2. Text Encoder 得到 text embedding 3. 初始化随机 latent z_T 4. 设置 scheduler 时间步例如 30 steps 5. 对每个时间步 t - U-Net/DiT 输入 z_t、t、text embedding - 预测噪声 ε_pred - CFG 调整 ε_pred - Sampler 更新 z_t → z_{t-1} 6. 得到最终 latent z_0 7. VAE Decoder 解码成 RGB 图像 8. 后处理保存图像伪代码text_idstokenizer(prompt)text_embtext_encoder(text_ids)zrandn(latent_shape)fortinscheduler.timesteps:eps_conddenoiser(z,t,text_emb)eps_unconddenoiser(z,t,empty_text_emb)epseps_uncondguidance_scale*(eps_cond-eps_uncond)zscheduler.step(eps,t,z)imagevae_decoder(z)22. 在 sVLM / 自动售货柜中的应用方式对于你的自动售货柜项目扩散图像生成器可以不是主识别模型而是辅助数据和鲁棒性增强模块。22.1 生成训练数据用于新包装模拟 不同光照模拟 遮挡模拟 不同货架背景模拟 商品摆放变化模拟 反事实样本生成例如输入可乐商品图 货架背景 bbox 输出不同角度、不同遮挡、不同光照下的可乐货架图22.2 Hard Negative 生成自动售货柜最怕相似商品混淆可口可乐 vs 百事可乐 农夫山泉不同容量 同品牌不同口味 新旧包装可以用 diffusion 生成 hard negative相似颜色 相似瓶型 相似标签布局 不同 SKU用于提升 embedding / classifier 区分能力。22.3 遮挡补全与低质量增强对于拍摄质量差的图像局部遮挡 反光 模糊 标签缺失 角度偏斜可以用 inpainting / ControlNet 做辅助恢复或数据增强。但工程上要注意生成图不能直接作为事实依据 只能作为训练增强或候选参考 不能替代真实检测结果22.4 结构条件生成结合 M2 货柜结构shelf line cabinet mask product bbox segmentation mask可以生成符合货柜布局的合成数据货架结构图 商品 prompt → 合成货柜图像推荐组合ControlNet bbox/layout condition product reference image23. 面向工程实现的组件拆分可以把图像生成器设计成如下模块ImageGenerator ├── TextPromptEncoder ├── ImageConditionEncoder ├── LayoutConditionEncoder ├── VAEEncoder ├── VAEDecoder ├── DenoisingUNet / DiT ├── Scheduler ├── Sampler ├── ControlModule │ ├── ControlNet │ ├── T2IAdapter │ └── IPAdapter ├── InpaintModule ├── SafetyChecker └── PostProcessorC/部署侧可以抽象为structDiffusionCondition{std::string prompt;std::string negative_prompt;Image reference_image;Image mask;Image depth;Image edge;Image segmentation;std::vectorBBoxlayout_boxes;std::vectorstd::stringlayout_labels;};structDiffusionConfig{intwidth512;intheight512;intsteps30;floatguidance_scale7.5f;floatdenoise_strength1.0f;uint64_tseed42;};structGeneratedImage{Image image;floatgeneration_time_ms;std::string prompt_used;uint64_tseed;};接口classDiffusionImageGenerator{public:boolInit(conststd::stringmodel_dir);GeneratedImageTextToImage(constDiffusionConditioncondition,constDiffusionConfigconfig);GeneratedImageImageToImage(constImageinput,constDiffusionConditioncondition,constDiffusionConfigconfig);GeneratedImageInpaint(constImageinput,constImagemask,constDiffusionConditioncondition,constDiffusionConfigconfig);};24. 组件之间的数据流24.1 Text-to-ImagePrompt ↓ Text Encoder ↓ Text Condition ↓ Random Noise ↓ Denoising U-Net / DiT ↓ Latent z_0 ↓ VAE Decoder ↓ Generated Image24.2 Image-to-ImageInput Image ↓ VAE Encoder ↓ Latent z_0 ↓ Add Noise by strength ↓ Denoising with Prompt ↓ VAE Decoder ↓ Edited Image24.3 InpaintingInput Image Mask Prompt ↓ VAE Encoder ↓ Masked Latent ↓ Denoising U-Net ↓ VAE Decoder ↓ Inpainted Image24.4 ControlNetPrompt Control Image Random Latent ↓ Text Encoder Control Encoder ↓ U-Net with Control Injection ↓ Generated Image25. 与 GAN / VAE 的区别方法生成方式特点GAN一步生成快但训练不稳定VAE编码-解码重建稳定但图像容易模糊Diffusion多步去噪生成质量高、可控性强但推理慢Autoregressive Image Tokentoken 逐个生成统一性强但高分辨率成本高扩散模型优势图像质量高 训练稳定 条件控制能力强 可编辑性好 适合图文、多条件、多模态生成缺点推理速度慢 多步采样成本高 部署复杂 对显存和算力要求较高26. sVLM 场景下最关键的组件如果目标是边缘端或工业视觉最重要的不是完整文生图能力而是下面几个组件组件重要性原因VAE高决定 latent 压缩效率和重建质量Denoising U-Net / DiT极高核心生成能力Scheduler / Sampler高决定速度和质量ControlNet / Adapter极高让生成结果符合结构约束IP-Adapter高保持商品外观一致Inpainting高局部补全、包装替换、遮挡模拟Text Encoder中高决定 prompt 理解能力CFG中控制 prompt 贴合度LoRA高快速适配新商品、新风格、新场景27. 推荐理解路径学习扩散图像生成器可以按这个顺序1. DDPM 原理加噪 / 去噪 / 噪声预测 2. Latent Diffusion为什么在 latent 空间生成 3. U-Net扩散去噪网络结构 4. Text Encoder Cross-Attention文本如何控制图像 5. Scheduler / Sampler推理过程怎么加速 6. CFGprompt 引导强度 7. ControlNet结构可控生成 8. IP-Adapter参考图像控制 9. Inpainting / Img2Img图像编辑 10. DiTTransformer 化扩散模型28. 总结多模态图像生成器中的扩散模型核心组件可以概括为Text / Image / Layout Condition Encoder VAE Latent Space Denoising U-Net / DiT Scheduler / Sampler Cross-Attention / CFG / ControlNet ↓ 逐步从噪声 latent 还原出目标图像其中最关键的是VAE 负责图像压缩与还原 Text Encoder 负责理解 prompt U-Net / DiT 负责逐步去噪生成 Scheduler 负责控制去噪路径 Cross-Attention 负责文本/多模态条件注入 ControlNet / Adapter 负责结构化可控生成。对于 sVLM 扩散图像生成器最适合作为训练数据增强器 新包装模拟器 遮挡/光照/角度扰动生成器 hard negative 样本生成器 结构约束合成数据生成器