模态生成器：原理详解与推荐开源项目

把一种或多种输入模态转换、补全或生成另一种目标模态的模块。例如文本 → 图像 图像 → 文本 文本 → 语音 语音 → 文本 图像 文本 → 视频 图像 文本 → 机器人动作 图像 → 深度图 / mask / 结构化检测结果 缺失模态 → 伪模态补全在 sVLM / MLLM / VLA 系统里模态生成器通常不是单独一个网络而是由模态编码器、跨模态对齐层、核心推理模型、目标模态解码器共同组成。1. 模态生成器的核心结构典型结构如下输入模态 x_m ↓ 模态编码器 Encoder_m ↓ 语义 latent / token 表示 z_m ↓ 跨模态对齐 / 融合模块 ↓ 统一推理核心LLM / Transformer / Diffusion / DiT / Flow ↓ 目标模态解码器 Decoder_n ↓ 输出模态 y_n可以抽象成z_m Encoder_m(x_m) h Fusion(z_m, prompt, task) y_n Decoder_n(h)训练目标一般包含L L_generation L_alignment L_reconstruction L_instruction L_contrastive其中损失作用L_generation让模型生成目标模态如图像、文本、语音、动作L_alignment让不同模态进入同一语义空间L_reconstruction用于 VAE / VQ-VAE / diffusion 的重建质量L_instruction让模型听懂人类指令L_contrastive类似 CLIP / ImageBind 的跨模态相似度约束2. 三类主流技术路线2.1 路线一编码器 专用解码器这是最常见、最工程化的路线。文本 Encoder → 图像 Diffusion Decoder 图像 Encoder → 文本 LLM Decoder 文本 Encoder → 语音 TTS Decoder 图像/文本 Encoder → 动作 Policy Decoder典型例子方向模态生成Stable Diffusion文本 → 图像LLaVA / MiniCPM-V图像 文本 → 文本Coqui TTS文本 → 语音OpenVLA图像 语言 → 机器人动作ControlNet图像条件 / 边缘 / 姿态 / mask → 可控图像优点是工程成熟、效果稳定缺点是不同模态通常要接不同 decoder系统复杂度较高。Stable Diffusion 本质上是CLIP 文本编码器 latent diffusion 图像生成器官方仓库也明确说明它是由 CLIP ViT-L/14 文本嵌入条件控制的 latent diffusion 模型。([GitHub][1])2.2 路线二统一 token 化多模态都当成“语言”这类方法把图像、语音、视频、动作都离散化成 token然后统一交给 Transformer / LLM 做 next-token prediction。文本 token 图像 token 音频 token 动作 token bbox token mask token ↓ 统一 Transformer ↓ 生成目标模态 token ↓ 目标模态 Decoder 还原代表项目项目说明Unified-IO 2统一处理图像、文本、音频、动作、bbox 等输入输出AnyGPT把语音、文本、图像、音乐表示为离散 token用 LLM 做统一建模VILA-U用单一自回归 next-token 框架统一视觉理解与视觉生成Unified-IO 2 被描述为可以理解并生成image、text、audio、action的自回归多模态模型并把图像、文本、音频、动作、bbox 等统一 token 化到共享空间中。([arXiv][2])AnyGPT 则强调通过离散表示统一处理 speech、text、image、music并且尽量不改动现有 LLM 架构和训练范式。([GitHub][3])这条路线很适合未来 sVLM因为它可以把“检测框、OCR、mask、动作、商品属性”都统一成 token。2.3 路线三多模态生成专家 / Any-to-Any 架构这类方法不强求所有模态都由一个 decoder 生成而是LLM 做中枢调度 图像由 diffusion 生成 音频由 audio generator 生成 视频由 video diffusion 生成 文本由 LLM 生成典型代表项目特点NExT-GPT任意模态输入 → 任意模态输出CoDiComposable Diffusion支持任意模态组合生成ImageBind 生成器先绑定多模态语义空间再接不同生成器NExT-GPT 官方说明其通过连接 LLM、多模态适配器和不同 diffusion decoder实现 text、image、video、audio 的任意输入输出。([next-gpt.github.io][4])CoDi 的核心是 Composable Diffusion可以从任意输入模态组合生成语言、图像、视频或音频等输出模态。([codi-gen.github.io][5])ImageBind 则不是直接生成模型而是把 image、text、audio、depth、thermal、IMU 六种模态映射到统一 embedding 空间可作为模态生成器前面的“跨模态语义枢纽”。([GitHub][6])3. 模态生成器的关键模块3.1 模态编码器负责把原始输入变成统一 latent / token。输入模态常见编码器图像CNN、ViT、CLIP、SigLIP、SAM encoder文本BERT、T5、LLaMA、Qwen、Mistral tokenizer embedding音频Whisper encoder、HuBERT、Wav2Vec2、EnCodec视频TimeSformer、VideoMAE、3D Conv、ViT temporal adapter点云 / 深度PointNet、Point-BERT、SparseConv、Voxel encoder动作Action tokenizer、轨迹编码器、VLA policy encoder3.2 跨模态对齐层作用是把不同模态对齐到一个语义空间。常见方法1. Contrastive Learning 图像-文本相似度对齐如 CLIP / SigLIP 2. Projection / Adapter 把视觉特征投影到 LLM token 空间如 LLaVA projector 3. Q-Former / Resampler 用少量 query token 压缩视觉信息如 BLIP-2 / Flamingo 类路线 4. Cross-Attention 文本 token 通过 cross-attention 读取视觉 / 音频 / 视频特征 5. Unified Tokenizer 直接把不同模态变成 token 序列LLaVA 的典型结构就是视觉编码器 投影层 LLM通过 visual instruction tuning 让图像输入可以被语言模型理解和回答。([GitHub][7])3.3 目标模态解码器这是“生成器”的核心。目标模态常见生成器文本LLM decoder图像Diffusion / VAE decoder / DiT视频Video Diffusion / 3D U-Net / DiT语音TTS acoustic model vocoder音乐Audio token autoregressive model机器人动作Policy decoder / diffusion policy / flow policymask / bboxDetection head / segmentation decoder深度图Dense prediction decoderAudioCraft 是典型音频模态生成器工具包含 AudioGen 和 MusicGen 的推理与训练代码用于高质量音频生成。([GitHub][8])Coqui TTS 则是文本到语音方向的成熟开源工具提供 1100 语言的预训练模型以及训练、微调、数据分析工具。([GitHub][9])4. 在 sVLM 中模态生成器主要做什么对 sVLM 来说模态生成器不一定要生成漂亮图片更重要的是生成任务有用的中间模态。5. 推荐开源项目5.1 通用多模态生成 / Any-to-Any项目推荐指数适合用途NExT-GPT★★★★★任意模态输入输出框架适合研究“LLM 多模态 decoder”架构CoDi / i-Code★★★★☆任意模态组合生成适合研究 composable diffusionAnyGPT★★★★☆离散 token 统一建模适合研究统一多模态 LLMUnified-IO 2★★★★☆图像、文本、音频、动作统一建模适合理论和大一统架构研究VILA-U★★★★☆单一自回归框架统一视觉理解和生成NExT-GPT 适合看“LLM 中枢 多个模态解码器”的工程组织方式AnyGPT 和 Unified-IO 2 更适合看“所有模态 token 化”的统一建模路线。([GitHub][10])5.2 图像生成 / 图像编辑 / 可控生成项目推荐指数适合用途Hugging Face Diffusers★★★★★diffusion 模型训练、推理、微调、部署基础库Stable Diffusion★★★★★文本到图像、图像编辑、LoRA 微调ControlNet★★★★★边缘图、深度图、姿态、mask 条件控制生成ComfyUI★★★★☆节点化搭建复杂生成 pipelineDiffusers 是目前最常用的 diffusion 工程库之一官方说明其覆盖图像、音频甚至 3D 分子结构生成模型。([GitHub][11])ControlNet 的核心价值是给 diffusion 模型加入额外条件例如边缘、姿态、深度、mask让生成结果可控。([GitHub][12])ComfyUI 适合做工程原型因为它用节点/流程图方式搭建 Stable Diffusion 工作流不需要大量手写代码。([GitHub][13])5.3 视觉语言理解生成图像 / 视频 → 文本项目推荐指数适合用途LLaVA / LLaVA-NeXT★★★★★VLM 架构学习、visual instruction tuningMiniCPM-V★★★★★端侧多模态理解适合 sVLM / edge VLMVILA★★★★☆高效视频、多图理解SmolVLM★★★★☆轻量级 VLM baselineMiniCPM-V 系列定位为高性能、可端侧部署的多模态大模型MiniCPM-o 进一步扩展到实时 video/audio 输入和 text/speech 输出。([GitHub][14])VILA 是一系列开放 VLM重点优化高效视频理解和多图理解。([GitHub][15])5.4 音频 / 语音生成项目推荐指数适合用途Coqui TTS★★★★★文本转语音、语音克隆、TTS 微调AudioCraft / MusicGen / AudioGen★★★★★音乐生成、环境音生成、音频 token 生成Bark / XTTS 类项目★★★★☆多语言语音生成、对话式语音输出AudioCraft 的 MusicGen 是单阶段自回归 Transformer基于 EnCodec tokenizer 的多 codebook 音频 token 生成。([GitHub][16])5.5 视频生成项目推荐指数适合用途Open-Sora★★★★★文本到视频、图像到视频、开源视频生成研究Open-Sora-Plan★★★★☆文生视频模型组合与训练方案参考VideoCrafter / ModelScope T2V★★★☆☆传统开源文生视频 baselineOpen-Sora 官方说明其模型优化了 image-to-video同时也支持 text-to-video并提供 text-to-image-to-video pipeline。([GitHub][17])Open-Sora-Plan 中的 Allegro 支持最高 6 秒、15 FPS、720p 的文本到视频生成是可关注的开源视频生成路线。([GitHub][18])5.6 机器人动作 / VLA 模态生成项目推荐指数适合用途OpenVLA★★★★★图像 指令 → 机器人动作LeRobot★★★★★机器人数据、训练、策略部署工具链openpi★★★★★flow-based / autoregressive VLA 动作生成Open X-Embodiment★★★★☆大规模机器人轨迹数据OpenVLA 是开源 Vision-Language-Action 模型面向通用机器人操作支持训练和微调机器人 manipulation policy。([GitHub][19])OpenVLA-7B 模型使用 Open X-Embodiment 的 970K 机器人操作 episode 训练输入语言指令和相机图像输出机器人动作。([Hugging Face][20])openpi 仓库包含 π₀ flow-based VLA 和 π₀-FAST autoregressive VLA后者基于 FAST action tokenizer。([GitHub][21])LeRobot 提供真实机器人机器学习所需的模型、数据集和工具目标是降低机器人学习门槛。([Hugging Face][22])5.7 缺失模态生成 / 模态补全这个方向对工业落地很重要例如摄像头缺失 → 用历史图像 / 结构先验补全 音频缺失 → 用视觉事件估计 图像局部遮挡 → 用语义先验恢复 缺少 OCR → 用商品 embedding SKU 库补全推荐项目项目推荐指数适合用途SMIL★★★★☆严重缺失模态场景的多模态学习MD²N★★★★☆diffusion 式缺失模态恢复MissRAG★★★★☆用多模态 RAG 解决 MLLM 缺失模态问题MPLMM / missing-aware prompts★★★☆☆prompt learning 处理缺失模态SMIL 明确研究训练和测试阶段都可能存在模态缺失的问题甚至考虑 90% 样本存在不完整模态的严重缺失场景。([GitHub][23])MD²N 使用 multi-stage duplex diffusion 做缺失模态恢复通过 global structure generation、modality transfer、local cross-modal refinement 三阶段完成补全。([crystal-punk.github.io][24])MissRAG 则通过从训练集原型池检索相关模态数据缓解 MLLM 输入模态缺失问题。([GitHub][25])8. 最推荐的开源清单综合工程价值建议重点跟踪1. Hugging Face Diffusers 2. Stable Diffusion 3. ControlNet 4. ComfyUI 5. LLaVA / LLaVA-NeXT 6. MiniCPM-V 7. VILA / VILA-U 8. NExT-GPT 9. AnyGPT 10. Unified-IO 2 11. ImageBind 12. Coqui TTS 13. AudioCraft 14. Open-Sora 15. OpenVLA 16. LeRobot 17. openpi 18. SMIL 19. MD²N 20. MissRAG总结模态生成器的本质是把不同模态统一成可计算的语义表示再通过目标模态 decoder 生成图像、文本、音频、视频、动作或结构化结果。未来 sVLM 的重点不是单纯“生成图片”而是生成能服务任务决策的中间模态mask、bbox、OCR、embedding、属性文本、库存差异和动作。参考链接:[1]: https://github.com/compvis/stable-diffusion?utm_sourcechatgpt.com “CompVis/stable-diffusion: A latent text-to-image …”[2]: https://arxiv.org/abs/2312.17172?utm_sourcechatgpt.com “Unified-IO 2: Scaling Autoregressive Multimodal Models …”[3]: https://github.com/OpenMOSS/AnyGPT?utm_sourcechatgpt.com Code for “AnyGPT: Unified Multimodal LLM with Discrete …”[4]: https://next-gpt.github.io/?utm_sourcechatgpt.com “NExT-GPT”[5]: https://codi-gen.github.io/?utm_sourcechatgpt.com “CoDi: Generate Anything from Anything All At Once through …”[6]: https://github.com/facebookresearch/imagebind?utm_sourcechatgpt.com “ImageBind One Embedding Space to Bind Them All”[7]: https://github.com/haotian-liu/llava?utm_sourcechatgpt.com “haotian-liu/LLaVA: [NeurIPS’23 Oral] Visual Instruction …”[8]: https://github.com/facebookresearch/audiocraft?utm_sourcechatgpt.com “GitHub - facebookresearch/audiocraft”[9]: https://github.com/coqui-ai/tts?utm_sourcechatgpt.com “coqui-ai/TTS: - a deep learning toolkit for Text-to- …”[10]: https://github.com/NExT-GPT/NExT-GPT?utm_sourcechatgpt.com “NExT-GPT: Any-to-Any Multimodal LLM”[11]: https://github.com/huggingface/diffusers?utm_sourcechatgpt.com “State-of-the-art diffusion models for image, video, and …”[12]: https://github.com/lllyasviel/controlnet?utm_sourcechatgpt.com “lllyasviel/ControlNet: Let us control diffusion models!”[13]: https://github.com/Comfy-Org/ComfyUI?utm_sourcechatgpt.com “Comfy-Org/ComfyUI: The most powerful and modular …”[14]: https://github.com/OpenBMB/MiniCPM-V?utm_sourcechatgpt.com “OpenBMB/MiniCPM-V: A Pocket-Sized MLLM for Ultra- …”[15]: https://github.com/NVlabs/VILA?utm_sourcechatgpt.com “VILA is a family of state-of-the-art vision language models …”[16]: https://github.com/facebookresearch/audiocraft/blob/main/docs/MUSICGEN.md?utm_sourcechatgpt.com “audiocraft/docs/MUSICGEN.md at main”[17]: https://github.com/hpcaitech/Open-Sora?utm_sourcechatgpt.com “Open-Sora: Democratizing Efficient Video Production for All”[18]: https://github.com/PKU-YuanGroup/Open-Sora-Plan?utm_sourcechatgpt.com “PKU-YuanGroup/Open-Sora-Plan”[19]: https://github.com/openvla/openvla?utm_sourcechatgpt.com “OpenVLA: An Open-Source Vision-Language-Action Model”[20]: https://huggingface.co/openvla/openvla-7b?utm_sourcechatgpt.com “openvla/openvla-7b”[21]: https://github.com/Physical-Intelligence/openpi?utm_sourcechatgpt.com “Physical-Intelligence/openpi”[22]: https://huggingface.co/lerobot?utm_sourcechatgpt.com “LeRobot”[23]: https://github.com/deep-real/SMIL?utm_sourcechatgpt.com “SMIL: Multimodal Learning with Severely Missing Modality”[24]: https://crystal-punk.github.io/?utm_sourcechatgpt.com “Unbiased Missing-modality Multimodal Learning”[25]: https://github.com/aimagelab/MissRAG?utm_sourcechatgpt.com “MissRAG: Addressing the Missing Modality Challenge in …”