新技术：无需编解码器，NEO-unify如何打造原生视觉语言理解与生成

今天商汤科技发布一篇最新技术博客 NEO-unify: 原生架构打造端到端多模态理解与生成统一模型NEO-unify: Building Native Multimodal Unified Models End to End这篇博客深入解读NEO-unify一项旨在从底层统一多模态理解与生成的端到端原生架构。当前多模态模型普遍采用“视觉编码器VE用于理解变分自编码器VAE用于生成”的组合式设计。这套范式虽行之有效却也内在割裂了感知与创造常面临模块协同与效率权衡的挑战。我们能否更进一步让AI像人一样直接从最原始的像素和文字中统一地进行学习、理解与生成这正是NEO-unify尝试回答的根本问题。它摒弃了传统的VE与VAE首次构建了一个真正的端到端原生统一模型在同一个架构内直接处理像素与文本并在此基础上协同完成理解与生成任务。初步研究成果令人振奋该设计在保持强大语义理解与细节恢复能力的同时显著提升了训练与计算效率。这项技术将如何为生成式AI打开新的想象让我们一同展开探讨。《NEO-unify原生架构打造端到端多模态理解与生成统一模型》英文博客地址https://huggingface.co/blog/sensenova/neo-unify中文博客地址-https://www.sensetime.com/cn/news-detail/51170543?categoryId72当前多模态智能架构困境长期以来多模态研究已形成一种默认范式视觉编码器Vision Encoder, VE 负责感知与理解而变分自编码器Variational Autoencoder, VAE 则用于内容生成。近期的一些工作尝试构建共享编码器但这种折衷往往引入新的结构性设计权衡。由此回到第一性原理构建一体化模型直接处理原生输入即像素本身与文字本身。商汤科技联合南洋理工大学提出一种全新的架构范式NEO-unifypreview一个原生、统一、端到端的多模态模型架构。它不仅越过了当前视觉表征的争论也摆脱了预训练先验和规模定律瓶颈的限制。最关键的是不需要 VE也不需要 VAE。我们正扩大规模、持续迭代。更多模型与开源成果将很快与大家见面。NEO-unify原生一体化架构新范式NEO-unify 第一次迈向真正的端到端统一框架能够直接从近乎无损的信息输入中学习并由模型自身塑造内部表征空间。首先引入近似无损的视觉接口用于统一图像的输入与输出表示其次采用原生混合TransformerMixture-of-TransformerMoT架构使理解与生成能够在同一体系中协同进行最终通过统一学习框架实现跨模态训练文本采用自回归交叉熵目标视觉通过像素流匹配进行优化。模型效果1. 定量结果分析2. 生图效果展示技术发现1. 无编码器设计能够同时保留抽象语义与细粒度表征[图像重建任务]我们先前的工作 NEODiao et al., ICLR 2026表明原生端到端模型同样能够学习到丰富的语义表征。在此基础上我们进一步观察到一个有趣的现象即使在冻结理解分支的情况下独立的生成分支仍然能够从表示中抽取并恢复细粒度的视觉细节。基于这一发现我们训练了 NEO-unify2B。在初步 9 万步预训练后模型在 MS COCO 2017 上取得 31.56 PSNR 和 0.85 SSIM而 Flux VAE 的对应指标为 32.65 和 0.91。这一结果表明即使不依赖预训练 VE 或 VAE近似无损的原生输入仍能够同时支持高质量的语义理解与像素级细节保真。域外图像重建2B NEO-unify理解分支冻结[图像编辑任务]据此我们进一步开展探索NEO-unify 将所有全模态条件信息统一输入到理解分支而生成分支仅负责生成新的图像。即使在冻结理解分支的情况下NEO-unify2B 仍展现出强大的图像编辑能力同时显著减少了输入图像令牌的数量。在使用开源生成与图像编辑数据集并进行初步 6 万步混合训练后模型在 ImgEdit 基准上取得 3.32 的成绩且理解分支在整个训练过程中保持冻结。小规模数据验证2B NEO-unify理解分支冻结ImgEdit提示词编辑2B NEO-unify理解分支冻结2. 无编码器架构与 MoT 主干高度协同大幅降低内在冲突借助预训练的理解分支与生成分支NEO-unify 使用相同的中期训练MT与 监督微调SFT 数据进行联合训练。即使在较低的数据比例和损失权重下理解能力依然保持稳定而生成能力则收敛很快。二者在 MoT 主干中协同提升整体冲突极小。无编码器架构展现更高数据训练效率此外我们首先进行 web-scale 预训练随后在多样且高质量的数据语料上依次进行中期训练MT 和 监督微调SFT。与 Bagel 模型相比NEO-unify 展现出更高的数据训练效率在使用更少训练 token 的情况下取得了更优的性能。未来展望这不仅仅是一种模型架构探索更是迈向下一代智能形态的一步• 感知与生成交织的闭环• 全模态推理• 视觉推理• 空间智能• 世界模型• …一条新的路线图正在展开模型不再在模态之间进行转换而是能够原生地跨模态思考。多模态 AI 不再只是连接不同系统而是构建一个从未割裂的统一智能体并让所需能力从其内部自然涌现。