听说读写画样样精通！美团开源LongCat-Next，给物理世界AI统一了语言

美团刚刚开源了最强原生多模态模型LongCat-Next将物理世界AI的语言统一了。LongCat-Next模型能听能说。比如语音问答或者让它用指定音色说话能读能写视觉理解和推理还能画画和设计今天的大模型本质上仍然是以语言为中心的建模系统。能否让AI像处理语言一样用同一种方式简洁有效地处理物理世界的图像、声音、文字交织而成的信息美团LongCat团队给出了答案LongCat-Next模型把图像、语音与文本统一映射为同源的离散Token让物理世界的AI统一了自己的母语。一套架构统一所有模态业界主流的多模态大模型长期受制于语言基座加外挂视觉或语音模块的拼凑式架构非语言模态往往只作为辅助组件存在。这种设计带来很多结构性问题比如图像理解与生成在结构与优化上长期割裂前者依赖对齐机制后者依赖扩散等独立模型多模态信息始终停留在被投影而非被内化。LongCat团队构建了DiNADiscrete Native Autoregressive离散原生自回归架构核心思路非常简单将所有模态统一为离散Token并用同一个自回归模型进行建模。这套架构将物理世界广泛存在的多模态信号收敛为同源的离散特征实现了视觉、语音、文本多模态的底层建模统一。作为整个大语言模型体系的自然扩展DiNA彻底打破了模态间的隔阂。它通过极简的下一Token预测Next Token PredictionNTP范式将图像、声音和文字统一转化为同源的离散Token。在这套原生的统一架构下视觉的看与画、听觉的听与说不再是拼接的异构模块而是同一套预测逻辑的自然涌现。简单而言LongCat-Next把文字、图像、语音都变成同一种东西离散Token。无论读文字、看图片还是听声音对AI来说都是同一件事预测下一个Token是什么。这个设计带来三个根本性改变。第一个改变是架构极简。所有模态共享同一个自回归骨干无论输入的是文字、图像还是音频模型都用同一套参数、同一个注意力机制、同一个损失函数。这种统一设计让模型在训练时更稳定部署时更轻量。LongCat-Next以LongCat-Flash-Lite MoE作为基座总参数68.5B激活参数3B。实验表明DiNA的MoE路由在训练中逐渐出现模态专精化激活专家数量相比纯语言设置有所增加模型正在用更大容量支撑能力扩展。第二个改变是理解与生成对称。LongCat-Next用同一个自回归模型同时实现了视觉理解和生成通过这样解决了长期困扰的理解生成架构和优化不一致问题。在统一Token空间中理解与生成被统一为同一数学问题两者本质上都是条件下的Token预测给定图像Token预测文字Token是理解给定文字Token预测图像Token是生成数学形式完全一致从此不再割裂。实验证明这种对称设计在优化上消弭了冲突统一模型的理解损失仅比纯理解模型高0.006而生成损失比纯生成模型低0.02。理解没有损害生成反而表现出协同潜力。第三个改变是模态内化。在离散原生训练范式下不同模态被统一编码为Token并以相同方式建模。研究者观察到不同模态的Token表征在表示空间中自然融合MoE专家自发形成模态偏好分化。这表明模型并非在对齐模态而是在内部形成统一的多模态表征结构。视觉词汇把图像变成语言DiNA解决的是如何统一建模dNaViT解决的则是如何让图像本身能够被离散化为可建模的Token。LongCat团队首创的dNaViT技术相当于语言模型中的tokenizer分词器就像把句子拆成单词它把一张图拆解成一系列有意义的视觉词汇。dNaViT实现了原生任意分辨率支持。不做缩放、不裁剪、不填充每一处细节都完整保留。通过精心设计的训练策略dNaViT实现了任意分辨率的图像编码与解码在文档解析OCR、复杂图表推理等对细节敏感的任务中具备优势。在OmniDocBench、OCRBench等密集文本场景的测试中均表现优异。dNaViT采用8层残差向量量化Residual Vector QuantizationRVQ技术。细节多了怎么办分层打包。类比于第一层打包轮廓第二层打包颜色第三层打包纹理8层级联递归拟合残差中的残差可以实现高达28倍极致像素空间压缩。解码时DepthTransformer将多级Token合并重建让压缩与还原高效协同。dNaViT还采用了解耦的双轨生成解码器Dual-Path Detokenization设计。离散token还原图像时先由结构像素解码器保住布局再由扩散像素细化器注入纹理细节。解耦设计降低生成方差确保文本渲染无损清晰。更妙的是这套视觉词汇实现了image → token → image的完整回环像语言tokenizer一样既用于看懂图像也用于画出图像。理解时学到的对应关系生成时正好反过来用图像描述和图像生成在同一套token序列中闭环流转。在LongCat-Next中视觉Token完成的是图像到离散ID的映射真正的特征是原生学习的。真正的视觉表征是在语言模型内部通过embedding学习得到的。模型不是接入视觉能力而是在内部学习并形成自己的视觉语言。这种从借用模态到内生模态的转变是原生多模态建模的核心。离散表示何以承载丰富信息离散建模通常被认为受限于两方面表征容量与离散化损失。LongCat团队进一步分析发现真正决定上限的关键在于离散Token本身是否具备语义完备性。问题不在于是否离散而在于离散后的表示是否能够同时承载高层语义与细粒度信息如颜色、纹理与空间结构从而支撑统一的理解与生成。基于这一视角LongCat团队提出实现语义完备离散表示的关键在于构建合适的表征基础。其中一类重要的候选范式是SAESemantic-and-Aligned Encoder语义对齐编码器。不同于以对比学习为主的模型SAE通过大规模视觉语言监督涵盖图像描述、视觉问答乃至视觉推理等任务学习高信息密度、多属性的表征。这类表征不仅具备丰富的语义结构同时在网络的残差传递机制下底层视觉细节能够持续向高层传播从而在抽象语义中保留细粒度信息为离散Token的语义完备性提供基础。在此之上离散化过程本身仍需尽可能减少信息损失。LongCat团队采用多级残差向量量化机制对表征进行逐级离散建模通过层级化拟合残差中的残差在有限离散空间内逼近高维连续表示从而在压缩率与信息保真之间取得平衡。最终得到的离散视觉Token不仅能够支撑细粒度理解任务例如在密集文本识别中优于连续表征模型同时也具备高保真的图像重建能力。离散表示并非信息的退化形式而可以成为统一理解与生成的完备表达载体。用数据说话LongCat-Next在视觉理解、图像生成、音频、智能体等多个维度上以一套离散原生框架展现出与多模专用模型相当甚至领先的性能。这些成绩验证了三个关键发现。行业长期认为离散模型在细粒度文本识别上必然不如连续模型这也是一直阻碍业界使用离散建模作为选项的原因。经过dNaViT的设计以及DiNA的建模框架LongCat-Next表现出了非凡的细粒度感知能力和高质量的视觉推理能力。LongCat-Next在OmniDocBench上的表现达到0.152和0.226这个数据集包含学术论文、财报、行政表格不仅超越Qwen3-Omni还超过了专用视觉模型Qwen3-VL。离散化不是细粒度感知的天花板关键在于如何构建语义完备的离散视觉表征。传统观点认为一个模型很难同时做好理解和生成。消融实验对比中LongCat-Next统一模型的理解损失仅比纯理解模型高0.006而生成损失比纯生成模型低0.02。在图像生成上LongCat-Next在LongText-Bench英文测试达到93.15在图像理解上MathVista达到83.1成为一个具备工业级潜力的理解生成统一方案。理解没有损害生成反而表现出协同潜力。在纯文本任务上LongCat-Next的MMLU-Pro达到77.02C-Eval达到86.80表现领先证明原生多模态训练未削弱语言核心能力。在工具调用上τ²-Bench零售场景达到73.68大幅领先Qwen3-Next-80B-A3B-Instruct的57.3在代码能力上SWE-Bench达到43.0显著超越同类模型。在音频领域这一框架同样展现出良好的通用性。TTS任务上SeedTTS的中文和英文WER分别低至1.90和1.89音频理解上MMAU达到76.40、TUT2017达到43.09均达到先进水平。模型支持低延迟的并行文本语音生成与可定制的语音克隆让语音交互更自然、更个性化。模型学会用同一种方式理解图像、声音和文字它在理解世界时变得更聪明了无论是看懂图表、听懂语音甚至是调用工具、编写代码。LongCat-Next作为一个初步的尝试展示了一个有意义的视角。物理世界的信息可以被离散化、统一化、像语言一样被建模让AI第一次能够像处理文字一样原生地理解物理世界的多模态信号。参考资料https://longcat.chat/longcat-next/introhttps://github.com/meituan-longcat/LongCat-Nexthttps://huggingface.co/meituan-longcat/LongCat-Next