刚刚！美团开源LongCat-Next，全模态模型保姆级教程（非常详细），从入门到精通，建议收藏！

昨天下午刷到了美团龙猫团队又开源了一个新模型-LongCat-Next。这次有所不同是一个原生全模态模型可以接受文本、语音、图像的输入生成文本、语音、图像激活参数3B。在训练上通过分词器-反分词器对利用LLM的现有训练基础设施就能训练简化了多模态建模。这里为什么强调“原生”不同于语言辅助模块的范式将视觉或音频作为连续的外部特征通过投影层接入语言模型LongCat-Next提出了一套全新的离散原生自回归范式将所有模态文本、视觉、音频全部转化为统一的离散 Token共享同一个自回归预测目标NTP。具体整体框架如下核心是解决一个根本问题非语言模态如何能在离散Token空间中被有效表示相较于音频图像是高维且连续的压缩为离散 Token 时就是会带来的信息丢失问题。为此引入了dNaViTDiscrete Native Vision Transformer离散原生视觉Transformer一个在任意分辨率下视觉理解和生成的统一tokenizer。具有语义完整性通过Semantic-and-Aligned Encoder (SAE) Residual Vector Quantization (RVQ) 实现任意分辨率支持原生处理任意宽高比图像无需裁剪/填充28×压缩率在保持语义完整的前提下实现高效压缩Tokenization和 De-tokenization训练过程如下视觉Tokenization先将SAE特征的连续流形映射到离散潜在空间再采用RVQ以最小化量化误差将密集视觉信号转换为离散token ID。分两阶段进行初始固定分辨率阶段用于快速收敛随后进行任意分辨率训练RVQ适应可变token长度最大训练序列长度设为8192。视觉De-tokenization在离散码本建立后从离散token ID重建像素级图像训练一个亿参数的Vision Transformer的像素解码器为增强感知锐度和高频细节从OmniGen2初始化的图像精化器使用flow matching损失继续训练。SAE编码器和码本在此阶段保持冻结detokenizer以原生分辨率训练直至收敛。还设计一个音频tokenizer将连续语音转化为离散token同时保留语义和声学信息。如下图输入音频首先通过Whisper编码器进行音频特征提取。特征然后以4倍因子下采样再通过8层RVQ量化为离散token。训练过程如下阶段1解码器预热编码器和LLM分别用Whisper-large-v3和Qwen3-1.7B初始化解码器随机初始化。编码器和LLM保持冻结解码器在Mel频谱图重建任务上训练。阶段2语义-声学联合训练除LLM和flow matching模块外所有模块更新。RVQ模块也启用由8层组成码本大小分别为8k、4k、2k、1k、1k、1k、1k和1k。阶段3解码器微调用收集的24kHz高质量音频。LLM模型骨干则采用69B-A3B参数的LongCat-Flash-Lite MoE模型进行初始化。通过t-SNE可视化分析LongCat-Next视觉和文本token完全交织将视觉和音频视为以语言为中心的自回归范式的内在扩展而非外部附加形成了真正的统一语义空间与松散耦合的混合方法形成对比。还有一个比较反直觉的结论LongCat-Next将理解和生成放到一个模型里并没有太多的相互干扰。如下图所示纯理解模型、纯生成模型和统一模型均训练100B数据发现统一模型只用50B理解数据Loss仅比纯理解模型差了0.006生成任务书甚至还低了0.02。说明在DiNA这个纯离散的NTP目标下看图能促进画图画图又不妨碍看图给实现理解生成工业级模型提供了好的解决方案。做完模态专属Tokenizer训练要进行原生多模态训练Pre-align (预对齐)LLM 冻结仅训练 Codebook 嵌入和 DepthTransformer 解码器。Pre-train (预训练)全量参数解冻除Tokenizer外进行跨模态联合学习。Mid-training SFT加入合成长 CoT 数据、任意分辨率生成数据、复杂指令遵循数据。数据方面视觉理解数据大约2T Tokens视觉生成数据包含大约300M 图-文对音频数据大约2.5M 小时。在多模态联合训练时由于Embedding层、LLM主干和解码头的计算耗时完全不一样会产生严重的流水线气泡。为此美团还提出了V型流水线并行VHalf-based Pipeline Parallelism。通过嵌入与模态损失共置、LLM头解耦、自适应LLM层分布解决异构模块间跨阶段通信开销大的问题。只能说现在Infra的人才太关键了昨天俊旸分享的文章也是提到了infra的重要性见从Reasoning思考到Agentic思考。LongCat-Next模型的整体效果在同等级模型上图像理解生成、纯文本、语音ASRTTS方面效果均不错。我进行了简单的测试整体上而言OCR方面不错细粒度内容可以识别的比较准确视觉理解上对于空间变化和复杂逻辑推理的效果不是太理解成语可以但时钟不行跟整体参数量级A3B也有关图像生成效果大字报简单图像还不错太复杂的指令生成的图像不好LongCat-Next其实主要是架构研究设计其实我也没写想到离散模型在图像的细节的把握上还能不错细粒度OCR还能比较准确。视觉理解报告解读、图片理解这些都没啥问题可以精准定位并找到核心点。但世界知识不足金茂大厦识别成中心大厦还是原来模型的老毛病四字成语竟然猜对这个我没想到时钟不对没有理解图片是镜像的OCR识别针对比较复杂的情况识别拍照的试卷内容。结果准确竖版OCR内容识别结果正确纯表格内容识别存在瑕疵文生图Prompt: A t-shirt mockup on a young person. The white t-shirt has a printed design of a cute long cat illustration with the text “LongCat-Next” below it. Simple studio background, clean product photography style.Prompt在大理石台面上一座高高堆叠的彩色马卡龙塔的照片级真实感竖版构图。每个马卡龙都是不同的鲜艳粉彩色——薰衣草紫、薄荷绿、玫瑰粉、柠檬黄、天空蓝、蜜桃色、珊瑚色、开心果绿——层层堆叠。柔和的烘焙灯光浅景深效果每个马卡龙都呈现出细腻的质感和夹心奶油整体风格充满奇趣的美食摄影感。最后一旦文本、图像、语音全部被压缩进统一的离散Token空间那模型做的事情就变得极其纯粹预测下一个token我感觉AGI最后就应该是一个纯粹的道路只不过我们还要走很久。不过美团真有点厚积薄发那意思确实没想到。。。对于本身模型效果上LongCat自己也说了这是本身是一次对原生多模态的一次有意义的尝试学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】