字节会师何恺明！开源连续扩散语言模型Cola DLM

一水 发自 凹非寺量子位 | 公众号 QbitAI大语言模型真的只能走“预测下一个token”的路子吗继何恺明之后字节也给出了同样的回答NO。并且两边都不约而同地盯上了同一个方向——在连续语义空间中建模语言。更关键的是字节这次直接开源开到底论文、代码、模型权重、中文博客通通释出。帮大家快速回忆一下。就在上周何恺明团队推出首个扩散语言模型ELF——它跳过token层把整个生成过程留在连续embedding空间里完成仅用105M参数就跑赢一众主流扩散语言模型第一次证明连续路线在语言生成上真有潜力。而字节这次带来的Cola DLMContinuous Latent Diffusion Language Model则进一步佐证了这一趋势。他们同样选择跳出离散token的束缚把生成过程交给连续空间结果是在~2B参数、约2000 EFLOPs的严格对照实验下Cola DLM展现出了比自回归模型和主流离散DLM更稳定的scaling趋势。然而正当你以为这不过是又一个“把图像扩散模型搬进语言领域”的故事时字节却告诉你错了。Cola DLM的motivation从来不是diffusion。啊不是为了diffusion结果做了个diffusion language model字节Token≠语义表征才是真正的主角事实上真正的主角藏在这句话的后半段Cola DLM的motivation从来不是diffusion而是representation表征。在字节看来真正重要的是表征Token这种tokenizer工程和历史演化的副产物仅仅是表征被实现出来的一种形式而已。他们还大胆给出了一个暴论Token是人类语言系统的表层载体不是语义本身。简单看一个例子你就懂了比如我们用不同的话表达同一个意思我今天很开心。今天我心情很好。今天过得挺愉快。token差了一大堆但语义还是那一个。放在以前主流大模型通常会把这些不同说法当成几套不同的表达分别去学——明明背后是同一个语义模型偏偏要在token这个表层挨个对齐。所以字节的判断是如果模型内部存在一种更稳定、更抽象的“语义状态”那这些本质相同、只是说法不同的句子其实没必要被分别记忆而是可以在内部收敛到相近的表示。因此本质上而言Cola DLM的diffusion不是在恢复token而是在transport一个latent prior。怎么“transport一个latent prior”字节选择直接把语义和实现分层。具体方法论指路论文3.1.1这里我们简单翻译过来就是Cola DLM的生成模型本质上只有两部分。一个latent prior负责生成“潜在语义” 一个decoder负责把这些语义翻译成具体文字。 看上去就像是把“生成一句话”拆成了两件相对独立的事。而且关键在于整个diffusion/flow matching过程其实都发生在latent空间里而不是token空间里。就是说Cola DLM干的不是把一堆脏token慢慢去噪成干净token而是先在连续语义空间里把一团随机语义慢慢组织成有意义的潜在表达最后再统一翻译成文字。所以在它的生成路径里其实根本没有token的逐步生成过程token只在最后一步才出现前面学的都是“语义怎么形成”。这也是Cola DLM和很多扩散语言模型最大的不同。很多DLM本质上还是围绕token在做“修修补补”比如恢复被mask的token、逐步还原离散文本。但Cola DLM直接把diffusion从“文字层”搬到了“语义层”diffusion不再负责“生成token”而是负责“组织语义”。在字节看来这不是包装上的差异而是改变了diffusion在模型里到底干什么。Cola DLM背后关键细节方法论我们知道了那Cola DLM真正“和传统连续DLM拉开差距”的地方到底在哪答案就藏在几个很工程化但很关键的设计选择里。关键1latent不是简单的embedding替代品首先是latent是怎么来的。很多人一听“连续语言模型”第一反应是——不就是在word embedding上做扩散嘛。但Cola DLM偏偏没这么做它专门搭了一套Text VAEEncoder把离散文本压缩成连续latent相当于提取“语义指纹”Decoder把latent再还原回文本。差别在哪token embedding还是和token一一绑定的每个token一个向量本质上还是token序列。而Cola DLM要的latent是一个可以连续变化、可被概率建模的随机变量。这样一来模型处理的对象就不再是“下一个token”而是“整段文本对应的语义状态”。关键2prior不是普通的diffusionCola DLM用的不是大家熟悉的“加噪→去噪”那种diffusion而是一个叫block-causal DiTFlow Matching的组合。组合看不懂不要紧知道这个组合做的事就行了从一个简单分布比如高斯出发在连续时间里学习一个vector field向量场把这个分布“运输”成真实数据对应的latent分布。说白了就是不靠反复去噪而是直接学一条“最优路径”把噪声平滑地引向有意义的语义。更妙的是它在这个语义路径上还引入了block结构——块内并行搞定局部语义的快速组织块间按因果顺序保证整体逻辑不乱。整体相当于在语义层重新搭了一套生成框架“局部快、整体顺”两样都没丢。关键3训练时角色分工明确连续扩散语言模型有一个常见问题语义表示latent很容易被diffusion带偏最后退化成一个“穿了马甲的token”即表面是连续向量但骨子里还是在记词根本没形成真正的语义抽象。所以Cola DLM的做法是——把两个任务彻底分开。Encoder/Decoder只管“怎么把文字变成语义表示再变回来”PriorDiTFM只管“怎么从噪声生成语义表示”。而且训练时Encoder在diffusion阶段基本“冻结不动”。为什么不让它也跟着学因为一旦让Encoder去适应diffusion它就会为了降低loss而偷懒把语义表示悄悄滑向“好预测的token形式”最后又回到老路上。字节想要的是一个稳定的语义空间而不是一个被任务污染的中介层。所以他们反其道而行之让prior去适应语义空间而不是让语义空间讨好prior。此外他们还加了一个语义约束BERT-style mask loss防止encoder在重建时“语义坍塌”。实验证明没有这个约束latent确实会为了降loss而漂走。关键4把训练目标拆成了三块可以分别诊断的子任务如果说前面三点更像工程上的巧思而这第四点就是Cola DLM在理论上的硬功夫。字节把训练目标拆成了三个可以单独看、单独诊断的子任务重建能力给了latentDecoder能不能把原文还原出来压缩能力这个语义表示到底压缩了多少原文信息拟合能力Prior能不能学出latent的真实分布这样拆的好处在于传统自回归把所有东西都糊在一个“预测下一个词”的损失函数里。生成效果不好时你根本不知道是哪里出了问题不知道是理解错了、记忆不够还是生成路径歪了。而Cola DLM把账算得清清楚楚哪里不行分别看指标就知道。这也它能跑出稳定scaling趋势的底层原因——不是瞎蒙而是每一个环节都能单独诊断、单独优化。最后鉴于篇幅原因这里我们直接放上字节Cola DLM研究的成果省流版详细内容指路博客同一个追问两种答案而说到这里我们很难不把字节Cola DLM与何恺明团队的ELF放在一起看。很有意思的是两份工作几乎同期都在挑战一个被默认了二十年的假设——语言模型必须建立在离散token上。为什么这个假设开始受到质疑一方面自回归大模型走到今天“预测下一个token”这条路的瓶颈越来越明显——推理慢、长程依赖弱、训练目标和真实生成质量之间存在结构性gap。另一方面扩散模型在图像、视频生成上的成功让大家开始反思离散token真的是语言智能必须依附的载体吗还是只是历史选择的一种习惯这两年扩散语言模型的探索LLaDA、Dream-7B、MDLM等已经把这个问题拉到了台面上但大多数工作还停留在“离散派”——还是在token上做扩散。直到ELF和Cola DLM出现两边几乎同时给出了同一个答案——不必绑在token上。只不过具体解法上有所不同。我也去对比了两项研究之前的区别用图片展示如下简单说ELF像一个人从头干到尾在原长度embedding空间里反复琢磨到最后一步才落笔成字。Cola DLM则像两个分工部门语义部先讨论“要表达什么”文字部再负责“具体怎么写”。两条路线方法上虽然不同但底层关切完全一致——让建模发生在最适合语言本质的表示空间里不要被“token语义”这个默认框架限定。本质上而言它们其实是同一个问题的两种回答。而这也代表着一种趋势——是时候重新认识连续扩散语言模型了。过去两年扩散语言模型的舞台几乎一直由“离散派”占据。但ELF和Cola DLM这一前一后两次出手让“连续路线”第一次以一种严肃、可被对比、可被复现的姿态站到了台前。更值得注意的是Cola DLM还顺手指出了一件更大的事——长期以来“统一多模态”卡住的核心障碍之一就是文本是离散的而图像、视频、音频天然偏连续。如果想让它们真正进入同一个“latent世界”必须有一个把文本映射到连续语义latent的接口。而Cola DLM恰好扮演了这样的角色。而这或许才是字节这次出手的真正野心——不是在扩散语言模型的赛道里再添一名选手而是为语言模型造一座桥把它接入连续多模态的世界。当然Cola DLM团队自己也很克制他们在博客最后写道Cola DLM只是这条路上的一次早期尝试但这条路本身值得继续走下去。作者介绍最后按照惯例介绍一下这项研究的作者。整个团队由字节跳动Seed团队主导集结了来自港大、人大、北大、北邮、澳国立多所高校的研究者覆盖语言建模、扩散模型、视频生成等多个方向。第一署名Hongcan Guo郭泓灿目前是北邮人工智能学院大四本科生从2025年6月起在字节Seed实习。研究兴趣集中在生成模型与推理模型的数学基础和学习动力学Cola DLM的博客正是出自他手。通讯作者Yan Zeng曾妍则是字节Seed内部的“大牛级”人物她是字节爆款视频生成模型Seedance系列的研发负责人。有资料显示这位西安交大校友2021年以校招生身份加入字节后仅用了五年就从算法工程师晋升至4-2职级。这次Cola DLM里很多“分层潜变量diffusion prior”的思路与视频生成领域长期采用的latent diffusion路线存在明显相通之处。团队里还有一位很有意思的“跨界选手”——Shen Nie。他是人大高瓴AI学院李崇轩组的代表性研究者同时也是离散扩散语言模型LLaDA的第一作者。而LLaDA恰恰也是Cola DLM在论文里重点比较的一条离散扩散路线。某种意义上这件事本身就挺有意思一位离散扩散路线的代表人物也参与到了连续latent路线的研究里。某种程度上也说明Cola DLM这次真正想讨论的已经不只是“扩散怎么生成文本”而是更底层的文本智能到底应该建立在什么样的状态空间之上其他几位核心作者同样来头不小。Hengshuang Zhao是香港大学计算机系助理教授曾在MIT CSAIL、牛津Torr Vision Group做博士后长期活跃于计算机视觉与生成建模领域。Qiushan Guo则来自港大MMLab羅平组同时也是字节Seedream图像生成模型的重要研发成员之一。其他署名作者还有Qinyu Zhao、Yian Zhao、Rui Zhu、Feng Wang、Tao Yang、Guoqiang Wei。实际上如果把整份作者名单放在一起看其实会发现一个非常有意思的现象——字节这次做语言模型某种程度上几乎是把“视频/视觉生成”那套核心思路整体带了进来做latent diffusion的、做视频生成的、做图像prior的、做离散DLM的最后一起重新思考“文本到底该怎么建模”。这或许也是为什么Cola DLM整体看上去会和传统语言模型路线呈现出非常不同的气质。因为它从一开始关注的就不只是“如何更好地生成文本”而是在尝试把语言重新放回连续语义空间里变成一种能够与图像、视频、音频自然对齐的模态。而这也许才是Cola DLM最值得关注的地方当文本不再只是token序列而成为连续世界中的一种语义状态后多模态智能又会长成什么样。抱抱脸地址https://huggingface.co/ByteDance-Seed/Cola-DLMGitHub地址https://github.com/ByteDance-Seed/Cola-DLM论文https://arxiv.org/abs/2605.06548博客https://hongcanguo.github.io/posts/2026-cola-dlm-zh.html一键三连「点赞」「转发」「小心心」欢迎在评论区留下你的想法—完—中国AIGC产业峰会全阵容发布查看议程从底层架构到爆款应用从软件到硬件从创作到投资... 这一次我们希望聚齐AI赛道的实战派聊透AI到底怎么落地、怎么赚钱、怎么改变工作。5月20日北京·金茂万丽酒店所有人马上AI起来 报名参会一键关注 点亮星标