Meta与斯坦福：字节级AI实现逐字节生成瓶颈突破与速度提升能力

这项由Meta人工智能基础研究团队FAIR at Meta与斯坦福大学、华盛顿大学联合开展的研究于2026年5月发表论文预印本编号为arXiv:2605.08044v1。感兴趣的读者可以通过该编号在arXiv平台上查阅完整论文。现代语言模型的工作方式大多数人都没仔细想过当你在用ChatGPT或类似的AI工具时它并不是真的逐字逐字地写出回答而是把文字先切割成一个个词片段——专业上叫做词元token——然后对着这些词片段进行预测和生成。这种做法效率高但也带来了一些隐患。比如对于不同语言的用户来说同样一段话被切割成的词片段数量可能相差几倍中文用户往往吃亏再比如遇到拼写错误、专有名词、代码这类不规则内容时这套切词规则就容易露馅。字节级语言模型就是为了根治这个问题而生的。顾名思义它不再依赖预先设计好的词汇表和切割规则而是直接对原始字节也就是计算机存储文字的最小单位每个英文字母、数字甚至汉字都由若干字节组成进行处理彻底绕开了词汇切割这道门槛。然而字节级模型长期以来面临一个让人头疼的问题太慢了。原因不难理解——一个普通的英文词元平均覆盖好几个字节如果模型要像传统方法那样一步一步地生成对于同样一段文字它需要走的步骤数远远多于词元级模型。这就像是一个厨师别人用一把大铲子翻炒一道菜而他非要用筷子一粒一粒地翻动食材最终结果一样但耗时完全不成比例。Meta和斯坦福的研究团队把目光投向了一个已经在字节级领域展现出潜力的架构——字节潜变换器Byte Latent Transformer简称BLT。BLT的聪明之处在于它不是对每一个字节都进行全力以赴的深度运算而是把字节动态地打包成长度不等的补丁patch然后集中精力对这些补丁对应的潜在表示进行运算。越难预测的文字内容补丁越短、处理越精细越容易预测的部分补丁越长、处理越粗略。这样一来整体运算量大幅降低。但即便如此BLT在生成文本时仍然是一个字节一个字节地往外蹦这在现代AI推理的硬件层面造成了一个被称为内存带宽瓶颈的问题。通俗地说就是模型的权重参数被反复从内存中调入调出每生成一个字节就要搬运一次这些庞大的工具箱效率极低。正是针对这个具体的瓶颈这支研究团队提出了三种全新的训练与生成技术统一冠以快速字节潜变换器Fast BLT的名号。这篇文章将带你完整地了解这三种方法的来龙去脉、实际效果以及它们各自适合什么场景。一、从逐字节蹦跶到整块并行释放BLT扩散模型是怎么炼成的要理解研究团队的第一个发明——BLT扩散模型BLT Diffusion简称BLT-D——先得了解扩散语言模型diffusion language model这个概念的基本逻辑。扩散模型原本是图像生成领域的明星技术。它的核心思路是先把一张清晰的图片污染成一团噪声然后训练模型学会如何一步一步地把噪声去除还原成清晰的图片。文本领域的扩散模型借鉴了这个思路但把加噪声改成了遮盖——把一段文字里的某些词或字节替换成特殊的遮罩符号然后让模型学会把被遮住的内容猜回来。这和我们熟悉的完形填空非常像。关键在于扩散模型在生成时可以同时预测一整段被遮住的内容而不是像传统自回归模型那样必须先生成第一个字才能生成第二个字再生成第三个字……这种并行生成的能力正是它速度优势的来源。然而把扩散模型硬塞进BLT的架构里并不是件简单的事。BLT的补丁是动态计算的——文字的难易程度不同补丁的长度就不同这让固定块大小的扩散框架显得很别扭。研究团队的解法是在训练时构造出一些固定长度的块这些块的起点与BLT的补丁边界对齐但块的长度可以超过单个补丁延伸到后续补丁的字节中。这样模型就被迫学会向前多看几个字节具备了预测超出当前补丁范围的能力。训练过程同时使用了两个目标一个是传统的下一个字节预测逐字节的自回归损失另一个是被遮盖字节预测扩散损失。二者合并成一个总损失函数一起优化。这样训练出来的BLT-D既保留了BLT原有的自回归生成能力又额外获得了并行扩散解码的能力。在生成阶段BLT-D的工作流程可以这样理解编码器和全局模型这是BLT架构中负责深度思考的大脑部分照常工作对已有的文字内容进行理解和编码输出一组潜在表示。然后解码器面对的不是一个空白位置而是一整块填满了遮罩符号的固定长度区域就像一张布满空格的填字游戏纸。解码器用双向注意力它可以同时看到这块区域内所有位置的状态对这些空格进行推断每次可以填入多个最有把握的字节直到整块区域全部填满。填字的顺序由两种策略控制。一种是置信度优先每次选出模型最确定的那些空格填入直到达到一个预设的置信度阈值。另一种叫熵约束采样EB sampling先按照每个空格的预测不确定程度从低到高排序然后依次累加不确定性一旦累加值超过某个阈值就停下来把阈值以内的空格全部填入。这种方式可以和top-p采样结合产生多样化的生成结果。两种策略都有一个保底机制如果没有任何空格满足条件就至少填入最有把握的那一个确保不会卡死。这套机制的实际效果怎么样研究团队训练了四种模型一个标准BLT以及块大小分别为4、8、16字节的三种BLT-D变体分别称为BLT-D-4、BLT-D-8、BLT-D-16。每种模型都训练了10亿参数和30亿参数两个规模所有模型都在同一个包含1万亿词元的大规模数据集上训练确保比较公平。从30亿参数的翻译任务结果来看BLT-D-4在法语到英语翻译中获得了38.09分BLEU分数衡量翻译质量的标准指标与BLT的40.72分差距不大而它的内存带宽消耗比BLT低了约58%。BLT-D-8在同一任务中得到37.09分内存带宽降低约78%。BLT-D-16则将内存带宽压缩到只有BLT的8%到13%左右降低幅度高达87%到92%但翻译质量有所下降代码生成任务上的表现下滑更为明显。这说明块大小越大速度越快但模型需要猜测的未来字节越多质量代价也越大。二、BLT的自我草稿让轻量解码器替代专门的草稿模型了解了BLT-D之后我们来看第二种方法——BLT自我猜测BLT Self-speculation简称BLT-S。这种方法的思路来自近年来在大模型推理领域非常流行的一项技术推测性解码speculative decoding。推测性解码的基本逻辑是与其让大模型每生成一个词就搬运一次整个工具箱不如用一个轻量级的小模型先快速草拟出几个候选词然后让大模型一次性验证这批草稿接受对的、拒绝错的并替换掉第一个出错的位置。因为大模型的一次并行验证往往比多次单步生成高效整体速度就提升了。传统推测性解码的代价是需要维护两个模型增加了系统的复杂性。BLT-S则利用了BLT自身架构的特点把草稿模型的角色交给了BLT自己的轻量解码器完全无需引入额外的模型。回忆一下BLT的工作方式编码器把输入字节打包成补丁全局模型对这些补丁进行深度处理然后解码器根据全局模型的输出一个字节一个字节地生成新内容。每当解码器生成到一个高不确定性的字节时也就是下一个补丁应该开始的地方BLT就会重新调用编码器和全局模型获取最新的潜在表示。BLT-S的改动很简单不再在高不确定性处立刻停下来调用编码器和全局模型而是让解码器硬撑着继续往下生成直到生成了固定数量k个字节。这k个字节就是草稿。草稿生成完毕后BLT才调用完整的编码器和全局模型对整个包含草稿的序列进行一次完整的前向传播得到每个位置的下一字节预测。然后BLT-S从草稿的第一个字节开始逐一比对若草稿字节与模型验证的预测一致接受并继续若不一致替换掉该字节并终止这轮草稿从替换点开始下一轮。由于验证使用的是贪心解码即每次选概率最高的字节且接受标准是精确匹配草稿字节必须与模型验证的预测完全一致BLT-S在贪心解码下保证输出与标准BLT完全相同——这是一个非常重要的性质意味着加速没有任何质量代价。实验数据印证了这一点。在30亿参数的翻译任务中BLT-S使用k8时法语到英语翻译得分依然是40.72分与标准BLT完全一致但内存带宽降低了约51.65%k16时降低了约62.15%不过此时解码器生成的草稿有更多字节不被接受验收率降至约70%说明解码器在预测较远的未来字节时开始力不从心。代码生成任务上k16时内存带宽降低约63%质量同样没有损失。这意味着BLT-S在不牺牲任何生成质量的前提下实现了相当可观的效率提升。三、扩散草稿加上自回归验证BLT-DV如何两全其美有了BLT-D的高速并行生成和BLT-S的无损验证加速研究团队自然想到了一个组合技能不能用BLT-D的扩散解码器来生成草稿再用自回归的方式来验证和修正这些草稿从而在速度和质量之间取得更好的平衡这就是第三种方法——BLT扩散加验证BLT DiffusionVerification简称BLT-DV。实现这一思路的关键前提恰恰就藏在BLT-D的训练设计里。前面提到BLT-D的训练损失函数包括两部分扩散损失和自回归下一字节预测损失。这意味着同一个BLT-D模型既可以用扩散模式运行解码器对一整块遮罩位置进行双向注意力并行预测也可以用自回归模式运行解码器只用因果注意力掩码一个字节一个字节地生成。切换模式只需要改变注意力掩码的设置模型参数完全不用换。BLT-DV的生成过程就是先用扩散模式生成一块草稿字节然后立即切换到自回归模式对整段包含草稿的序列做一次完整前向传播得到每个位置的下一字节预测再用与BLT-S相同的验证逻辑逐一核对草稿接受正确的替换第一个错误的。研究团队发现在BLT-DV中使用一步扩散也就是只做一次解码器前向传播就把整块遮罩全部填完相当于最激进的并行生成配合验证是推理速度最快的设置。虽然一步扩散单独使用时质量会严重下降但验证步骤有效地兜了底把质量拉回到一个可接受的水平。具体来看30亿参数的代码生成任务HumanEvalBLT-D-8在纯扩散模式置信度阈值0.7下得分15.85而BLT-DV-8一步扩散加验证得分上升到16.46内存带宽比BLT降低了约54%。BLT-D-16纯扩散下得分9.76BLT-DV-16一步扩散加验证后提升至14.02内存带宽降低约71.5%。对于翻译任务BLT-DV-8的表现接近BLT-D-4的水平而BLT-DV-16也明显优于纯BLT-D-16。可见验证这一步确实在大块扩散时发挥了显著的质量修复作用。代价是什么验证需要额外调用一次完整的编码器和全局模型因此BLT-DV的编码器和全局模型调用次数比纯BLT-D更多总内存带宽比纯BLT-D略高。不过依然远低于标准BLT。这在速度与质量之间构成了一个合理的中间地带。四、三种方法的横向比较各有所长各有代价把三种方法放在一起看我们可以清晰地感受到它们各自的定位。BLT-D是三者中速度最快的。以30亿参数模型在翻译任务上的内存带宽为基准BLT-D-4可以降低约57%到59%BLT-D-8可以降低约77%到79%BLT-D-16可以降低约87%到92%。代价是随着块大小增加代码生成等需要精确逻辑推理的任务质量有明显下降而翻译任务的质量则相对鲁棒。这说明扩散解码在处理规律性强、容错性高的任务时游刃有余但在需要精确到每一个字节的任务如代码上会暴露出局限性。BLT-S的优势在于零损失。它在贪心解码下与标准BLT生成完全相同的结果不存在任何质量折损内存带宽可以降低约50%到77%具体取决于推测窗口大小k以及各任务的草稿接受率。它的不足在于增加了解码器的调用次数解码器要额外跑k个字节的草稿对于解码器参数量很小的模型来说这个代价几乎可以忽略但如果未来解码器被扩大这部分代价会变得更明显。BLT-DV则是质量与速度之间的折中方案。它比纯BLT-D的质量更好尤其是在大块扩散如块大小16时提升明显但比BLT-S的质量略低BLT-DV不保证与标准BLT完全相同的输出因为扩散草稿本身就可能与自回归路径有所偏离只是被验证过滤到足够好的程度。内存带宽减少幅度大约在52%到81%之间视块大小和任务而定。五、还有什么被测量了多样性分析与基准能力评估除了主要的翻译和代码生成任务研究团队还做了两类补充实验。第一类是无条件文本生成的多样性分析。研究团队让BLT-D模型从起始符号开始自由生成最多1000个字节的文本不给任何提示然后计算生成文本的词语类型-词语总数比值type-token ratioTTR这是衡量词汇多样性的一个简单指标值越高说明生成的词汇越丰富、越不重复。结果显示出一个清晰的规律解码器调用次数越多TTR越高调用次数越少也就是并行程度越高、每步填入的字节越多TTR越低文本越单调重复。这背后的逻辑是当模型被要求一次性填完更多字节时它倾向于选择最安全、最显而易见的内容导致生成文本缺乏变化而当它有机会逐步调整、每次只填几个最确定的字节时生成的多样性就更高。这个现象揭示了扩散解码中一个内在的权衡想要更快就得接受更少的多样性。第二类是标准语言理解基准测试。研究团队对所有BLT和BLT-D模型跑了ARC-Easy、ARC-Challenge两个科学问答基准、PIQA常识推理、HellaSwag常识句子补全和MMLU多学科知识理解这五个测试。以30亿参数为例BLT在ARC-Easy上得74.33分BLT-D-4得72.39BLT-D-8得70.95BLT-D-16得66.89分数随块大小增大而逐渐下滑。PIQA和HellaSwag上也呈现相同趋势。MMLU的差距相对小一些BLT是41.15BLT-D-16是37.08。总体而言BLT-D在添加扩散训练目标后自回归能力有所下降但仍然在合理范围之内不至于丢掉了语言模型的本分。1B参数版本也有类似规律但分数普遍低于3B版本这符合模型越大越强的一般规律。这些基准结果同时也为BLT-DV的验证质量提供了间接依据因为BLT-DV的验证步骤用的正是BLT-D的自回归模式如果BLT-D的自回归能力越接近BLT那么验证时的预测也就越准确接受率越高速度越快生成质量也越有保障。六、测量效率的方式为什么用内存带宽而不是时钟秒数细心的读者可能注意到上面所有的效率讨论都是用内存带宽或者网络函数评估次数NFE来衡量的而不是我们日常更熟悉的每秒生成多少字或实际运行时间。这个选择背后有明确的理由研究团队在论文中也坦诚地说明了这是一个局限性。现代AI模型在小批量、低延迟场景下比如你在手机上跟AI对话只有你一个人在用不是一堆人同时发请求推理速度的瓶颈主要不是计算量浮点运算的多少而是内存带宽也就是把模型参数从内存搬到计算单元的速度。每次做一次前向传播就要把相关的模型参数从内存搬运一次。参数越多搬运越慢前向传播次数越多搬运越频繁。所以用参数量乘以前向传播次数来估算内存带宽是一个合理的近似。具体的公式是总内存带宽GB b × [解码器前向传播次数 × 解码器参数量 编码器全局模型前向传播次数 × (编码器参数量 全局模型参数量)] / 10的9次方其中b2表示每个参数用16位浮点精度存储占2字节。但NFE和内存带宽毕竟是估算而不是实际测量的wall-clock时间也就是你拿着秒表计时的那种真实耗时。实际运行时间还会受到硬件特性、计算核心的利用率、KV缓存的管理方式、算子融合优化等众多因素的影响。研究团队明确指出在高度优化的推理引擎上对这几种方法进行实际运行时间测试是一个重要的后续工作方向。换句话说本文的效率数据是理论估算落地实现时可能与这些数据有出入但整体趋势应当是成立的。此外这篇论文评估的模型规模是10亿和30亿参数属于中等规模。更大规模的模型如数百亿参数上这些方法的表现以及扩散解码与自回归验证的最优组合比例都有待进一步探索。说到底这篇论文干的事情可以用一句话来概括让字节级语言模型在生成时不再那么费力具体做法是给它们安上了批量填字、提前打草稿、草稿加校对这三种新本领。这不是什么改头换面的革命而是在一个已经很有潜力的架构上针对一个具体而现实的瓶颈提出了有效的工程解法。对于普通用户来说这意味着什么如果字节级模型在未来真的被广泛部署这类技术上的改进会直接让AI回复速度更快、响应延迟更低同时对多语言用户更公平对包含特殊字符或格式的内容比如代码、数学公式、罕见语言处理得更准确。当然从实验室结果到产品落地还有很长的路要走论文自己也坦承NFE只是效率的代理指标真实部署的性能还需要进一步验证。如果你对这些技术细节有更深的好奇可以在arXiv上以编号2605.08044检索这篇论文看看研究团队在附录里提供的完整超参数扫描结果和更多分析。QAQ1字节级语言模型和普通语言模型有什么区别A普通语言模型如GPT系列把文字切分成词片段token再处理不同语言切分效率不同有时会亏待中文等非英语用户。字节级语言模型跳过了这一步直接处理计算机存储文字的最小单位——字节不需要提前设计词汇表理论上对所有语言更公平对拼写错误、代码等特殊内容也更鲁棒但历史上速度较慢。Q2BLT-D、BLT-S和BLT-DV这三种方法哪个最好A没有绝对最好各有侧重。BLT-D速度最快内存带宽最低但在代码生成等精确任务上质量有下降BLT-S不损失任何生成质量贪心解码下与原BLT输出完全一致效率也有显著提升BLT-DV介于两者之间比纯BLT-D质量更好比BLT-S速度更快适合对质量有一定要求但又希望加速的场景。Q3Fast BLT的研究结果是用真实运行时间测的吗A不是。论文使用的是内存带宽和网络函数评估次数NFE作为效率指标这是对实际推理成本的理论估算而非秒表计时的真实运行时间。实际部署时的速度还受硬件、优化程度等因素影响。研究团队明确指出在高度优化的推理实现上做真实时间测试是重要的后续工作。