Attention Is All You Need作者再出手：Transformer 99%稀疏，还能更快？

本文约2000字建议阅读5分钟稀释不止省 FLOPs2017 年《Attention Is All You Need》将 Transformer 推上深度学习主舞台。如今几乎所有主流大模型都站在这套架构之上推理、训练、显存和能耗成本也随模型规模一路上涨。大模型运转时Transformer 内部并不是所有 FFN 隐藏激活都同样重要。对当前 token 来说真正产生贡献的往往只占很小一部分大量激活接近于零。加入轻量级 L1 正则后这种稀疏度甚至可以达到 99% 以上。既然非零激活已经很少为什么模型运行速度依然受限直接跳过这些零激活来节省算力为什么在 GPU 上反而可能遭遇负优化这项发表于 ICML 2026 的工作来自 Sakana AI 与 NVIDIA作者之一 Llion Jones 正是《Attention Is All You Need》原作者之一。论文没有引入复杂架构改造而是围绕 FFN 激活稀疏做文章。用简单的 L1 正则诱导高稀疏激活再配合新的稀疏打包格式和 CUDA Kernel把大量零激活真正跳过去。论文标题Sparser, Faster, Lighter Transformer Language Models论文链接http://arxiv.org/abs/2603.23198代码链接https://github.com/SakanaAI/sparser-faster-llms在下游任务表现基本不受影响的前提下该方案在十亿参数级模型上实现了最高 20.5% 的前向计算提速和 21.9% 的训练步骤提速推理能耗同步下降训练稀疏度实验中峰值显存也明显降低。这也让原本停留在理论 FLOPs 上的稀疏性转化为现代 GPU 上可测的实际收益。〓 不同稀疏度下的推理、训练提速与下游表现01 稀疏不等于提速在更大规模的现代 LLM 中FFN 往往占据超过三分之二的参数并贡献超过 80% 的总 FLOPs。〓 Gated FFN 的 up、gate 与 down projection标准 Gated FFN 的计算流程通常表示为ReLU 作为激活函数 σ‌可以自然产生非结构化稀疏。但现代 GPU 的软硬件栈长期围绕规则、连续的密集计算优化。传统 ELLPACK 依赖整行打包和 padding和现代 GPU 常用的 tiled matmul 并不匹配。〓 传统 ELLPACK 的整行对齐存储若先生成完整 gate activation 再转换为稀疏格式就会引入额外的 kernel launch、全局显存读写和同步开销。理论计算量少了但格式转换、索引管理和访存开销很容易抵消收益。02 TwELL 减掉转换开销针对推理阶段研究团队设计了 TwELLTile-wise ELLPACK格式。该格式放弃全局行对齐将矩阵列切分为与密集计算贴合的局部 1D 数据块Tile。〓 TwELL 将列方向切成 tile更适合与矩阵乘法 kernel 融合在计算门控激活时TwELL 格式能直接在算子尾声Epilogue生成避免单独启动格式转换 kernel也减少额外的全局显存读写。〓 带 TwELL 存储生成的门控投影核心逻辑在后续计算中定制的 CUDA 内核单次遍历即可同步完成升维Up和降维Down投影。其核心逻辑在于将两次乘法融合避免了中间状态 h 的访存开销其中。这种融合减少了中间激活的全局显存读写也让稀疏带来的理论收益更容易落到实际速度上。03 Hybrid 应对非均匀稀疏到训练阶段显存容量成为关键瓶颈。不同 token 的非零激活数量差异很大单一紧凑格式很容易被少数高非零行拖累。团队开发了混合路由机制大多数低激活 token 进入高压缩比的 ELL 矩阵而偶发的高活跃 token 被动态分流至密集的备用通道交由 Tensor Core 处理。〓 基于混合格式的稀疏矩阵算子路由计算逻辑这种设计减少了训练中的密集运算和中间激活存储开销也降低了稀疏训练对峰值显存的压力。04 百亿级 Tokens 实测收益在规模对比实验中作者训练了从 0.5B 到 2B 的模型对应 10B 到 40B tokens。稀疏训练使用的核心正则项如下实验显示适度 L1 正则可以把平均非零激活数量压低几个数量级。在较保守设置下下游任务表现仍与稠密基线基本持平。〓 不同 L1 正则化系数下的任务精度与非零激活数下游多项评测显示在实际运行中推理速度提升高达 30%显存需求下降超 24%。〓 推理前向加速比与能耗节省统计〓 训练步加速比与显存峰值降低统计实验数据进一步证实模型规模越大这套稀疏加速机制带来的吞吐量提升和显存红利越明显。〓 不同参数规模下的执行效率与显存消耗对比05 稀疏视角下的算力分配稀疏激活还提供了一个观察模型计算分配的窗口。从网络深度来看前两层相对静默而网络中段最为活跃承担了核心的推理与知识检索任务。〓 网络不同层级的非零激活数量分布从 token 特征来看低活跃 token 多是常见网页链接片段或高度可预测的词形片段。高活跃 token 则包含更强上下文信息的动词、名词、地点和物质名称。〓 特定词元及其在序列不同位置的非零激活数统计这项工作没有试图替换 Transformer也没有依赖复杂架构改造。它的价值在于把 FFN 激活稀疏接进真实 GPU 执行流程用稀疏格式和 CUDA kernels 把一部分理论计算节省转化成可测的速度、能耗和显存收益。·编辑文婧关于我们数据派THU作为数据科学类公众号背靠清华大学大数据研究中心分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识努力建设数据人才聚集平台、打造中国大数据最强集团军。新浪微博数据派THU微信视频号数据派THU今日头条数据派THU