干掉编码器：Gemma 4 如何用 12B 参数重构多模态模型的底层架构
干掉编码器Gemma 4 如何用 12B 参数重构多模态模型的底层架构小马 | 2026-07-122026 年 7 月 2 日Google DeepMind 发布了 Gemma 4 技术报告全系 Apache 2.0 开源。在五个模型规格中最值得深入拆解的是Gemma 4 12B Unified——它做出了一个近乎叛逆的架构决定彻底移除传统多模态模型中的视觉编码器和音频编码器让 LLM 直接消费原始图像 patch 和音频帧。这不是一个简单的工程优化而是一次底层范式挑战。传统多模态架构的隐性债务过去三年主流多模态大模型几乎都遵循同一套架构范式图像/音频 → 专用编码器ViT / Conformer → 投影层 → LLM这套设计有历史合理性——视觉和音频信号的原始维度远高于文本 token直接用 LLM 处理计算量不可接受。但它的代价被长期低估编码器成为信息瓶颈。ViT 将一张 224×224 的图像压缩为 256 个 patch token这个压缩过程不可逆编码器训练阶段丢失的细粒度信息在 LLM 阶段无法恢复。模态隔离导致表征割裂。视觉编码器和语言模型各自预训练通过一个简陋的投影层强行对齐语义空间天然存在漂移。部署冗余。编码器参数动辄 3-6 亿端侧推理时这些参数全程参与计算却与语言理解无关。Gemma 4 12B Unified 的方案直击痛点让同一个 Transformer 同时承担感知和理解。Encoder-Free 架构的三大技术支柱1. 原生 Patchification把像素和频谱当 Token 喂进去12B Unified 不对图像做 ViT 预处理而是直接将原始 RGB 图像切分为 16×16 的 patch每个 patch 展平为 768 维向量经过一个极轻量的线性嵌入层后直接送入 Transformer 的第一层。音频同理——40ms 的 Mel 频谱帧经过卷积降采样后以连续表示形式注入。这意味着模型从第一层开始就在统一的表示空间中同时处理文本、视觉和音频信号不存在先编码再对齐的两阶段割裂。传统多模态 Image → ViT Encoder (600M params) → Projection → LLM Audio → Conformer Encoder (300M params) → Projection → LLM Gemma 4 12B Unified Image Patches ─┐ Audio Frames ─┼→ Linear Embedding → Unified Transformer (12B) Text Tokens ─┘2. 混合注意力机制局部窗口 全局交错的工程智慧直接消费原始 patch 会带来序列长度暴增——一张中等分辨率图像可产生上千个 patch token。Gemma 4 的解法是混合注意力在大多数层使用滑动窗口注意力窗口大小 1024 token每隔若干层插入一个全局注意力层且保证最后一层始终是全局注意力。这种设计的精妙之处在于局部窗口层以 O(n×w) 复杂度处理细粒度感知全局层以稀疏间隔完成跨模态语义整合。注意力模式本身成为了一种隐式的感知-理解分工机制。3. Thinking Mode让推理成为原生能力Gemma 4 全系支持 Thinking Mode——模型在给出最终回答前先生成推理轨迹reasoning traces。对于 12B Unified 这种 encoder-free 架构thinking mode 的意义尤为特殊因为模型需要在同一个 Transformer 内完成从像素级感知到抽象推理的跃迁中间推理步骤为这个跃迁提供了脚手架。实测数据表明开启 thinking mode 后在 STEM 和复杂多模态推理任务上有显著提升。这印证了一个直觉encoder-free 架构虽然统一了表示空间但对模型的推理深度提出了更高要求thinking mode 恰好填补了这个缺口。性能真相12B 能做什么根据技术报告Gemma 4 12B Unified 在多个多模态基准上超越了同等规模的编码器方案甚至逼近部分 20B 的模型。更关键的是推理效率参数利用率12B 参数中不再有只做编码的无效参数每一层都参与多模态理解内存占用去除编码器后整体模型尺寸反而更紧凑12B 模型可在消费级 GPURTX 4090 24GB上以 FP16 完整运行延迟相比编码器LLM的串行流水线encoder-free 的端到端前向传播消除了编码器等待时间局限与展望encoder-free 并非银弹。原始 patch 的序列长度膨胀导致首 token 延迟在高分辨率场景下仍然偏高纯 Transformer 对细粒度视觉任务如目标检测级别的定位的零样本能力弱于专用编码器方案目前 31B 旗舰模型依然保留了视觉编码器说明在超大参数规模下编码器仍有价值。但方向已经清晰端侧 AI 的未来不再是云端的廉价替代品。当一台笔记本能够离线运行具备原生视觉、音频理解和深度推理能力的完整模型时云端分发智能、终端被动消费的格局将被从根本上改写。Gemma 4 12B Unified 的 encoder-free 架构是这个转向中最值得关注的技术信号。标签#Gemma4#多模态大模型#Encoder-Free#端侧AI#模型架构#GoogleDeepMind#开源模型
