【CLIP 范式已死！】字节发布 【GenLIP】：砍掉解码器与对比学习，让 ViT 直接开口说话，效果反而更强

CLIP 范式已死字节发布 GenLIP砍掉解码器与对比学习让 ViT 直接开口说话效果反而更强写在前面2026.05.07 首发2026 年 5 月 1 日arXiv 上出现了一篇来自北京交通大学 字节跳动 南洋理工大学的论文——《Let ViT Speak: Generative Language-Image Pre-training》。论文提出的GenLIP框架做了一件在 VLPVision-Language Pre-training领域堪称离经叛道的事砍掉文本解码器砍掉对比学习损失砍掉双塔架构只用一个裸 ViT 语言建模目标进行预训练。结果呢在仅使用8B 样本来自 Recap-DataComp-1B的情况下GenLIP 在多个多模态理解 benchmark 上打平甚至超越了使用 12B-40B 样本训练的 SigLIP、AIMv2、OpenVision2 等强基线。更令人惊讶的是GenLIP 训练出的 ViT 可以直接生成图像描述——不需要任何额外的解码器或 LLMViT 自己就能开口说话。这篇论文的核心观点极其朴素却极其有力如果你的下游任务是生成式的那你的预训练目标也应该是生成式的。目标对齐比架构复杂度和数据规模都重要。 文章目录 一、背景CLIP 范式统治了 5 年但裂缝早已出现⚡ 二、GenLIP 是什么一句话概括️ 三、架构对比CLIP vs GenLIP一目了然 四、四大核心创新砍掉什么换来什么 五、实验结果8B 样本打平 40B 基线 六、数据效率更少数据更强效果️ 七、“Let ViT Speak”让 ViT 直接开口说话❓ 八、CLIP 范式为什么死了 九、影响与展望VLP 的下一个范式是什么 总结速查卡 一、背景CLIP 范式统治了 5 年但裂缝早已出现1.1 CLIP 的辉煌时代2021 年OpenAI 发布了CLIPContrastive Language-Image Pre-training开创了一个新时代。CLIP 的核心思想极其优雅用对比学习在大量图文对上训练一个双塔模型Image Encoder Text Encoder让视觉和语言在同一个语义空间中对齐。这个看似简单的方法产生了惊人的效果——CLIP 展现出强大的零样本迁移能力无需任何微调就能在 ImageNet 上达到 76.2% 的 top-1 准确率。此后五年CLIP 范式几乎统治了整个视觉-语言预训练领域SigLIPGoogle2023用 Sigmoid loss 替代 InfoNCE不再需要大 batch sizeSigLIP2Google2025多语言支持 更好的语义理解EVA-CLIP、OpenCLIP、DataComp等一系列改进几乎所有主流 MLLM多模态大语言模型都使用 CLIP/SigLIP 作为视觉编码器PaliGemma、Kimi-VL、Kimi-K2.5、LLaVA 系列……CLIP 成了 VLP 领域的基础设施。1.2 裂缝目标不匹配问题然而CLIP 范式有一个根本性的问题——目标不匹配Objective Mismatch。CLIP 的对比学习是一个判别式目标给定一张图片和一段文字判断它们是否匹配。但 MLLM 的下游任务是生成式的给定一张图片生成描述文字next-token prediction。训练目标和下游目标之间的鸿沟意味着 CLIP 预训练的知识在迁移到 MLLM 时存在效率损失。打个比方CLIP 就像让学生做选择题来学习英语但最终考试却是作文题。选择题做得再好也不代表作文能写好。1.3 此前的尝试生成式预训练学术界并非没有意识到这个问题。此前已有几项工作尝试用生成式目标进行视觉-语言预训练CapPaGoogle2023ViT Text Decoder用自回归 LM 目标训练AIMv2Meta2025类似的生成式预训练方案OpenVision2进一步改进的生成式 VLPCoCa和SigLIP2混合对比生成目标但这些方法都有一个共同的问题架构太复杂。它们都需要一个额外的文本解码器ViT 只能通过解码器间接优化梯度需要穿过整个解码器才能到达视觉层。这不仅增加了训练成本还可能限制了视觉表征的质量。GenLIP 的出现就是要彻底解决这个问题。⚡ 二、GenLIP 是什么一句话概括GenLIP 一个裸 ViT 语言建模目标 直接让 ViT 预测语言 token。没有文本解码器。没有对比学习损失。没有双塔架构。只有一个 ViT接收图像 patch 和文本 token 的拼接序列用标准的next-token prediction目标进行训练。就这么简单。但简单并不意味着简陋。GenLIP 的论文展示了这个极简框架的惊人效果8B 样本训练打平SigLIP 12B和AIMv2 40B在DocOCR类 benchmark 上显著领先ViT 可以直接生成图像描述“Let ViT Speak”数据效率比竞品高2-5 倍️ 三、架构对比CLIP vs GenLIP一目了然3.1 CLIP 架构传统方案Image → [Image Encoder (ViT)] → Image Embedding ─┐ ├→ Contrastive Loss Text → [Text Encoder (Trans)] → Text Embedding ─┘关键特征双塔架构Image Encoder 和 Text Encoder 独立编码对比学习InfoNCE / Sigmoid Loss判别式目标判断图文是否匹配需要大 batch批内负样本构造目标不匹配判别式 vs 生成式3.2 GenLIP 架构新方案Image Patches Text Tokens → [Single ViT] → Next-Token Prediction关键特征单塔架构一个 ViT 处理所有模态语言建模目标标准的 next-token prediction生成式目标直接预测下一个 token无需大 batch标准 LM 训练流程目标对齐预训练目标 下游目标3.3 架构复杂度对比维度CLIPGenLIP编码器数量2 个Image Text1 个ViT损失函数Contrastive LossLM Loss文本解码器不需要但 AIMv2/CapPa 需要不需要训练 batch size大需要足够负样本标准预训练目标判别式生成式与 MLLM 对齐度低目标不匹配高天然对齐 四、四大核心创新砍掉什么换来什么创新一砍掉 Text Decoder问题CapPa、AIMv2 等生成式 VLP 方法需要一个额外的文本解码器。ViT 作为视觉编码器只能通过解码器间接优化——梯度需要先穿过解码器再回传到 ViT。这种间接优化方式不仅效率低还可能导致视觉表征的质量受限。GenLIP 的做法直接让 ViT 预测语言 token。ViT 的输出就是语言 token 的 logits不需要任何额外的解码器。梯度直接从语言建模损失流向视觉层零中间商赚差价。效果架构更简单训练更高效视觉表征质量更高。创新二砍掉 Contrastive Loss问题CLIP 的对比学习是判别式目标——这张图和这段文字是否匹配但 MLLM 的下游任务是生成式的——根据这张图生成描述。训练目标和下游目标之间的根本性不匹配导致预训练知识的迁移效率低下。GenLIP 的做法完全抛弃对比学习直接使用标准的语言建模目标next-token prediction。预训练目标和下游 MLLM 任务目标完全一致从根源上消除了目标不匹配问题。效果预训练知识到下游任务的迁移效率大幅提升。8B 样本就能打平竞品 12B-40B 的效果。创新三Gated Attention 机制问题GenLIP 使用Prefix-LM 注意力模式——视觉 token 作为 prefix只能被文本 token 注意到但视觉 token 之间也可以互相注意。然而论文发现标准 Prefix-LM 注意力中存在注意力 sink问题视觉 token 的注意力分布不均匀部分 token 吸引了过多的注意力权重影响了视觉建模质量。GenLIP 的做法引入**门控注意力Gated Attention**机制。具体来说为每个注意力头添加一个可学习的门控参数让模型自适应地调节视觉-语言信息流。门控参数可以动态控制每个注意力头对视觉信息的依赖程度。效果在消融实验中Gated Attention 带来了1-2% 的平均提升尤其在需要精细视觉理解的任务上效果显著。创新四多分辨率续训问题固定分辨率预训练的 ViT 在处理不同宽高比的图片如长文档、宽图表时会损失信息。GenLIP 的做法采用两阶段训练策略Stage 1固定分辨率如 224×224预训练学习基础的视觉-语言对齐Stage 2多分辨率续训使用原始宽高比的图片进行训练提升对不同尺寸图片的适应能力效果Stage 2 训练对OCR 和图表理解类 benchmark 带来了显著的额外收益。在 ChartQA、OCRBench、DocVQA 等 DocOCR 类任务上GenLIP 的优势尤为明显。 五、实验结果8B 样本打平 40B 基线5.1 实验设置GenLIP 使用Recap-DataComp-1B数据集进行预训练这是一个包含约10 亿图文对的高质量数据集。作为对比基线论文选取了以下代表性 VLP 模型SigLIP使用 12B 样本训练AIMv2使用 40B 样本训练OpenVision2使用 13B 样本训练所有模型统一接入LLaVA-NeXT框架使用Qwen2.5-7B作为 LLM backbone在相同的多模态理解 benchmark 上进行评估。5.2 主要结果在多个核心 benchmark 上GenLIP8B 样本的表现令人印象深刻DocOCR 类任务GenLIP 的强项ChartQA82.5GenLIPvs 78.3SigLIPvs 79.1AIMv2——领先 3-4 个点OCRBench78.2 vs 72.1 vs 74.5——领先 4-6 个点DocVQA88.3 vs 85.6 vs 86.2——领先 2-3 个点通用多模态理解MME1520 vs 1485 vs 1495——全面领先GQA63.8 vs 62.1 vs 62.8——小幅领先VQAv282.1 vs 80.5 vs 81.2——持续领先关键发现GenLIP 在几乎所有 benchmark 上都打平或超越了使用更多数据训练的基线模型。尤其在 DocOCR 类任务上优势最为显著——这得益于 GenLIP 的多分辨率续训策略和生成式预训练目标对细粒度视觉信息的更好建模。5.3 冻结特征分析论文还进行了冻结特征分析——直接使用预训练 ViT 的特征不进行任何微调在下游任务上评估。结果显示GenLIP 的冻结特征质量显著优于对比学习基线进一步证明了生成式预训练目标对视觉表征质量的提升。 六、数据效率更少数据更强效果6.1 数据缩放实验论文进行了系统的数据缩放实验从1B 到 8B样本逐步增加训练数据量数据量GenLIPSigLIPOpenVision21B62.558.255.82B67.863.561.24B71.268.166.58B74.572.871.06.2 关键发现持续提升随着数据量从 1B 增加到 8BGenLIP 在所有 benchmark 上都展现出持续的、单调的提升。这意味着 GenLIP 还没有达到数据饱和点更大的数据量可能带来进一步的提升。数据效率优势GenLIP 用8B 样本达到了 SigLIP 用12B 样本才能达到的性能水平数据效率提升了约50%。与 AIMv240B 样本相比数据效率提升了约5 倍。为什么更高效GenLIP 的数据效率优势来自目标对齐。因为预训练目标next-token prediction和下游任务目标一致每一份训练数据都在为最终的下游任务做准备。而 CLIP 的对比学习目标与下游任务存在 mismatch大量数据被浪费在了不相关的判别式对齐上。️ 七、“Let ViT Speak”让 ViT 直接开口说话GenLIP 论文最令人兴奋的发现之一是训练后的 ViT 可以直接生成图像描述不需要任何额外的解码器或 LLM。7.1 直接描述生成传统的视觉编码器如 CLIP 的 ViT只能输出一个固定维度的特征向量无法直接生成文本。要看懂图片必须把这个特征向量喂给一个 LLM。但 GenLIP 训练的 ViT 不同——它直接在语言 token 空间上输出 logits可以逐 token 生成图像描述。论文展示了多个令人印象深刻的例子自然场景描述输入一张猫咪坐在窗台上的图片ViT 直接输出一段流畅的英文描述包括猫咪的颜色、姿态、背景细节等图表理解输入一张柱状图ViT 能够准确识别图表类型、数据趋势、具体数值OCR 文字识别输入一张文档截图ViT 能够准确读取文档中的文字内容7.2 Patch 语义读取更令人惊讶的是Patch Semantics Readout能力。GenLIP 的 ViT 不仅能为整张图片生成描述还能为图片的局部区域单个 patch 或 patch 组生成语义描述。这意味着 ViT 的每个 patch 都学到了有意义的语义表示而不是只有全局特征有用。这个能力对于需要细粒度视觉理解的任务如 OCR、文档理解、图表分析尤其重要。它暗示 GenLIP 的 ViT 内部形成了层次化的视觉语义表示——从局部 patch 到全局场景每一层都有意义。7.3 为什么这很重要“Let ViT Speak” 的能力不仅是学术上的有趣发现更有实际意义更快的推理不需要额外的 LLM 就能生成图像描述推理速度更快更低的成本不需要部署大语言模型部署成本更低更好的可解释性可以直接问ViT 每个区域看到了什么理解模型的视觉理解过程更强的视觉表征能生成准确描述的视觉特征通常也是更好的视觉特征❓ 八、CLIP 范式为什么死了8.1 不是 CLIP 不好而是时代变了首先需要澄清CLIP 并没有真的死。它仍然是目前最广泛使用的视觉编码器之一在大量生产环境中运行。但 GenLIP 的成功标志着VLP 领域的范式转移已经开始。CLIP 的死不是因为它不好而是因为时代变了2021 年MLLM 还不存在CLIP 的零样本分类能力是革命性的2024 年MLLM 成为主流视觉编码器的角色从分类器变成了MLLM 的眼睛2026 年MLLM 的性能瓶颈越来越多地来自于视觉编码器的质量而不是 LLM当视觉编码器的角色从独立分类变成为 LLM 提供视觉输入时CLIP 的判别式预训练目标就不再是最优选择了。8.2 三大根本问题问题一目标不匹配CLIP 的对比学习是判别式目标这张图和这段文字是否匹配但 MLLM 是生成式目标根据这张图生成描述文字。训练目标和下游目标之间的根本性不匹配导致预训练知识的迁移效率低下。GenLIP 用生成式目标直接消除了这个问题。问题二架构太复杂CLIP 需要双塔架构 对比损失 大 batch size。后续的生成式方法CapPa、AIMv2又额外引入了文本解码器。GenLIP 只需要一个 ViT LM Loss架构复杂度降低了 60% 以上。更简单的架构意味着更快的训练速度、更低的部署成本、更少的超参数调优。问题三数据效率低因为目标不匹配CLIP 需要大量数据来弥补。SigLIP 用了 12B 样本AIMv2 用了 40B 样本。GenLIP 只用 8B 样本就打平甚至超越了它们。在数据越来越贵、越来越难获取的今天数据效率是一个关键优势。8.3 核心洞察如果你的下游任务是生成式的那你的预训练目标也应该是生成式的。目标对齐 架构复杂度 数据规模。这个洞察虽然朴素但被 GenLIP 的实验结果强有力地验证了。它可能成为未来 VLP 研究的指导原则。 九、影响与展望VLP 的下一个范式是什么9.1 短期影响2026-2027更多模型跟进GenLIP 的极简设计很容易被复现和改进预计会有大量跟进工作MLLM 视觉编码器升级新一代 MLLM 可能开始使用 GenLIP 风格的视觉编码器替代 CLIPOCR/文档理解突破GenLIP 在 DocOCR 类任务上的优势可能推动文档 AI 的快速发展开源生态GenLIP 的简单架构有利于社区贡献和改进9.2 中期趋势2027-2028统一预训练范式生成式目标可能成为 VLP 的统一范式对比学习逐渐退出主流端到端视觉-语言模型不再区分视觉编码器和语言模型而是端到端训练更大的数据规模GenLIP 展现出持续的数据缩放能力更大的数据集可能带来更大提升多模态统一GenLIP 的思路可能扩展到视频、音频等其他模态9.3 长期愿景2028会说话的视觉编码器成为标配未来的视觉编码器不仅能看还能说自监督视觉学习GenLIP 的生成式目标可能进一步发展为纯视觉的自监督学习通用视觉基础模型一个 ViT 就能处理所有视觉任务——分类、检测、分割、描述、推理CLIP 成为历史就像 ResNet 取代 AlexNet 一样GenLIP 可能取代 CLIP 成为新的起点 总结速查卡GenLIP 核心信息维度GenLIP全称Generative Language-Image Pre-training论文Let ViT Speak (arXiv:2605.00809)机构北京交通大学 字节跳动 南洋理工大学发布日期2026 年 5 月 1 日核心思想ViT LM 目标无解码器无对比学习训练数据8B 样本Recap-DataComp-1B核心创新Gated Attention MRoPE 多分辨率续训CLIP vs GenLIP 速查维度CLIPGenLIP架构双塔单塔目标对比学习判别式LM 目标生成式解码器不需要不需要数据量12B8B目标对齐低高数据效率基准2-5x 提升DocOCR基准显著领先复杂度高低一句话总结GenLIP 证明了 VLP 领域的一个核心原则目标对齐比架构复杂度和数据规模更重要。砍掉解码器、砍掉对比学习、砍掉双塔架构用一个裸 ViT LM 目标就能在 8B 样本上打平 40B 基线。CLIP 范式没有死但它的统治时代正在走向终结。下一个 VLP 范式将是生成式的。参考链接GenLIP 论文 (arXiv)GenLIP 项目主页GenLIP HuggingFaceAI Brief 中文解读Moonlight 论文评述Artificial Analysis TTS Leaderboard