腾讯纯文本LLM训视觉encoder，拿捏图表长视频，达到开源小模型SOTA！

Penguin-VL团队 投稿量子位 | 公众号 QbitAI打破多模态视觉语言拼接套路腾讯开源Penguin-VL直接用纯文本LLM训视觉编码器。这项研究跳出了先有传统视觉 backbone再接语言模型的常规路径直接从text-only LLM初始化vision encoder。并在2B/8B紧凑参数规模下的文档理解、长视频时序定位等复杂任务中表现出极强竞争力。从LLM出发的视觉编码器重构如果把这两年的多模态模型拆开看一个很有意思的现象是大家在语言模型上卷得很凶但到了vision encoder这一层路线却出奇一致。很多VLM最后都会回到那套熟悉配方先拿CLIP、SigLIP这类通过对比学习训出来的视觉模型做encoder再接上LLM往下训。这条路线当然强也足够成熟。但Penguin-VL团队想问的不是“这条路能不能走”而是“它是不是复杂视觉理解最合适的起点”。因为对比学习最擅长的本来就是判别、检索和图文匹配。它会主动把图像压进一个更适合分类和对齐的语义空间里。可一旦任务变成文档阅读、图表理解、细粒度描述、多图关系判断甚至长视频里的时间定位模型真正需要保住的恰恰是那些不该太早被抹平的局部结构、空间关系和时序细节。换句话说Penguin-VL重新盯上的不是VLM里最显眼的LLM而是那个最容易被默认的vision encoder。上图中对比了三种vision encoder训练范式。主流contrastive路线先把视觉模型和文本模型分别训好再在VLM中使用直接LLM supervision会把视觉特征硬对齐到冻结的LLMPenguin-Encoder则直接从text-only LLM初始化再通过视觉训练把它真正变成视觉编码器。Penguin-VL给出的答案有点反常识既然最终要和语言模型协同推理那vision encoder为什么不能直接从LLM出发于是论文里提出了Penguin-Encoder。它不再默认从传统视觉backbone初始化而是直接从text-only LLM起步。这里的关键不只是“借一套参数”。Penguin-Encoder继承的是一整套更适合序列建模的能力和架构基础。它和下游LLM的表示空间更近视觉和语言之间不必再跨一道特别大的鸿沟还复用了attention、FFN、GQA、RMSNorm等已经训练成熟的模块不需要从零再学一遍“上下文怎么组织、顺序怎么建模”更重要的是语言模型已经学会的顺序建模和因果逻辑能力也给视觉理解提供了一个更强的起点。对Penguin-VL来说这意味着vision encoder学的不再只是“把图像压缩成向量”而是“怎么把视觉概念接到一条已经成熟的语言推理链路上”。当然LLM不能直接原封不动拿来当vision encoder。Penguin-VL做了两处关键改造。一是把原本服务文本生成的causal attention改成更适合视觉建模的bidirectional attention二是引入2D-RoPE让模型能更自然地处理图像和视频里的二维位置信息。也因此Penguin-Encoder不是简单把LLM“拼”进视觉模块而是以LLM为初始化起点再通过面向视觉的训练把它真正训成一个vision encoder。上图展示了Penguin-VL的整体架构。由LLM初始化的Penguin-Encoder、MLP projector与语言模型组成。视觉侧引入2D-RoPE和bidirectional attention并通过统一token流处理图像与视频在长视频场景中再配合TRA策略优先保留关键帧信息。三阶训练与性能验证训练部分也不是一步到位硬推而是拆成了三阶段。Stage 1先训练Penguin-Encoder本身走一条低分辨率预训练到高分辨率fine-tuning的路线让模型先稳住视觉表征再逐步把细节拉起来。论文里专门引入reconstruction和relation loss核心目的很明确——别让图表、文档这类结构化视觉信息太早丢掉。Stage 2是VLM pre-training让encoder、projector和LLM 一起进入完整的多模态知识学习。Stage 3则是supervised fine-tuning把能力真正对齐到用户任务。视频部分还有一个很实用的设计TRA也就是Temporal Redundancy-Aware token compression。它不是把所有视频帧一股脑塞进同样的token预算里而是优先把预算留给关键帧尽量少在冗余中间帧上浪费上下文。说白了Penguin-VL想做的不是“看更多”而是“把真正重要的时序信息尽量留下来”。从上图可以看出在2B/8B这样相对紧凑的参数规模下Penguin-VL在文档理解、图表理解、视觉知识和长视频理解上都拿出了很有竞争力的表现。比如2B模型在 InfoVQA、ChartQA、DocVQA、V-star、LongVideoBench、NextQA、Perception Test等任务上都很亮眼。它想传达的信息不是“模型再做大一点就行”而是vision encoder的起点如果选对了小得多的模型也能把关键视觉信息保下来。如果说2B更像是在有限参数规模下证明这条路线可行那么8B就是在更完整的模型配置下把同样的趋势继续拉清楚。8B版本在InfoVQA、ChartQA、DocVQA、AI2D、RealWorldQA、V-star、LongVideoBench、NextQA、CharadesSTA、Perception Test等任务上继续保持很强的表现。尤其在文档理解、视觉知识和长视频理解上优势模式更加稳定。8B版本延续了Penguin-VL在文档理解、视觉知识和长视频理解上的整体优势。这说明围绕vision encoder重设计的路线并不是只在小模型上偶然奏效。不过真正把这篇工作钉住的还是encoder实验。论文里的ablation很直接在同样的轻量流程下随机初始化的Penguin-Encoder平均分是31.3换成LLM初始化并加入完整训练配方后平均分提升到34.6。进一步在encoder integration comparison中Penguin-Encoder做到49.3平均分而且只用了约2.4亿Stage 1样本就超过了多种依赖更大规模对比学习预训练的视觉编码方案。换句话说这篇工作真正想证明的不只是Penguin-VL这个模型“做出来了”而是LLM-init vision encoder这条路本身就是成立的。从这个角度看Penguin-VL 的意义其实不只是一组benchmark分数。它更像是在提醒大家过去那条“先有传统视觉backbone再去接语言模型”的路径当然依然有效但它未必是唯一答案。未来的 vision encoder也许不一定非得来自传统视觉模型也可以从更通用的语言模型出发。某种程度上这也与近期DeepSeek-OCR2等工作呈现出的趋势有些相通。大家似乎都在慢慢跳出那条已经非常熟悉的多模态拼接路线开始探索一种更原生、更统一的建模方式。项目相关代码、模型和交互式体验现已开放。感兴趣的朋友可戳链接了解更多内容GitHub地址https://github.com/tencent-ailab/Penguin-VL论文地址https://arxiv.org/abs/2603.065692B模型https://huggingface.co/tencent/Penguin-VL-2B8B 模型https://huggingface.co/tencent/Penguin-VL-8BPenguin-Encoderhttps://huggingface.co/tencent/Penguin-EncoderHugging Face Space试玩https://huggingface.co/spaces/tencent/Penguin-VL