屡刷高分却不实用？南大团队揭示最强模型实际仅得49分

现有大模型评测分数日趋饱和但与真实体验差距显著。南京大学傅朝友团队牵头在 Google Gemini 评测团队邀约下推出视频理解新基准 Video-MME-v2。凭借创新的分层能力体系与组级非线性评分以及 3300 人工时高质量标注揭示模型与人类的巨大鸿沟49 vs 90、传统 Acc 指标虚高、以及 “Thinking” 并非总是增益等现象。论文地址https://arxiv.org/pdf/2604.05015项目主页https://video-mme-v2.netlify.app/MME-Survey地址https://arxiv.org/pdf/2411.15296一年多前傅朝友带领的 Video-MME 团队发布了其第一版 Benchmark被 Gemini、GPT 等广泛用于视频理解评测。根据 Paper Digest 统计Video-MME 在 CVPR 2025 所有录用论文中影响力排名第一引用 1100 次。近年来团队进一步对多模态大模型评测进行了系统梳理并发布综述工作 MME-Survey从能力覆盖、评测方式到指标设计对现有 Benchmark 进行了全面分析。正因如此团队更早、更清晰地意识到现有评测范式开始逐渐“失真”了。多模态大模型在视频理解上进步神速各类 Benchmark 上的分数都在趋于饱和但真实体验依然不足。在这样的背景下Video-MME-v2 正式发布。Video-MME-v2 是一个面向下一代视频理解能力的评测基准历经近一年时间准备由 12 名标注人员和 50 位独立审核人员共同完成投入超过 3300 人工时标注时间。与传统 Benchmark 的不同在于一个精心设计的逐层递进三层能力体系以及分组非线性评分方法。评测结果显示人类专家的非线性得分为 90.7传统 Acc 为 94.9而当前最强的商业模型 Gemini-3-Pro 得分仅为 49.4开源模型 Qwen 最佳结果为 39.1。Video-MME-v2 在测什么Video-MME-v2 的第一个核心设计是把视频理解拆成一个逐层递进的三层能力体系。1. 第一层信息检索与聚合。这是视频理解最基础的一层关注模型能否从跨帧、跨模态的信息中准确识别并提取关键事实。2. 第二层时序理解。基于第一层第二层进一步考察模型是否真正理解了时间维度。要求模型不仅能看懂不同帧的静态画面更要抓住动作发生的先后关系、状态如何变化、事件为何发生。3. 第三层复杂推理。基于第二层第三层则更接近真实世界任务要求模型在更复杂、更开放的场景中进行推理。这也是最接近“人类式理解”的一层不仅要看懂还要能推断、能解释、能综合。图 1 直观展示了这三层能力结构。〓 图1. Video-MME-v2 能力层级分布以及部分模型能力排行Video-MME-v2 不只是“多出题”而是换了一种新测法Video-MME-v2 的第二个关键创新回答的是“怎么测”。这项工作没有继续沿用“每题独立计分”的传统方法而是引入了组级评测。即不再只看模型某一道题答没答对而是看它在一组相关问题上是否表现出一致性和连贯性。1. 能力一致性组看模型是不是“真的会”它关注的是同一种能力模型在不同问法、不同粒度、不同侧面上能不能都保持稳定。举个简单的例子如果一个模型真的具备空间理解能力那它不仅应该能回答“物体在哪里”也应该能回答“它和另一个物体的相对位置如何变化”。2. 推理连贯性组看模型是不是“真正在推理”它关注的是当一个复杂问题需要多步推理时模型能不能沿着合理的逻辑链条一步一步走到结论。比如在一个复杂剧情视频里模型可能需要先发现一个关键视觉线索再识别异常细节再推断人物目的最后才能得出结论。如果中间某一环错了最终即使“碰巧选对了”这种正确也不能算作真正可信的推理。为了和组级评测相配套Video-MME 团队进一步采用了非线性评分机制。这也是 Video-MME-v2 代表性的设计之一。对于能力一致性组四道相关问题不是简单平均而是采用激励计分一个 Group 里答对越多奖励也多。这意味着零散地答对几道题并不能拿到很高分只有当模型在同组问题中保持稳定表现分数才会真正上来。对于推理连贯性组则是进一步采用“首错截断”机制。即一旦某一步做错后面即使答对也不再计分。为什么说它更难也更可信一个 Benchmark 的说服力不只在于“设计巧”也在于“数据够不够扎实”。团队严格把控 Video-MME-v2 的数据源、标注流程、质检标准等各方面投入了极高的人力成本。数据集最终包含 800 个视频、3200 个问题共有 12 名标注者和 50 位独立审核人员参与经过 5 轮交叉审核与闭环修订累计投入超过 3300 人工时。更多细节请查看主页和技术报告。评测结果如何在主榜结果中人类的组级非线性得分达到 90.7平均准确率达到 94.9而当前表现最好的商业模型 Gemini-3-Pro组级非线性得分为 49.4。开源模型中Qwen3.5-397B-A17B-Think512 frames组级得分为 39.1。它意味着哪怕是当前最强的视频模型在更严格、更强调一致性与连贯性的评测框架下与人类仍存在巨大的差距。论文也特别指出模型从 Level 1 到 Level 3 呈现出明显的性能递减说明高层复杂推理的薄弱并不只是“推理模块不够强”而往往是前面的信息聚合和时序建模已经出了问题最终层层累积拖垮了复杂理解。〓 图2. 当前评测前 10 名完整请查看主页非线性评分的优势从“答对一道题”到“稳定理解一组问题”在传统评测中平均准确率Avg Acc是最常用的指标但它本质上是逐题独立统计的结果容易受到“零散命中”的影响。相比之下团队提出的组级非线性评分Non-Lin Score通过对问题之间的结构关系进行建模更强调模型在同一能力维度下的整体表现从而能够更真实地刻画模型是否“稳定地理解了视频”。进一步来看非线性评分还揭示了模型能力中的一个重要现象从“单题正确”到“组内稳定正确”之间存在显著能力折损。为此我们引入了一个具有解释力的指标——Non-Lin Score/Avg Acc 的比值用于衡量这一折损程度。实验结果显示当前最强的模型的比值 Gemini-3-Pro 的比值约为 75%Doubao-Seed-2.0-Pro 的比值约为 72%而部分中小模型如 LLaVA-Video-7B甚至低至约 40%。比值越低说明模型越容易出现“组内只能答对部分题”的现象稳定性与鲁棒性越弱。由此可见非线性打分在真实刻画能力水平、揭示模型鲁棒性方面的优势。〓 图3. 不同模型 Non-Lin Sore/Avg Acc 的比值结果一个很值得关注的发现Thinking并不总是有效在今天的大模型语境下“Thinking” 几乎已经成了默认增强选项。但 Video-MME-v2 的一个非常有意思、也非常重要的发现是Thinking 的收益不是无条件成立的它高度依赖文本线索。论文实验显示开启 Thinking 后模型在“有字幕”的设定下通常比在“纯视觉”设定下获得更明显的提升。例如Qwen3.5-122B-A10B-Think64 frames在无字幕和有字幕设置下分别带来 3.8/5.8 的提升。这说明显式文本语义仍然是很多模型完成多步推理时重要的“锚点”。但另一方面Thinking 也可能带来退化。Qwen3-VL-8B 在无字幕设定下出现了 -0.6 的下降而 KimiVL-16B 在整体上出现了 -3.3/-3.3 的性能回落在更强调复杂推理的 Level 3 上退化甚至达到 -4.0/-3.9。这说明一件事当前一些模型的“推理增强”本质上仍然更擅长利用语言线索而不是稳定地从视觉、音频中抽取支撑推理的证据。一旦文本锚点不足Thinking 不但未必增益反而可能引入更多噪声。〓 图4. 在有无字幕设定下是否开启 Thinking 对模型性能影响小结在视频理解的下一阶段Video-MME-v2 想推动的是一次评测理念上的转变强调真正需要比较的是谁能够在连续、动态、多模态的信息中像人一样真正理解正在和已经发生的事情。更多内容和细节请查看主页和技术报告。Video-MME 系列 Project Lead 为南京大学傅朝友老师傅朝友南京大学模式识别实验室研究员、助理教授、博导入选中国科协“青年人才托举工程”。2022 年博士毕业于中科院自动化所模式识别实验室。研究方向为多模态内容分析谷歌学术引用 8700 余次两篇一作单篇引用过千次六篇一作单篇引用过百次开源项目累计获得 2 万余次 GitHub Stars。代表性工作包括 VITA 多模态大模型系列VITA-1.0/-1.5、Long-VITA、VITA-AudioMME 多模态评测基准系列MME、Video-MME、MME-RealWorld和 Awesome-MLLM 社区等。担任 Pattern Recognition/IEEE T-BIOM 期刊编委、ICLR/ICML 会议领域主席、CSIG 青工委委员、CCF-AI/-CV 专委会执行委员。曾获小米青年学者-科技创新奖、华为紫金学者、世界人工智能大会云帆奖、中科院院长特别奖、IEEE Biometrics Council Best Doctoral Dissertation Award、北京市优博、中科院优博、CVPR 2023 Outstanding Reviewer。现在在「知乎」也能找到我们了进入知乎首页搜索「PaperWeekly」点击「关注」订阅我们的专栏吧·