视觉语言模型心智理论评估：意图理解与视角采样的能力分离现象

1. 项目概述当AI“读心术”遇到瓶颈最近在跟进多模态大模型的前沿进展时一篇来自2025年“心智理论”国际研讨会的论文引起了我的注意。论文标题很有意思叫《视觉语言模型看到你想看的而非你看到的》。这个标题精准地概括了当前视觉语言模型在“心智理论”能力上的一种奇特现象它们似乎能很好地“猜”出你的意图但却很难真正“站”在你的位置上看世界。所谓“心智理论”听起来很玄乎其实核心就是“读心术”——不是超能力那种而是指我们人类天生具备的一种能力理解他人有自己的思想、信念、意图和视角并且这些可能与我们自己的不同。比如你知道同事背对着你所以他看不到你桌上的咖啡杯或者你从朋友含糊的话语中能推断出他其实是想请你帮忙。这种能力是社会协作、沟通乃至欺骗的基石。过去几年随着大语言模型和视觉语言模型的爆发研究者们开始好奇这些模型是否也发展出了类似的心智理论能力这篇论文通过两个精心设计的基准测试——IntentBench和PerspectBench对35个主流VLM进行了系统评估。结果揭示了一个关键发现模型在“意图理解”任务上表现接近人类水平甚至随着模型规模增大而提升但在“二级视角采样”任务上表现却差强人意且规模增长并未带来能力提升。这就像是一个学生阅读理解题做得很好但一到需要空间想象力的几何题就卡壳了。这种能力的“分离现象”暗示当前VLM的“社会智能”可能建立在沙滩上——它们擅长从海量数据中总结关于意图的“知识”却缺乏真正进行心理模拟和视角转换的“内功”。2. 心智理论的双重路径模拟推理 vs. 理论推理要理解VLM为何会“偏科”我们得先拆解心智理论背后的两种核心认知机制。这在认知科学和哲学中是个经典议题对于评估AI也至关重要。2.1 模拟推理构建内部心理模型想象一下你要判断坐在你对面的朋友能看到你手机的哪一面。你不会去回忆教科书上关于“视角”的定义而是会不自觉地、快速地在脑海里“旋转”整个场景将自己代入朋友的位置模拟他的视觉输入。这个过程就是模拟推理。它的核心在于构建并操作一个关于自我-他人关系的内部动态模型。在这个模型中你不仅知道他人有独立的视角还能基于这个模型进行“如果…那么…”的推理。例如“如果我把手机屏幕朝向我那么从他的位置看他只能看到手机背面。”这种推理通常与具体的感知运动模拟如心理旋转紧密相关。在人类发展中这种需要心理模拟的二级视角采样能力要到4-5岁甚至更晚才能成熟因为它对认知负荷要求更高。2.2 理论推理应用抽象知识库与模拟推理相对的是理论推理。这种方式不依赖于实时、在线的心理模拟而是依赖于一个存储好的、关于心智状态与行为之间关系的抽象知识库。比如当你看到一个人伸手去拿水杯你的大脑可能会快速匹配一条从经验中学到的知识“伸手拿水杯”这个行为通常与“口渴”或“想喝水”的意图相关联。你不需要模拟他喉咙的干燥感只需要应用这条抽象规则即可。这种推理更像是一种模式识别和知识检索。许多关于意图理解的日常场景都可以通过这种基于统计规律和语义关联的知识库来应对。注意这两种机制在人类认知中并非泾渭分明常常协同工作。但区分它们对于诊断AI的能力边界非常关键。模拟推理更像是“知其所以然”的深度理解而理论推理则可能是“知其然”的浅层关联。2.3 VLM的能力画像知识巨人模拟矮子基于上述框架论文的发现就很好解读了。VLM在预训练阶段吞噬了互联网规模的图文数据其中包含了海量关于人类行为、社会情境和意图表达的文本描述与视觉对应关系。因此当面对IntentBench中那些模棱两可的社会场景图片时例如一个人看着空钱包又看着商店橱窗模型可以调动庞大的知识库将视觉线索与“购物但钱不够”、“感到沮丧”等意图标签进行高概率关联。这本质上是一种强大的、基于关联的理论推理。然而PerspectBench测试的二级视角采样要求模型进行一种依赖空间关系的心理模拟。经典的“三山任务”变体要求模型推断从一个特定角度比如一个玩偶的视角看去一组易拉罐的排列会呈现什么形状。这需要模型在“心智中”旋转整个场景。论文发现即使是GPT-4o这样的顶级模型在此类任务上也表现不佳。更关键的是这种能力不随模型参数规模增长而改善。这强烈暗示当前VLM的架构和训练目标可能更利于编码和检索陈述性知识关于“是什么”的事实而非培养程序性知识关于“如何做”的模拟操作。它们学到了“从不同角度看东西会不一样”这个事实但缺乏执行“看”这个视角转换过程的内部机制。它们的“理解”停留在符号和统计层面而非具身和模拟层面。3. 核心实验拆解IntentBench与PerspectBench如何“拷问”VLM光有理论不够我们得看看论文是怎么用实验把VLM的“底裤”扒下来的。这两个基准的设计非常巧妙直指心智理论的不同维度。3.1 IntentBench意图理解的“阅读理解”题IntentBench包含了100个基于真实世界模糊社交场景的单图实验。这些场景的关键在于“模糊”——图像信息不足以唯一确定一个意图需要结合社会常识进行推理。任务设计原理避免使用早期研究中常见的、由物理引擎生成的简单动画场景比如一个小球追逐另一个小球。这类任务被批评缺乏生态效度与现实世界的复杂性脱节。IntentBench的灵感来源于COIG-CQIA和Ruozhiba等高质量中文指令微调数据集它选取的是真实生活中可能遇到的、充满歧义的瞬间。示例一张图片显示一个人站在岔路口看着两个方向的路标表情犹豫。可能的意图选项包括“在寻找特定地址”、“在决定散步路线”、“迷路了在尝试辨认方向”。模型需要选择最合理的意图。模型如何应对在此类任务上表现最好的模型如GPT-4o达到了接近人类的水平。这是因为模型在训练中见过无数描述类似场景的文本如小说、社交媒体帖子、图片标注它学会了将视觉模式人的姿态、视线方向、环境物体与高频共现的意图描述词汇进行关联。这本质上是跨模态的模式匹配和概率推理完美契合了理论推理的路径。3.2 PerspectBench视角采样的“空间几何”题PerspectBench则复杂得多包含32个多图和209个单图实验其核心是经典发展心理学任务——“三山任务”的现代化变体。经典三山任务回顾在皮亚杰的原始实验中孩子面对一个有三座特征不同的小山的模型。实验者将一个玩偶放在模型的不同位置然后问孩子“从玩偶的位置看它能看到哪座山” 一级视角采样只需判断玩偶能否看到某物“它能看到红色的山吗”二级视角采样则需要描述玩偶看到的景象具体是什么样子“它看到的红色山是在左边还是右边”。VLM适配版论文将“三座山”替换为3-4个常见饮料罐排列成不同的空间模式。这样既保留了空间关系的核心又使用了模型更熟悉的日常物体。任务会展示一张从“自我”视角看到的罐子排列图以及一张从另一个角度玩偶视角看到的场景图然后要求模型判断从玩偶的视角看罐子的排列顺序或可见面是怎样的。挑战所在这要求模型必须进行心理旋转和视角投射。它不能仅仅依赖标签如“可乐罐”而必须在内部表征中操作物体的空间关系。例如如果从我的角度看是“红罐在左蓝罐在右”那么对于一个在我对面180度的观察者来说这个左右关系正好相反。模型需要模拟这个转换过程。实验结果几乎所有被测VLM在PerspectBench上的表现都显著低于IntentBench且与模型规模无关。这说明简单地增加参数和数据并不能让模型“学会”这种基于模拟的视角转换能力。这很可能是因为当前VLM的视觉编码器如ViT和LLM的交叉注意力机制主要擅长提取和融合语义特征而非构建和操作精确的、可旋转的3D场景表征。4. 从评估到启示VLM社会认知缺陷的深层影响这个分离现象不仅仅是学术上的一个有趣发现它对VLM的实际应用尤其是在需要深度人机协作的领域敲响了警钟。4.1 对可信人机协作的挑战设想以下场景协作机器人一个家庭服务机器人需要把水杯递给坐在沙发上的主人。如果机器人只有强大的意图理解“主人伸手意图是接水杯”但缺乏二级视角采样能力它可能无法判断从主人的视角看水杯的把手是否朝向方便抓握的位置。它可能只是机械地把杯子递过去导致主人需要别扭地转动手腕才能握住。自动驾驶自动驾驶系统需要理解其他交通参与者的意图“那辆车打左转向灯意图是变道”。但如果它无法进行有效的视角采样就可能错误估计其他司机对周围环境的感知。例如它可能无法准确判断一辆大货车司机因为盲区而根本看不到旁边的自行车从而做出危险预测。安全关键领域论文中另一项关于LLM在安全关键领域错误信念任务的研究也指出了类似风险。如果AI无法稳健地追踪人类队友的信念状态例如队友误以为某个区域是安全的在军事、救援等场景中可能导致灾难性的协作失败。4.2 模型架构与训练范式的反思这一发现促使我们反思当前VLM的主流范式视觉表征的局限性当前的视觉编码器输出的是高度抽象的、语义化的特征向量这些向量丢失了精确的几何和空间关系信息而这些信息对于视角采样至关重要。未来的模型可能需要整合更明确的3D场景表示或神经辐射场等技术。训练目标的偏差大多数VLM的训练目标如图文对比学习、文本生成鼓励模型学习语义对齐而非空间推理。可能需要引入专门的、需要心理模拟的预训练任务或强化学习环境来“逼迫”模型发展出这种能力。推理过程的黑箱即使一个VLM偶然答对了视角采样问题我们也很难知道它是真的进行了心理模拟还是靠“蒙”或数据中的巧合。开发可解释的工具来探测模型内部的“模拟过程”将是未来研究的关键。4.3 混合智能系统的可能路径论文的发现并不一定意味着VLM永远无法拥有真正的视角采样能力但它提示纯数据驱动的、端到端的训练方式可能存在天花板。一个可行的方向是走向混合架构符号与子符号结合像“期望事件演算”这样的逻辑框架可以显式地表示不同主体的信念、期望和视角。将VLM强大的感知和意图理解能力与这种符号推理引擎相结合让VLM作为“感知模块”提供输入符号系统负责进行需要模拟的复杂推理。世界模型集成让VLM与一个内部的世界模型World Model耦合。这个内部模型可以对外部环境进行动态的、可操作的模拟。当需要进行视角采样时VLM可以调用这个世界模型进行“想象”和“渲染”而不是仅仅进行特征检索。具身交互训练让VLM控制具身智能体在模拟或真实环境中进行交互。通过第一人称和第三人称视角的不断切换以及完成需要理解他人视角才能成功的协作任务模型或许能从交互中更自然地习得视角采样能力。5. 实操如何初步测试一个VLM的视角采样能力作为开发者或研究者我们如何在自己的项目中快速评估所用VLM的这项能力呢这里提供一个简单的、可复现的测试思路无需复杂的基准测试集。5.1 设计简易测试题核心是构造需要心理旋转的视觉问题。避免使用抽象形状用日常物体。测试题示例单图问答图片一张俯拍桌面的照片桌面上从左到右依次摆放着一个红色马克杯把手朝右、一个苹果、一个蓝色笔记本封面朝上。问题1一级视角采样控制组“假设一个小人模型站在桌子的南边面朝北看着桌面。它能看见苹果吗”正确答案能问题2二级视角采样目标组“假设一个小人模型站在桌子的西边面朝东看着桌面。从它的视角看红色马克杯的把手朝向哪边左/右/前/后”正确答案左。因为从西向东看原本朝右的把手现在在物体的左侧提示词设计技巧明确参照系在问题中清晰定义“左/右”是以观察者自身为参照。可以加上“以小人模型的左右为准”。避免歧义使用颜色、显著特征来区分物体确保模型不会混淆。加入干扰项可以多问几个关于其他物体的问题或者加入意图理解问题作为对比。5.2 执行测试与结果分析选择模型可以选择GPT-4V、Gemini Pro Vision、Claude 3 Opus、LLaVA-Next等主流VLM的API或开源版本。构造Prompt将图片和问题一起输入。可以采用零样本或少样本提供1-2个例子的方式。多次采样由于生成的不确定性对每个问题应进行多次如10次查询计算正确率。设置温度参数如temperature0.7以观察模型回答的稳定性。分析错误模式完全随机回答毫无规律说明模型完全无法处理该任务。自我中心错误模型总是从图片拍摄者或默认视角的左右来回答这是最典型的缺乏视角采样能力的表现。语义混淆模型可能描述“马克杯的把手”但方向判断错误说明它识别了物体和部件但空间关系推理失败。5.3 常见问题与避坑指南问题模型似乎答对了但可能是猜的或从训练数据中背下来的答案。对策设计新颖的、独特的物体排列组合。确保你使用的测试图片极不可能在模型的训练集中出现过。可以自己用实物拍摄。问题模型对“左/右”描述产生歧义。对策在提示词中极度明确。例如“请严格以小人模型自身的朝向为基准判断物体的方位。小人面朝东那么它的左手边就是北边右手边就是南边。请回答‘左’或‘右’。”问题开源模型对复杂空间描述理解不佳。对策简化问题。可以先从“是否可见”一级视角测试开始再过渡到“相对位置”二级视角。对于开源模型尝试使用思维链提示“请一步一步推理。首先描述从原始图片视角看到的布局。然后想象你移动到小人模型的位置和朝向。最后描述从这个新视角看到的布局。”问题如何量化评估对策不要只看单次回答。计算一组如20道精心设计的二级视角采样题的正确率。同时跑一组同等难度的意图理解题作为对比。如果出现论文中所述的“分离现象”意图理解分高视角采样分低那你就亲手复现了该核心发现。6. 未来展望迈向真正懂得“换位思考”的AI这项研究像是一盏探照灯照亮了当前VLM在通往人类级社会智能道路上的一道关键沟壑。它告诉我们仅仅扩大模型规模和数据量可能无法自然涌现出所有我们期望的认知能力特别是那些依赖于内部模拟和模型构建的“湿件”特性。未来的突破点可能在于多模态训练的革命从静态的“图片-文本”配对转向动态的、多视角的“视频-文本”或“3D场景-文本”数据。让模型在数据层面就接触大量从不同角度观察同一场景的实例。推理架构的创新探索在Transformer主干上增加专门的“空间推理模块”或“模拟引擎”。或者更激进地采用完全不同的、天生擅长处理空间关系的架构如基于图网络的模型来处理此类子任务。评估基准的深化我们需要更复杂、更贴近现实应用的评估基准。不仅仅是“三山任务”而是包含动态交互、部分可观测、需要长期信念跟踪的复杂场景例如模拟一场需要团队协作的桌面游戏。这项研究给我的最大体会是在追求AI“智能”的路上我们不仅要问模型“知道什么”更要追问它“如何知道”。意图理解上的成功可能源于对数据表面关联的深刻挖掘而视角采样的失败则暴露了缺乏对世界进行内部建模和操作这一根本短板。构建能够真正进行心理模拟的AI或许是我们迈向可信、可靠、可协作的人工伙伴不可或缺的一步。这不仅仅是技术挑战也促使我们更深入地思考智能、理解与意识的本质。