清华研究发现：当世界模型能够通过视觉想象而非纯文本思考时，其推理方式更接近人类！

模型能解高数题、写复杂代码但遇到“把这张纸对折三次再剪个洞展开后有几个窟窿”就频频卡壳。纯语言推理在符号和抽象规则上进步很快但在物理常识、空间拓扑这些需要具象表征的任务上依然存在明显的系统性短板。社区一直对“让大模型边想边画图到底有没有用”争论不休早期实验结论也很混杂。既不知道何时该引入多模态生成也不知道该对结果抱多大期望。这篇由清华大学与字节跳动 Seed 团队联合发表的论文试图通过控制变量把这笔账算清楚。论文Visual Generation Unlocks Human-Like Reasoning through Multimodal World Models链接https://arxiv.org/pdf/2601.19834v1项目https://thuml.github.io/Reasoning-Visual-World认知科学的双编码理论早就指出人类同时依赖语言和视觉心理表征来理解世界。当前的统一多模态模型虽然能做到图文统一生成但视觉生成究竟在哪些环节真正帮到了推理依然缺乏清晰的理论框架。纯语言路径在面对依赖空间直觉的物理任务时往往受限于表征瓶颈。但这并不意味着纯语言推理一无是处它更提示我们需要根据任务特性重新审视模态分工。从“画草图”到“世界沙盘”理论形式化论文的核心思路是把大模型的“脑补”过程形式化为一个世界模型。简单来说作者将任务建模为一个多可观测马尔可夫决策过程。你可以把它理解为一个允许模型通过不同视角文字或图像去观察同一隐含状态的系统。在这个框架下视觉生成主要承担两项原子能力世界重建与世界模拟。世界重建好比人类根据几张局部照片脑补出完整房间的布局并支持生成新视角的图像世界模拟则像是在脑子里下棋提前推演几步操作后的局面变化。交错式多模态思维链就是让文字推理和图像生成交替推进像工程师画草稿加写备注一样。看这张图时重点关注意念中的状态流转路径从局部观测到隐含状态再到多模态思维链的交替生成。它支撑了论文的核心主张在物理推理中显式生成中间图像相当于在执行更精确的状态跟踪。但它不能直接证明视觉生成在所有场景都优于文本其理论推导基于理想化的信息论假设实际训练中的模态对齐成本远比公式复杂。换一把尺子VisWorld-Eval 如何隔离“重建”与“模拟”要验证“视觉到底在哪有用”首先需要一把刻度精准的尺子。以往的研究任务设计往往比较随意导致结论难以横向对比。为此作者构建了 VisWorld-Eval 评测集。这套基准没有追求大而全而是精准隔离了“重建”与“模拟”两类需求。它包含了折纸、多跳物体操作、球体轨迹追踪、立方体三视图投影、真实空间关系、迷宫和推箱子等七项任务涵盖了合成场景与真实空间关系。读这张图和表时重点看两件事一是任务难度的阶梯设计二是主流 VLM 在空间物理任务上的普遍低分。这说明当前基于纯语言 CoT 的模型在面对具象变换时确实存在瓶颈。但需要留意的是零样本低分不一定完全代表认知缺失部分结果也可能受限于指令遵循能力或评测格式的严格性。注该基线数据仅反映当前模型在特定评测集上的表现不直接等价于开放域泛化能力。边想边画视觉 CoT 何时拉开差距何时该让位实验结果给出了一个比较清晰的信号模态的选择高度依赖任务的信息需求。在论文设定的实验条件下当任务强依赖几何对称、空间变换或连续状态跟踪如折纸、球体追踪时交错式多模态思维链显著优于纯语言推理或隐式推理。作者在该实验设置下指出在折纸任务的特定监督微调设置中视觉路径的样本效率提升了约 4 倍指对比纯语言 SFT 达到同等折纸任务准确率所需的数据量。这张柱状图是全文的“证据高地”。重点对比隐式、语言、视觉三种模式在不同任务上的分差。它直观验证了“视觉优越性假说”在特定任务上的有效性。但它不能推导出视觉 CoT 可以全面替代语言推理因为性能增益仅在 VisWorld-Eval 的特定设置下测得直接外推到所有场景需要谨慎。注柱状图仅反映该基准下的零样本/微调表现不直接等价于模型开放域物理推理能力。有意思的是在迷宫和推箱子这类状态空间相对简单的网格任务中视觉 CoT 并没有展现出优势反而是隐式 CoT 表现最好。这说明对于能够被坐标或内部隐式表征充分编码的任务模型其实已经能内部涌现状态跟踪能力。这时候硬上视觉生成不仅收益有限还会白白消耗算力和生成时间如交错生成带来的推理步数翻倍、KV Cache 显存峰值及首字延迟。这有点像用高射炮打蚊子工程账算不过来。看这个案例时注意观察“文本推理→图像生成→文本修正”的交替节奏以及中间生成的图像如何辅助空间定位。它证明了多模态模型具备执行显式世界重建的可行性。但它展示的只是精选的成功案例并未呈现中间图像模糊、结构损坏的失败路径。实际推理上限依然被当前的视觉生成质量死死卡住。别急着下结论架构依赖与未验证的泛化尽管实验设计严谨但作为一篇arxiv有几个边界条件在引用时必须明确不宜过度外推。首先是标题中的“Unlocks Human-Like Reasoning”带有一定的宣传色彩。作者目前仅在 VisWorld-Eval 的受限合成任务和特定架构下验证了模式匹配的优势距离真正的开放域物理常识推理还有很长的路。其次实验高度依赖 BAGEL 这一特定的统一多模态架构。论文中的视觉生成机制是否适用于纯 Diffusion 或纯离散 Token 范式目前尚未确认。此外论文中的强化学习训练仅优化了文本生成部分视觉部分通过 KL 正则化约束。这意味着交错 CoT 的完整潜力可能并未被完全释放但也避免了直接对视觉生成做策略梯度更新可能带来的不稳定。最后理论部分推导的信息论上界非常漂亮但在工程落地时多模态对齐的显存开销、生成延迟与保真度之间的权衡远比公式假设要复杂得多。理论公式指导方向但实际调参的账还得一笔笔算。对多模态协同推理的启发模态匹配优于能力堆砌对我们来说这篇论文最大的价值不在于鼓吹“视觉全面超越语言”而在于提供了一套模态选择的决策框架。纯文本 CoT 并非推理的最优路径但视觉中间态也不是万能的。在涉及几何变换、物理交互等强多模态先验的任务中引入显式视觉生成作为状态跟踪器确实能突破语言表征的信息瓶颈。但在状态空间简单、规则明确的任务里隐式表征往往更高效。未来的统一多模态模型需要在生成保真度、交错生成的 RL 策略以及跨架构泛化上持续突破。给我们的具体建议很实在在决定是否让模型“边想边画图”之前先评估任务本身的世界建模需求。如果需要精确的空间推演视觉 CoT 值得尝试如果只是逻辑跳转别让生成延迟拖垮了系统吞吐量。毕竟工程上的最优解永远是匹配需求而不是堆砌能力。