好看不等于会交互！阿里发布基于交互的世界模型基准

视频生成技术正在以惊人的速度迭代那些光影绚丽的画面常常让人惊叹人工智能的创造力但当你仔细观察视频中的物理碰撞或物体运动时会发现它们常常并不符合现实世界的常识。由阿里、中科院、北航和北邮的研究人员联合推出的 Omni-WorldBench 评估框架揭开了当前视频模型的幻觉面纱直接指出绝大多数高颜值的 AI 视频在物理规律和交互逻辑面前依然不堪一击。研究团队构建了一个包含上千个测试用例的庞大题库通过引入代理机制的评分系统对市面上最先进的18款模型进行了深度体检不仅明确了各个模型在交互响应能力上的真实边界也为下一代具备真实物理认知能力的4D世界模型指明了研发方向。评估视角的彻底转换世界模型的核心目标是刻画环境状态在特定交互条件下的时间演变以此为反事实推理、规划和决策提供基础。得益于视频生成技术的突破利用高质量的通用视频表征来模拟世界动态已经成为自动驾驶、具身智能和游戏智能体领域的核心路径。视频模型的设计突飞猛进但专门针对世界模型的评估标准却显得有些迟缓。现有的评估基准大多依赖于传统的视频生成指标关注的焦点仅仅停留在静态画面的视觉保真度或文本与视频的对齐程度上使用的往往是 FID 或 FVD 这样的通用测度。另有一些测试虽然意识到了三维空间的重要性评估了模型在视角变化下生成几何一致性场景的能力但它们根本上忽略了时间维度上的动态演变。未来的世界模型必定走向4D生成也就是将空间结构与时间演化结合起来进行联合建模。在这个崭新的范式中模型的核心能力是交互响应即模型需要忠实地反映动作指令是如何在空间和时间中驱动状态发生改变的。没有任何现存的测试基准系统地评估过这一关键维度。为了填补这一空白研究团队提出了 Omni-WorldBench 框架专门用来评估模型在4D环境下的交互响应能力。这个框架包含两个核心组件一个是覆盖多种交互层级和场景类型的系统性提示词套件 Omni-WorldSuite另一个是基于代理机制的量化评估框架 Omni-Metric。左侧的 Omni-WorldSuite 定义了三个层级的交互右侧的 Omni-Metric 则展示了包含交互效果保真度、视频质量、可控性以及最终由多模态大模型融合得出的综合评分流程。题库与分级构建体系为了全面剖析模型的交互表现Omni-WorldSuite 题库在设计上跨越了不同的交互层级与场景类型。交互条件产生的效果可能仅限于单个物体也可能波及局部环境甚至引发全局的环境变化。这种逐步扩大的交互范围对模型的表征和动态模拟能力提出了完全不同的要求。题库中的1068个测试用例严格按照三个互动层级进行组织。第一层级的动作影响仅仅局限于发起动作的物体本身不会改变周围的物体或环境涵盖了透过水晶球观察远方或者沿着河畔小径连续移动等场景。第二层级涉及局部的互动一个物体会直接对另一个物体产生影响例如在篝火中加热金属棒或者自动驾驶车辆在复杂的动态车流中穿梭。第三层级的动作会影响多个物体并导致更广泛的环境变化例如折断意大利面、整理房间的物品或是机械臂抓取水瓶并递给旁边的人。由于世界模型的应用范围极广评估题库不仅包含了日常物理场景还专门覆盖了自动驾驶、具身机器人和游戏模拟三大应用领域全方位考察物理定律、常识推理、因果关系、相机运动、闭环动态和空间约束。如上图所示题库中的测试用例生动地展示了三个交互层级的差异左侧是通用场景中的光学、流体和物理动态右侧则展示了自动驾驶、具身智能和游戏场景中的具体任务红框清晰地标注出了与交互相关的核心实体。为了保证测试用例的高质量和严谨性研究人员采用了两种截然不同的提示词构建策略。第一种是基于真实数据集的生成策略用来解决合成图像在真实感、复杂度和鲁棒性上的不足。研究人员从 DriveLM 数据集中提取自动驾驶视角的首帧图像和相机轨迹测试模型在真实路况下推断道路动态的能力从 InternData-A1 数据集中选取具身机器人的操作任务考察机器人与物体交互时的物理因果关系从 Sekai 数据集中调取游戏环境数据检验模型在高度动态的非真实渲染环境中保持一致运动模式的能力。这些数据提取后由 Qwen-VL 生成初始描述再经由人工逐一核对和精调确保空间关系和物体属性准确无误。第二种是概念驱动的生成策略采用生成、验证、修正的流水线来合成文本、初始状态图像和相机轨迹。研究人员首先构建一个涵盖场景、目标物体和动作的原型概念库随机抽取属性组合后交由 ChatGPT-5.2 生成文本提示和轨迹参数。随后这些输出会经过 Gemini 和 DeepSeek-R1 的交叉比对最后再由人类进行审核与修正。图像生成环节更是精益求精使用 FLUX.1-dev 为每个提示词生成3个候选图像经过严格的物理合理性、指令遵循度和视觉质量筛选部分图像还会利用 Qwen-Image 进行局部修复最终所有入选的图像分辨率均不低于1024乘以1024。上面这张图表详细拆解了 Omni-WorldSuite 的构建流程展示了基于真实数据集和概念驱动两种策略的工作流同时与现有其他评测平台进行了维度和覆盖面的直观对比。题库中的每个测试不仅有文本描述和首帧图像研究人员还为数据打上了详细的辅助标签列出所有出现的实体标记出受影响和不受影响的对象记录受影响实体的预期运动方向和幅度提取按时间顺序发生的关键事件并标注了部分相机的运动方向和闭环轨迹。从上方图表中可以清晰地看到题库的数据分布物理原理、因果关系和常识推理占据了最大的比重牛顿力学、流体力学是物理维度中最常见的类型充分体现了测试用例在语义和结构覆盖上的广度与深度。三维度的裁判法则针对当前模型评估缺乏动态视角的痛点Omni-Metric 评估框架确立了三个相互独立又高度互补的评价维度。第一个维度是生成视频质量。在这个层面评估体系直接采用行业内成熟的客观标准包括成像质量、时间闪烁程度、运动平滑度、动态程度以及内容对齐度。这个维度不仅考察视频单帧画面的静态美感更聚焦于连续序列在时间轴上的视觉连贯性。第二个维度是相机与对象可控性。它专门审查模型在没有外部干预情况下的场景连贯性和对象稳定性。相机控制指标负责定量分析视频中相机运动轨迹的旋转和平移误差。对象控制指标打破了常规的目标检测加规则匹配的局限创造性地将对象一致性问题转化为视觉问答任务从视频中均匀抽取帧画面询问多模态大模型指定的物体是否存在有效避免了因同义词造成的语义误判。此外考虑到视频中经常出现的场景突然切换会破坏评估的准确性框架引入了基于 PySceneDetect 工具的场景过渡检测指标对任何发生画面突变跳跃的视频直接给予零分惩罚以此保障对时间连续性的严苛审查。第三个维度是评估框架的核心所在即交互效果保真度。它下设了四个极其关键的量化指标全面检验模型是否遵循物理定律和时间逻辑。InterStab-L 指标负责量化长周期的时序连贯性它将时间戳离散化运用 SSIM (结构相似性指数) 和 CLIP 视觉编码器综合计算模型在特定的重访时间节点上的低层结构保真度和高层语义一致性同时引入动态门控机制防止那些根本没有发生运动的静态视频骗取高分。InterStab-N 指标专门评估非目标区域的稳定性它提取视频全局的实体掩码剔除目标区域后利用光流场计算剩余背景区域的运动能量能量越小说明背景越稳定得分也就越高。InterCov 指标用于衡量对象层面的因果真实性它利用视觉语言模型的推理能力作为语义验证器检查受动作影响的物体是否做出了符合常识的动态响应同时确认不受影响的物体是否保持了静止。InterOrder 指标则专注于验证视频中连串事件发生的先后顺序是否与真实物理逻辑保持一致。为了整合这三大维度研究人员摒弃了简单的算术平均法创新性地引入了名为 AgenticScore 的代理评分机制。评估框架将每个评价指标视为独立的代理节点先分别算出各维度的平均分随后引入多模态大型语言模型作为聚合代理。这个聚合代理会深入分析测试提示词的语义重心动态计算并分配视频质量、可控性和保真度三个维度的权重比例最终得出一个高度契合测试场景的综合评分。十八款模型现原形带着这套严苛的测试标准研究团队对当下最具代表性的18款前沿模型展开了全面测评。这些模型涵盖了 T2V (文本生成视频)、IT2V (图像生成视频) 以及支持相机参数控制的多种生成范式。参与测试的模型包括 Director3D、OpenSoraPlan、T2V-Turbo、HunyuanVideo、Matrix-Game2.0、Wan2.1、Wan2.2、CogVideo、OpenSora、Cosmos、LargeVideoPlanner、HunyuanWorld、HunyuanGameCraft、ViewCrafter、Gen3c、Lingbot、FantasyWorld 以及 WonderWorld。测试过程全部部署在 H20 计算集群上严格遵循各个模型的官方运行参数。数据表格展现了最直观的成绩单。从综合表现来看拥有丰富输入条件图像生成视频范式展现出了最强的战斗力。在这个组别里Wan2.2 以 75.92% 的 AgenticScore 综合得分傲视群雄Cosmos 以 75.42% 紧随其后。纯文本生成视频组中HunyuanVideo 表现最为出色拿下了 73.96% 的分数。而在支持复杂相机调度的组别中HunyuanWorld 和 WonderWorld 成功领跑得分分别达到了 74.36% 和 74.02%。在基础视觉质量方面绝大多数模型都展现出了极高的水准时间闪烁和运动平滑度这两项指标常常飙升到 95.00% 以上。模型之间的核心差距主要集中在画面动态程度和内容对齐度上比如在相机控制组别里ViewCrafter 和 WonderWorld 在动态程度上拿到了满分但同组的其他模型在这项得分上却参差不齐。真正让各路模型暴露短板的是交互效果保真度测试这项测试无情地考察着模型应对物理规则和逻辑交互的下限。图像生成视频组展现出了较高的逻辑一致性Wan2.2 拔得头筹平均分达到 67.34%。但在带有相机的控制组中模型往往顾此失彼呈现出明显的妥协现象。例如 WonderWorld 在长周期连贯性 InterStab-L 上拿下了惊艳的 84.96%但其非目标区域稳定性 InterStab-N 却断崖式下跌到了 24.89%。当前模型在处理交互逻辑时依然面临挑战维持复杂相机调度的同时保障底层交互规律依然是尚未攻克的难关。现有的视频模型确实已经能在常规指标上跑出漂亮的分数但 Omni-WorldBench 这块试金石证明想要真正打造一个能够受控演化、遵循因果律且支持灵活相机操作的交互式世界模型仍有一段不短的路要走。参考资料https://arxiv.org/pdf/2603.22212https://github.com/AMAP-ML/Omni-WorldBench