【2026年世界模型最全综述】：从开山之作到Sora与Genie 3

论文信息标题Understanding World or Predicting Future? A Comprehensive Surveyof World Models会议ACM Computing Surveys 2026计算机领域顶级综述期刊单位清华大学FIB-Lab代码https://github.com/tsinghua-fiblab/World-Model包含所有代表性论文代码仓库汇总论文https://arxiv.org/pdf/2411.14499一、引言AI的大脑模拟器时代来了如果说2023年是大语言模型的爆发年2024年是视频生成模型的元年那么2025年毫无疑问是世界模型的黄金时代。从OpenAI的Sora能生成一分钟符合物理规律的视频到DeepMind的Genie 3能实时交互生成游戏世界再到清华大学的AgentSociety能模拟上万个智能体的社会演化世界模型正在成为通往通用人工智能(AGI)的核心基石。这篇由清华大学FIB-Lab团队撰写的综述是目前最全面、最新的世界模型综述覆盖了从1943年心理学心智模型概念到2025年最新研究进展的完整历史系统地将世界模型分为理解世界和预测未来两大核心功能并深入探讨了它们在游戏、机器人、自动驾驶和社会模拟四大领域的应用。通俗解释世界模型就像AI的大脑模拟器。人类在做决定前会在脑子里预演一下可能的结果比如过马路时会预判车辆的行驶轨迹。世界模型就是让AI也拥有这种能力——它能在虚拟空间里模拟世界的运行规律然后根据模拟结果做出最优决策。二、世界模型的前世今生与核心分类2.1 从心理学概念到AI革命世界模型的概念其实早在1943年就由苏格兰心理学家Kenneth Craik提出了。他在《解释的本质》一书中指出人类的大脑会构建现实的小规模模型用来预测和理解外部事件。“这一观点后来被Philip Johnson-Laird发展为心智模型理论”成为现代认知科学的基础。在AI领域世界模型的发展可以分为几个关键阶段前深度学习时代(1960s-2017)从Minsky的框架理论到基于表格和简单函数的环境模型模型强化学习时代(2018)David Ha和Jürgen Schmidhuber发表开山之作《Recurrent World Models Facilitate Policy Evolution》正式将世界模型引入深度学习领域自监督学习时代(2022)Yann LeCun提出JEPA架构主张通过自监督学习在隐空间中预测世界状态大语言模型时代(2023)LLM被发现天然蕴含丰富的世界知识成为世界模型的强大 backbone视频生成时代(2024-2025)Sora、Genie等模型通过生成视频来显式模拟世界动态2.2 世界模型发展路线图图1 深度学习时代世界模型发展路线图来源原论文Figure 1图1分析这张图清晰地展示了世界模型从2018年到2025年的爆发式发展。可以看到2018-2022年主要集中在模型强化学习领域代表模型有RWM、Dreamer系列2023年开始向多模态扩展出现了V-JEPA、Gen-2等模型2024年视频生成模型爆发Sora、GAIA-1、Drive-WM等相继问世2025年进入交互式世界模型时代Genie 3、Cosmos、Aether等模型实现了实时交互和物理规律的高度遵从2.3 论文的核心分类框架这篇综述最大的贡献就是提出了一个全新的世界模型分类体系将所有研究分为两大核心功能图2 世界模型整体分类框架来源原论文Figure 2外部世界的隐式表示AI通过学习将外部世界转化为抽象的隐变量就像人类对世界的概念理解。这部分又分为决策中的世界模型主要用于强化学习模型学到的世界知识主要来自大语言模型物理世界的未来预测AI通过生成视频或3D环境来显式模拟世界的未来状态。这部分又分为作为视频生成的世界模型作为具身环境的世界模型通俗解释“隐式表示就像你脑子里知道苹果是红色的、圆的、会从树上掉下来”但不需要真的画出来未来预测就像你能在脑子里想象出苹果从树上掉下来砸到牛顿头上的完整过程。三、外部世界的隐式表示AI如何理解世界3.1 决策中的世界模型强化学习的大脑在强化学习中世界模型本质上就是环境的动力学模型。一个典型的马尔可夫决策过程(MDP)可以表示为一个元组(S,A,M,R,γ)(S, A, M, R, \gamma)(S,A,M,R,γ)其中SSS状态空间环境所有可能的状态集合AAA动作空间智能体所有可能的动作集合MMM状态转移动力学给定当前状态和动作预测下一个状态的概率分布RRR奖励函数给定当前状态和动作返回即时奖励γ\gammaγ折扣因子未来奖励的衰减系数通常在0到1之间通俗解释这个公式就像一个游戏规则说明书。SSS是游戏里所有可能的场景AAA是你能做的所有操作MMM是游戏的物理引擎告诉你按了跳跃键后角色会跳多高RRR是得分规则吃到金币加10分γ\gammaγ是及时行乐系数现在的10分比未来的10分更有价值。世界模型的核心任务就是学习这个状态转移动力学MMM。最基本的学习目标是最小化预测状态和真实状态之间的均方误差min⁡θEs′∼M∗(⋅∣s,a)[∥s′−Mθ(s,a)∥22]\min_{\theta} \mathbb{E}_{s \sim M^*(\cdot | s,a)} \left[ \| s - M_{\theta}(s,a) \|_2^2 \right]θmin​Es′∼M∗(⋅∣s,a)​[∥s′−Mθ​(s,a)∥22​]其中θ\thetaθ世界模型的参数M∗M^*M∗真实的环境动力学我们想要学习的目标MθM_{\theta}Mθ​我们训练的参数化世界模型E\mathbb{E}E数学期望对所有可能的状态-动作对求平均∥⋅∥22\| \cdot \|_2^2∥⋅∥22​L2范数的平方也就是均方误差通俗解释这个公式的意思就是让模型预测的下一个状态和真实发生的下一个状态的差距越小越好。就像你练习投篮每次投完后都会根据实际结果调整自己的投篮姿势直到预测的球的轨迹和实际轨迹几乎一致。除了确定性的均方误差损失还有概率性的损失函数比如KL散度min⁡θEs′∼M∗(⋅∣s,a)[log⁡(M∗(s′∣s,a)Mθ(s′∣s,a))]\min_{\theta} \mathbb{E}_{s \sim M^*(\cdot | s,a)} \left[ \log \left( \frac{M^*(s | s,a)}{M_{\theta}(s | s,a)} \right) \right]θmin​Es′∼M∗(⋅∣s,a)​[log(Mθ​(s′∣s,a)M∗(s′∣s,a)​)]这种方法可以更好地建模环境中的不确定性比如当你扔一个骰子时结果是随机的而不是确定的。两种决策范式在强化学习中使用世界模型有两种主要范式图3 决策中使用世界模型的两种范式来源原论文Figure 3模型强化学习范式先学习世界模型然后在世界模型中通过想象来训练策略。代表模型有Dreamer系列其中最新的DreamerV3已经能在没有人类数据和领域特定调优的情况下解决超过150个任务包括在Minecraft中收集钻石语言模型骨干范式利用大语言模型作为世界模型的骨干直接生成动作或者作为规划模块。比如在导航任务中LLM可以根据环境描述生成下一步的移动指令。3.2 模型学到的世界知识LLM的常识库大语言模型在预训练过程中从海量的文本数据中自动学到了丰富的世界知识。这篇综述将这些知识分为四大类图4 大语言模型中的世界知识分类来源原论文Figure 4知识类别包含内容代表研究常识与通用知识日常生活中的基本事实和规律KoLA(2024), EWOK(2024)全球物理世界知识地理、空间、时间等宏观知识GeoLLM(2024), CityGPT(2025)局部物理世界知识物体属性、空间关系、物理规律Predictive(2024), Spatial457(2025)人类社会知识心理理论、社会规则、文化习俗Testing ToM(2024), COKE(2024)表1 大语言模型世界知识研究概览来源原论文Table 1有趣案例2024年的一项研究发现Llama2模型中存在专门的空间神经元和时间神经元这些神经元会对不同的地理位置和时间点产生特异性激活说明LLM确实在内部构建了一个关于世界的认知地图而不仅仅是记住了文本的统计规律。四、物理世界的未来预测AI如何想象未来4.1 作为视频生成的世界模型从Sora到Cosmos视频生成模型是当前世界模型最热门的研究方向。与传统的隐式表示不同视频生成模型通过直接生成视觉序列来展示它们对世界动态的理解。Sora视频世界模型的里程碑OpenAI的Sora无疑是视频世界模型的里程碑。它能生成长达一分钟的高质量视频并且在很多情况下能正确模拟物理规律比如物体的碰撞、光影的变化等。但Sora也有明显的局限性因果推理能力不足它只能被动生成序列不能主动预测动作对事件的影响物理规律不一致经常出现物体穿透、重力异常等错误缺乏交互能力用户不能在生成过程中干预视频的发展视频世界模型的关键能力一个优秀的视频世界模型需要具备以下能力长期预测能力能生成长时间保持一致性的视频多模态整合能力能处理文本、图像、动作等多种输入交互能力能响应用户的输入动态调整生成内容多环境适应能力能在不同的场景中生成符合规律的视频能力维度代表模型核心技术长期生成StreamingT2V, GAIA-1Transformer, 长短期记忆块多模态3D-VLA, Pandora跨模态注意力机制交互式VideoDecision, Aether动作条件扩散模型一致性DiffDreamer, WorldMem记忆机制, 关键帧生成表2 视频生成世界模型分类来源原论文Table 2最新进展2025年1月发布的Cosmos模型是专门为物理世界模拟设计的视频生成基础模型。它通过在海量真实物理视频上预训练在物理规律遵从性方面取得了突破性进展能正确模拟流体动力学、刚体碰撞等复杂物理现象。4.2 作为具身环境的世界模型从静态到动态视频生成模型只能生成被动的视觉序列而具身环境世界模型则能创建可交互的3D虚拟环境让智能体在其中进行探索和学习。这篇综述将具身环境世界模型分为三类图5 具身环境世界模型分类来源原论文Figure 5室内环境如AI2-THOR、VirtualHome等主要用于家庭机器人任务训练室外环境如MetaUrban、MineDOJO等用于城市导航和开放世界任务动态环境如UniSim、Aether等利用生成模型动态创建场景是当前的研究热点环境类型代表平台场景数量支持模态物理模拟室内AI2-THOR(2017)120视觉✓室内Holodeck(2024)任意视觉✓室外MetaUrban(2024)13800视觉激光雷达✓动态Aether(2025)任意视觉文本✓表3 具身环境世界模型对比来源原论文Table 3有趣案例2025年的RoboScape模型是第一个物理感知的具身世界模型。它在视频生成过程中整合了深度图和关键点动力学能生成符合物理规律的机器人运动轨迹。用RoboScape生成的合成数据训练的机器人策略在真实世界中的表现比用传统模拟器数据训练的策略提升了30%以上五、世界模型的四大应用领域5.1 游戏智能生成式游戏的未来游戏是世界模型最理想的测试场因为游戏有明确的规则和清晰的奖惩机制。世界模型正在彻底改变游戏开发的方式交互性GameNGen实现了完全基于神经网络的游戏引擎能以20帧/秒的速度运行实时交互游戏一致性WHAM模型能生成一致且多样化的游戏序列并且能保留用户对游戏世界的修改泛化性GameFactory能利用预训练视频扩散模型的通用先验创建全新风格的游戏未来展望生成式无限游戏将成为可能。想象一下你进入一个游戏整个世界都是根据你的喜好和行为动态生成的没有固定的剧情和结局每次玩都有全新的体验5.2 具身智能机器人的虚拟训练场世界模型为机器人学习提供了一个安全、高效的虚拟训练场。传统的机器人训练需要在真实世界中进行大量的试错成本高且风险大。而世界模型可以生成合成数据DreamGen模型能生成高质量的机器人动作视频用于训练视觉-语言-动作(VLA)模型指导动作生成UniPi模型将动作预测转化为视频生成问题通过可视化未来场景来指导机器人行动评估策略性能IRASim模型能根据初始帧和动作序列生成对应的视频用于评估机器人策略的性能突破性进展DayDreamer模型让机器人能在真实世界中直接学习运动技能只需要几个小时的训练就能学会走路大大减少了对模拟环境的依赖。5.3 城市智能自动驾驶与城市分析世界模型在城市智能领域有广泛的应用其中最成熟的是自动驾驶图6 世界模型在自动驾驶中的应用来源原论文Figure 6在自动驾驶中世界模型主要有两种应用方式场景理解通过感知数据学习驾驶场景的隐式表示用于目标检测、轨迹预测等任务世界模拟器直接生成未来的驾驶场景视频或占用网格用于规划和决策代表模型GAIA-1是第一个生成式自动驾驶世界模型它能根据文本、图像和动作输入生成逼真的驾驶场景视频。Drive-WM则引入了闭环控制能根据规划结果动态调整生成的场景。除了自动驾驶世界模型还在城市分析、自主物流等领域有重要应用。比如CityGPT模型能增强大语言模型的城市空间认知能力用于城市规划和管理。5.4 社会智能模拟人类社会的演化世界模型最令人兴奋的应用之一是社会模拟。通过创建由大量LLM驱动的智能体组成的虚拟社会我们可以研究复杂的社会现象比如信息传播、群体行为、经济系统等。里程碑工作2023年的Generative Agents生成式智能体创建了一个由25个智能体组成的虚拟小镇。这些智能体有自己的记忆、性格和目标能进行自然的社交互动甚至会自发组织活动比如举办派对最新进展2025年的AgentSociety平台能模拟上万个智能体的社会演化已经被用于研究极化现象、政策干预等重要社会问题。六、开放问题与未来方向尽管世界模型取得了巨大的进展但仍然面临许多挑战6.1 物理规则与反事实模拟当前的数据驱动生成模型虽然能生成看起来很真实的视频但在理解和遵从物理规律方面仍然存在很大不足。比如Sora经常会生成物体穿透、重力异常等不符合物理规律的内容。未来方向混合方法即将显式的物理模拟器与数据驱动的生成模型结合起来。比如PhysGen模型将刚体模拟器与扩散细化器结合能生成物理上合理的运动。6.2 丰富社会维度当前的世界模型主要关注物理世界的模拟而对人类行为和社会互动的模拟还比较初级。设计能模拟真实人类行为和社会动态的智能体是一个重要的研究方向。6.3 基准测试由于世界模型的目标和技术路线非常多样化目前还没有一个统一的基准测试。这使得不同模型之间的比较变得非常困难。基准类别代表基准测试内容视频模拟WorldSimBench, VBench-2.0视觉质量、时间一致性、物理遵从性物理推理Physics-IQ, T2VPhysBench对基本物理规律的理解具身决策EAI, EWMBench场景一致性、运动正确性、语义对齐表4 世界模型基准测试汇总来源原论文Table 86.4 模拟到现实的鸿沟如何将在虚拟世界中训练的策略有效地迁移到真实世界是一个长期存在的问题。世界模型通过学习通用的世界表示有望缩小这一鸿沟。6.5 模拟效率当前的大模型推理速度较慢无法满足实时模拟的需求。比如Transformer的自回归特性只能一次生成一个token这对于需要每秒生成几十帧的游戏和机器人应用来说是一个巨大的挑战。6.6 伦理与安全问题世界模型的发展也带来了新的伦理和安全挑战数据隐私训练世界模型需要大量的数据可能会侵犯个人隐私不安全场景模拟恶意用户可能会利用世界模型模拟有害场景用于策划非法活动虚假信息世界模型能生成高度逼真的视频和3D环境可能会被用于制造和传播虚假信息七、核心代码简化版DreamerV3世界模型实现下面是一个简化版的DreamerV3世界模型核心实现包含编码器、动力学模型和奖励模型三个主要部分importtorchimporttorch.nnasnnimporttorch.nn.functionalasFclassWorldModel(nn.Module): 简化版DreamerV3世界模型 包含编码器、动力学模型和奖励模型 def__init__(self,obs_dim64,action_dim6,hidden_dim512,latent_dim32):super().__init__()self.obs_dimobs_dim self.action_dimaction_dim self.hidden_dimhidden_dim self.latent_dimlatent_dim# 编码器将观测图像编码为隐状态# 通俗解释就像人的眼睛把看到的画面转化为大脑能理解的信号self.encodernn.Sequential(nn.Conv2d(3,32,kernel_size4,stride2),nn.ReLU(),nn.Conv2d(32,64,kernel_size4,stride2),nn.ReLU(),nn.Conv2d(64,128,kernel_size4,stride2),nn.ReLU(),nn.Conv2d(128,256,kernel_size4,stride2),nn.ReLU(),nn.Flatten(),nn.Linear(256*2*2,hidden_dim),nn.ReLU())# 动力学模型根据当前隐状态和动作预测下一个隐状态# 通俗解释就像人的大脑根据当前情况和将要做的动作预测接下来会发生什么self.dynamicsnn.GRUCell(hidden_dimaction_dim,hidden_dim)# 奖励模型根据隐状态预测即时奖励# 通俗解释就像人的大脑判断当前情况是好是坏self.reward_headnn.Sequential(nn.Linear(hidden_dim,hidden_dim),nn.ReLU(),nn.Linear(hidden_dim,1))# 观测解码器从隐状态重建观测图像用于训练self.decodernn.Sequential(nn.Linear(hidden_dim,256*2*2),nn.ReLU(),nn.Unflatten(1,(256,2,2)),nn.ConvTranspose2d(256,128,kernel_size4,stride2),nn.ReLU(),nn.ConvTranspose2d(128,64,kernel_size4,stride2),nn.ReLU(),nn.ConvTranspose2d(64,32,kernel_size4,stride2),nn.ReLU(),nn.ConvTranspose2d(32,3,kernel_size4,stride2),nn.Sigmoid())defforward(self,obs,action,hiddenNone): 前向传播 参数: obs: 观测图像形状为(batch_size, 3, 64, 64) action: 动作形状为(batch_size, action_dim) hidden: 上一步的隐状态形状为(batch_size, hidden_dim) 返回: next_hidden: 下一个隐状态 reward_pred: 预测的奖励 obs_recon: 重建的观测图像 # 编码当前观测obs_encodedself.encoder(obs)# 如果没有提供隐状态就用编码后的观测初始化ifhiddenisNone:hiddenobs_encoded# 预测下一个隐状态dynamics_inputtorch.cat([obs_encoded,action],dim1)next_hiddenself.dynamics(dynamics_input,hidden)# 预测奖励reward_predself.reward_head(next_hidden)# 重建观测用于训练obs_reconself.decoder(next_hidden)returnnext_hidden,reward_pred,obs_recon# 测试代码if__name____main__:# 创建世界模型实例world_modelWorldModel()# 生成随机输入batch_size4obstorch.randn(batch_size,3,64,64)actiontorch.randn(batch_size,6)# 前向传播next_hidden,reward_pred,obs_reconworld_model(obs,action)print(f输入观测形状:{obs.shape})print(f输出隐状态形状:{next_hidden.shape})print(f预测奖励形状:{reward_pred.shape})print(f重建观测形状:{obs_recon.shape})代码解释这个简化版世界模型实现了DreamerV3的核心思想在隐空间中学习世界的动力学编码器将高维的图像观测压缩为低维的隐状态动力学模型预测隐状态的演化奖励模型预测每个状态的奖励解码器用于重建观测作为训练的辅助损失八、结论世界模型正在成为人工智能领域最热门的研究方向之一。这篇综述系统地梳理了世界模型的发展历史、核心技术和应用领域提出了理解世界和预测未来的二元分类框架并指出了未来的研究方向。从2018年的开山之作到2025年的Genie 3和Cosmos世界模型已经从一个小众的强化学习技术发展为通往通用人工智能的核心基石。未来随着物理规律建模、社会模拟、模拟效率等问题的逐步解决世界模型将在游戏、机器人、自动驾驶、社会科学等领域发挥越来越重要的作用。正如Yann LeCun所说如果没有世界模型AI就永远无法达到人类水平的智能。世界模型的时代已经到来让我们拭目以待它将带来的革命性变化