CVPR‘26 Highlight | ParticleGS：首个物理驱动4DGS预测新范式，通向4D世界模型！

点击下方卡片关注「3D视觉工坊」公众号选择星标干货第一时间送达作者投稿授权发布 | 来源3D视觉工坊「3D视觉从入门到精通」知识星球(点开有惊喜) 星球内有20多门3D视觉系统课程、3DGS独家系列视频教程、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研欢迎加入在探索4D世界模型的道路上关键的一步在于不仅能复刻观测到的三维世界更能推演未知的动态未来。然而当前的动态3D重建技术如动态3DGS和NeRF却存在一个关键不足它们极度擅长“插值”回忆过去却在“外推”预测未来时束手无策。当观测时间一旦停止画面中的物体往往会发生违背物理常识的扭曲与崩坏。收录会议CVPR 2026 Highlight论文链接https://arxiv.org/pdf/2505.20270Github链接https://github.com/QuanJinSheng/ParticleGS图1 ParticleGS能够学习潜在的物理动力学从而以物理一致的运动和外观外推未来的高斯点云相比之下现有的时间条件方法则无法预测出合理的运动。为了打破这一僵局由浙江大学联合多所高校推出的最新研究成果ParticleGS给出了一种新的建模思路抛弃对轨迹的死记硬背让神经网络学习底层的神经物理规律。该框架实现了在无需人工设定繁琐的先验假设或几何网格的情况下直接从RGB视频中学习3D高斯粒子的神经动力学实现了极其稳定、符合物理直觉的未来运动外推。该成果凭借其基于物理的建模与4D预测上的突破被CVPR 2026接收为 Highlight论文。研究动机为什么现有4D重建方法难以预测物理真实的未来怎样的4D生成与重建才算得上“世界模型”关键在于对“时间”的理解。现有的时间条件模型通常将物体的变形直接建模为时间的函数。这种“轨迹拟合”式的方法虽然在观测时间内表现优异却因缺乏对底层物理规律的理解在预测未来运动外推时极易出现物理上不合理的崩坏。由于缺乏底层的物理上下文模型预测的轨迹就会严重偏离真实的物理规律。另一些尝试引入物理先验的方法如注入纳维-斯托克斯方程要么极度依赖人工设定的外部力场和严苛的假设条件导致泛化能力极差要么只能处理低阶的运动学信息难以驾驭复杂的高阶变形。核心洞察现实世界中的运动往往是受高阶微分方程dx/dtf(x,t)支配的我们为何不把动态3D高斯场景直接重构为一个基于物理微分方程支配的粒子系统与其让模型记住轨迹不如让模型学习产生轨迹的动力学规律并在未来预测时遵循它从而能推演出未来的轨迹。图2 二维阻尼螺旋线上的玩具实验。a基准模型能很好地拟合训练数据但在外推阶段表现不佳(b) Neural ODE建模底层微分方程捕捉到了螺旋动力学特征即使在未观测区域也能保持正确的运动轨迹。架构重构ParticleGS的基于物理的建模范式从“拟合时间”到“推演物理”ParticleGS 提出了一套优雅的“编码器-演化器-解码器”框架攻克了从纯视觉中学习物理运动规律的难题图3 ParticleGS框架概述。(a)现有方法现有方法为每个独立的离散时间点分别学习形变模型。(b)ParticleGS一个基于物理规律的框架利用隐式物理状态来驱动3D高斯形变从而实现运动外推。(c)动力学潜在空间编码器负责为高斯点编码物理状态并将其分解为静态属性与动态场。(d)Neural ODE演化器通过对动态场在连续时间内的演化进行建模从而学习底层的物理规律。1.动力学隐空间编码器对于包含数百万个 3D 高斯点的场景如果独立演化每个点的物理状态计算量将是一场灾难。研究团队从物质点法MPM中汲取灵感将N个高斯粒子的物理状态巧妙地解耦为两部分每个粒子的时间不变的“静态属性”如质量、材质以及全局粒子共享的F个“系统级动态场”如引力场、风场。这使得后续的时间演化时仅仅需要更新紧凑的F个动态场向量从而计算复杂度从庞大的O(NG)降低为O(FG)其中F≪N。实现了表示能力与计算效率的平衡。图4 物理状态可视化。运动相似的高斯表现出相近的特征并且随时间变化稳定。2.基于神经常微分方程的演化器为了突破人工嵌入的低阶速度场或特定场景下微分方程的瓶颈团队引入了神经常微分方程Neural ODEs。由于任何高阶微分方程都可以等价地转化为增广状态空间下的一阶系统该演化器能够以连续时间马尔可夫状态转移的形式学习复杂的高阶物理动力学。简而言之它不仅知道物体这一秒的速度还理解了加速度和更深层的受力变化。3.高斯核空间解码器在将物理状态还原为视觉画面时解码器采用Rodrigues旋转公式将粒子的运动严格分解为平移和旋转变形。这种物理意义明确的解码过程确保了最终渲染出的3D高斯变形在视觉上自然、符合刚体或柔性体的物理常识。实验结果与分析数值实验表明ParticleGS 在多个数据集上的未来高斯外推中取得了最佳性能并与现有的SOTA重建方法取得了相当的渲染质量外推预测精度 相比于HexPlane、DeformGS 等时间条件模型以及注入了物理先验的模型如NVFiParticleGS在未来预测任务上在合成数据集上实现了超过5 dB PSNR的提升。即便面对基于速度场的方法TRACE和FreeGaveParticleGS依然在合成数据集上保持了近 2.5 dB的PSNR优势并在真实世界的GoPro数据集中保持了性能优势。重建任务精度虽然ParticleGS的最大亮点在于其前所未有的运动外推能力但这绝不是以牺牲基础重建质量为代价的。在动态3D重建任务中ParticleGS均取得了与现有重建方法更好或相当的表现。图5 未来时间下新视角的定性对比实验。ParticleGS的预测的运动更准确模糊与伪影更少。总结与展望对4D物理世界模型的探索ParticleGS探索了一条通往4D世界模型的新路径我们完全可以绕开繁琐的手工物理公式输入和几何预处理仅凭一段视频就让模型在其隐空间中自己学习物理定律。这种将3D表征与连续系统动力学融合的思路赋予了模型理解并推演物理世界的能力。本文仅做学术分享如有侵权请联系删文。3D视觉方向论文辅导来啦可辅导SCI期刊、CCF会议、本硕博毕设、核心期刊等。添加微信cv3d001备注姓名方向单位邀请入群。