Instruct-4DGS: Efficient Dynamic Scene Editing via 4D Gaussian-based Static-Dynamic Separation

4D高斯静态和动态分离实现高效的动态场景编辑一、核心摘要与研究动机核心问题现有的4D动态场景编辑方法受限于 迭代数据集更新 的范式。如图1(a)所示它们需要逐帧编辑用于场景合成的成千上万张2D图像T个时间步 ×M个相机视角并进行耗时的重训练处理单个场景常需数小时计算开销与时间步数线性增长缺乏时序可扩展性。核心思想本文提出的 Instruct-4DGS 实现了范式转换。其核心在于多数编辑指令如“变为雕像”、“梵高风格”主要改变场景的外观属性而非其运动模式。因此方法将编辑目标锁定在仅编码外观的静态组件上从而绕开对庞大数据集的处理。核心贡献提出首个基于4D高斯散射4DGS的高效动态场景编辑框架。通过仅编辑静态3D高斯模型并引入基于分数distill的时序精炼在保证高质量编辑效果的同时将编辑时间缩短一半以上例如从2小时减至40分钟实现了显著的效率提升。二、方法详解两阶段编辑流程论文方法的核心流程在图3整体框架图中得到完美概括主要分为两个阶段。1. 基石4D高斯场景的静态和动态分离表示首先方法依赖于一种高效的4D动态场景表示即4D高斯散射4DGS。如图24DGS概述图所示一个4D动态场景被显式地分解为两部分静态规范3D高斯这是一组定义了场景基础几何、颜色和材质的3D高斯椭球集合 (G_canon)。它代表了物体在所有时间步下“本来的样子”。动态形变场这是一个基于六平面HexPlane 编码的紧凑神经网络。它不存储任何视觉外观仅负责根据时间t预测每个静态高斯需要发生的位移、旋转和缩放 (Δp, Δr, Δs)从而驱动静态模型产生运动。这种外观静态与运动动态解耦的表示是后续高效编辑的理论基础。2. 第一阶段仅编辑静态高斯以实现高效初始化目标是仅修改外观因此编辑被限制在G_canon上。监督信号生成如图3所示仅选取第一时刻t0 的多视角图像使用 Coherent-IP2P一种改进了自注意力为交叉注意力以提升视图一致性的模型根据用户指令进行编辑生成一组已编辑的2D监督图像。优化用这些图像与静态高斯渲染结果之间的L1 RGB损失来优化G_canon得到已编辑的静态高斯 (G_canon_edit)。此步骤的计算量仅相当于编辑一个静态3D物体极其高效。直接组合的问题将G_canon_edit与原始的形变场直接组合会得到一个“伪编辑”的动态场景但会引入严重的时序错位伪影如图4(a)所示。原因有二编辑导致高斯位置微调使原始形变场查询的特征(f_d)失效。只有第一时刻可见的高斯表面颜色被更新当高斯随形变场旋转后未编辑的“背面”颜色会暴露出来。3. 第二阶段基于分数蒸馏的时序精炼为解决上述错位提出轻量级的时序精炼阶段如图4(b)所示。精炼对象固定已编辑的静态高斯G_canon_edit不调整形变场仅通过分数蒸馏采样SDS损失进一步优化G_canon_edit本身。精炼机制从“伪编辑”场景中在随机时间步和随机相机视角渲染2D图像并将其输入Coherent-IP2P。SDS损失会引导这些渲染图像在扩散模型看来既符合原始场景内容又符合编辑指令。这个过程迫使静态高斯模型学会“自我调整”使其在所有时间步、所有可能因运动而暴露的表面都与编辑指令保持一致从而与原始形变场重新对齐。输出精炼后得到最终的高质量动态场景{G_canon_ref, 原始形变场}。三、实验结果与分析质量与效率的双重优势1. 定量结果效率显著提升感知质量更优效率在仅使用1张GPU的情况下平均编辑时间从基线方法的2小时缩短至40分钟提速约67%。质量像素级指标PSNR, SSIM本方法略低于基线。这是预期结果因为基线用所有编辑后的真实图像进行像素级监督而本方法仅用指令和扩散模型先验进行感知级优化。感知质量指标LPIPS本方法全面显著优于基线平均0.303 vs. 0.491越低越好。这表明本方法生成的结果在人眼感知上更清晰、伪影更少。指令跟随度CLIP相似度本方法更高平均0.249 vs. 0.230说明编辑结果更贴合文本指令的语义。2. 定性结果视觉对比凸显优势编辑多样性方法成功处理了多种复杂指令如“梵高风格”、“浮世绘风格”、“让它在水下”展示了其广泛适用性。质量对比图6 7与基线Instruct 4D-to-4D相比本方法结果纹理更清晰、细节更丰富例如雕像的质感、绘画的笔触。本方法避免了基线中明显的时间闪烁flickering伪影运动更加平滑稳定。如图7所示基线结果在不同帧间亮度、颜色不稳定而本方法结果保持一致。3. 消融研究验证核心设计选择图8通过用户偏好研究柱状图验证了各个组件的必要性a仅用SDS vs. 完整流程仅用SDS精炼无第一阶段虽运动平滑但编辑保真度极低无法忠实反映指令。证明了第一阶段提供准确初始编辑的重要性。b精炼时使用原始IP2P vs. Coherent-IP2P使用原始IP2P会导致输出模糊、细节丢失。证明了Coherent-IP2P通过交叉注意力共享多视图信息对保持清晰度和一致性至关重要。c精炼形变场 vs. 仅精炼静态高斯尝试精整形变场会引入额外的运动失真和不一致。最终方案仅精炼静态高斯获得了最高的用户偏好。这强烈支持了本文的核心论点编辑应专注于外观静态部分而保持运动动态形变场不变是最稳健的策略。四、总结与展望核心贡献总结效率范式利用4DGS的静态-动态分离特性提出“仅编辑静态组件”的高效范式突破了传统方法随帧数线性增长的计算瓶颈。质量保障设计了两阶段流程静态编辑 时序精炼通过基于Coherent-IP2P的SDS损失有效解决了编辑带来的时序错位问题实现了高质量、时间一致的编辑效果。实用价值在大幅缩短编辑时间50%的同时获得了更优的感知质量和指令跟随度推动了4D动态编辑向实用化迈进。局限性与未来方向依赖2D编辑模型编辑能力上限受限于底层IP2P模型的性能。无法编辑运动当前框架专注于外观编辑无法根据指令改变物体的运动轨迹。部分编辑需掩码对场景中特定物体进行编辑需要额外的分割掩码。单目视频挑战在单目数据上图9, 10由于缺乏多视角监督只能进行SDS精炼效果有限是未来可改进方向。