计算机视觉与图形学-神经渲染专题-Seal-3D(基于NeRF的像素级交互式编辑)

摘要

随着隐式神经表示或神经辐射场 (NeRF) 的流行，迫切需要与隐式 3D 模型交互的编辑方法，以完成后处理重建场景和 3D 内容创建等任务。虽然之前的作品从不同角度探索了 NeRF 编辑，但它们在编辑灵活性、质量和速度方面受到限制，无法提供直接的编辑响应和即时预览。关键的挑战是构思一种本地可编辑的神经表示，它可以直接反映编辑指令并立即更新。为了弥补这一差距，我们提出了一种新的隐式表示交互式编辑方法和系统，称为 Seal-3D，它允许用户以像素级和自由的方式编辑 NeRF 模型，并具有广泛的类 NeRF 主干网，并预览 立即编辑效果。为了实现这些效果，我们提出的代理函数将编辑指令映射到 NeRF 模型的原始空间，以及具有局部预训练和全局微调的student-teacher训练策略来解决这些挑战。NeRF 编辑系统旨在展示各种编辑类型。我们的系统可以以约1秒的交互速度实现引人注目的编辑效果。

工程链接：https://windingwind.github.io/seal-3d/

框架

左图：用户编辑后目标空间的 3D 点和视图方向映射到原始源空间，以从教师模型获取指导 ct、σt 以进行学生训练。右图：学生训练由两个阶段组成：快速预训练，通过局部损失更新网络的部分参数来提供即时预览，以及全局损失的微调。

实验结果

第一个交互式像素级 NeRF 编辑工具。我们设计了一种交互式用户编辑方法和系统 Seal-3D，通过我们新颖的预训练策略实现了即时（约 1 秒）预览（左）。通过短时间（1~2分钟）的微调，可以进一步获得高质量的编辑结果。我们实施编辑的编辑结果工具（右）与原始表面（左）上丰富的阴影细节（例如阴影）在视图上保持一致。

3D内容编辑

结论

我们引入了一个用于神经辐射场像素级编辑的交互式框架，支持即时预览。具体来说，我们利用student-teacher蒸馏方法提供编辑指导，并设计两阶段训练策略来实现网络即时收敛，以获得粗略结果作为预览。与以前的工作不同，我们的方法不需要任何显式代理（例如网格），从而提高了交互性和用户友好性。我们的方法还支持在编辑的表面上保留着色效果。一个限制是我们的方法不支持复杂的依赖于视图的照明效果，例如镜面反射，并且不能改变场景照明，这可以通过引入内在合成来改进。此外，我们的方法不处理原始 NeRF 网络的重建失败（例如浮动伪影）。