计算机视觉与图形学-神经渲染专题-ConsistentNeRF

摘要

Neural Radiance Fields (NeRF) 已通过密集视图图像展示了卓越的 3D 重建能力。然而，在稀疏视图设置下，其性能显着恶化。我们观察到，在这种情况下，学习不同视图之间像素的 3D 一致性对于提高重建质量至关重要。在本文中，我们提出了 ConsistencyNeRF，一种利用深度信息来规范像素之间的多视图和单视图 3D 一致性的方法。具体来说，ConstantNeRF 采用深度导出的几何信息和深度不变损失来集中于表现出 3D 对应性并保持一致深度关系的像素。对最近代表性作品的大量实验表明，我们的方法可以显着提高稀疏视图条件下的模型性能，与各种基准的普通基线相比，PSNR 提高 94%，SSIM 提高 76%，LPIPS 提高 31%，包括 DTU、NeRF 合成和 LLFF。

框架

本文所提出的多视图和单视图 3D 一致性正则化的演示。我们利用不同视图之间的多视图深度对应关系来对多视图 3D 一致性进行正则化，以屏蔽满足 3D 对应关系（红点）或不满足 3D 对应关系（绿点）的像素，并根据掩模信息构造损失。我们还通过基于最先进的 MiDas 模型预测的单目深度构建深度尺度不变损失函数来规范单视图 3D 一致性。

实验效果

以 3 个视图作为输入的 LLFF 数据集的新颖视图综合结果。 我们观察到基线受到模糊结果的影响，而我们的 ConsistencyNeRF 可以产生具有细粒度细节的清晰结果。

结论

在本文中，我们针对具有挑战性的稀疏视图合成问题，提出了 ConcientNeRF，它增强了具有 3D 一致性的神经辐射场。为了在不同视图中的像素之间建立对应关系，我们提出了一种基于掩码的损失，以 3D 一致性来定位像素，而不是在训练目标中平等地对待所有像素。此外，我们采用同一块中像素之间的深度一致性正则化来规范同一视图中像素之间的3D一致性。我们的实验结果表明，我们提出的方法显着提高了具有稀疏视图设置的代表性 NeRF 方法的性能，并且可以比以前的基于深度的方法带来更大的性能提升。这些有希望的结果表明，基于一致性的 NeRF 是渲染具有正确几何形状和细粒度细节的图像的重要方向。总之，我们提出的方法为稀疏视图合成的挑战性问题提供了一种新的有效解决方案，并且在未来各个领域的应用中具有广阔的前景。

论文链接：https://arxiv.org/pdf/2305.11031v1.pdf