3D Gaussian Splatting在鱼眼相机中的应用与投影变换

paper：Fisheye-GS

1.概述

3D 高斯泼溅 (3DGS) 因其高保真度和实时渲染而备受关注。然而，由于独特的 3D 到 2D 投影计算，将 3DGS 适配到不同的相机型号（尤其是鱼眼镜头）带来了挑战。此外，基于图块的泼溅效率低下，尤其是对于鱼眼镜头的极端曲率和宽视野，这对于其更广泛的实际应用至关重要。为了应对这些挑战，我们引入了 Fisheye-GS。这种创新方法重新计算鱼眼相机的投影变换及其梯度。我们的方法可以作为模块无缝集成到其他高效的 3D 渲染方法中，强调其可扩展性、轻量级特性和模块化设计。由于我们只修改了投影组件，因此它也可以轻松适应不同的相机型号。与去畸变后训练的方法相比，我们的方法在视觉质量方面表现出明显的改善。

2.背景

鱼眼镜头在3D渲染中遇到的挑战主要包括：

1. 独特的3D到2D投影计算：

   • 鱼眼镜头由于其特殊的光学特性，需要特殊的3D到2D投影计算，这与常规的针孔相机模型不同。这种独特的投影计算对于3D渲染算法来说是一个挑战。

2. 极端曲率和广阔视场：

   • 鱼眼镜头具有极宽的视场（FOV），可以达到180°或更大，这导致在渲染时需要处理极端的曲率和广阔的视场范围，这对于现有的3D渲染技术来说是一个技术难题。

3. 图像畸变：

   • 鱼眼镜头捕捉的图像包含显著的径向畸变，这对于3D渲染算法来说需要额外的处理步骤来校正或适应这种畸变。

4. 效率问题：

   • 传统的基于瓦片的溅射方法（tile-based splatting）在处理鱼眼镜头的极端曲率和视场时效率低下，这限制了其在实时渲染应用中的性能。

5. 适应不同相机模型：

   • 现有的3D渲染方法，特别是3D Gaussian Splatting（3DGS），主要针对针孔相机模型。将这些方法适应于鱼眼镜头等具有畸变的相机模型是一个挑战，因为这涉及到复杂的投影和协方差变换。

6. 实时渲染性能：

   • 在需要实时渲染的应用中，如虚拟现实（VR）、增强现实（AR）和监控系统，鱼眼镜头的渲染性能尤其关键，但现有的方法在处理鱼眼镜头图像时往往难以达到实时渲染的要求。

7. 数据集和校准限制：

   • 缺乏专门针对鱼眼镜头的3D渲染数据集，以及对真实世界中大视场相机的校准方法，这些限制了现有3D渲染技术在鱼眼镜头领域的应用和发展。