经典文献阅读之--RenderOcc(使用2D标签训练多视图3D Occupancy模型)

0. 简介
3D占据预测在机器人感知和自动驾驶领域具有重要的潜力，它将3D场景量化为带有语义标签的网格单元。最近的研究主要利用3D体素空间中的完整占据标签进行监督。然而，昂贵的注释过程和有时模糊的标签严重限制了3D占据模型的可用性和可扩展性。为了解决这个问题，《RenderOcc: Vision-Centric 3D Occupancy Prediction with 2D Rendering Supervision》提出了RenderOcc，一种新的范式，用于仅使用2D标签训练3D占据模型。具体地，我们从多视图图像中提取类似NeRF的3D体积表示，并利用体积渲染技术建立2D渲染，从而能够通过2D语义和深度标签直接进行3D监督。此外，我们引入了一种辅助射线方法来解决自动驾驶场景中稀疏视角的问题，利用连续帧来为每个对象构建全面的2D渲染。据我们所知，RenderOcc是首次尝试仅使用2D标签训练多视图3D占据模型，减少了对昂贵的3D占据注释的依赖。大量实验证明，RenderOcc实现了与完全受3D标签监督的模型相当的性能，突显了这种方法在实际应用中的重要性。我们的代码可在Github找到。

1. 主要贡献
针对上述问题，我们引入了RenderOcc，这是一种新的范式，用于训练3D占据模型，使用2D标签，而不依赖于任何3D空间注释。如图1所示，RenderOcc的目标是消除对3D占据标签的依赖，仅依靠像素级的2D语义在网络训练期间进行监督。具体而言，它从多视图图像构建了类似NeRF的3D体积表示，并利用先进的体积渲染技术生成2D渲染。这种方法使我们能够仅使用2D语义和深度标签提供直接的3D监督。通过这种2D渲染监督，模型通过分析来自各种摄像机的相交锥体射线来学习多视图一致性，从而更深入地理解3D空间中的几何关系。值得注意的是，自动驾驶场景通常涉及有限的视角，这可能会影响渲染监督的有效性。考虑到这一点，我们引入了辅助射线的概念，利用相邻帧的射线来增强当前帧的多视图一致性约束。此外，我们还开发了一种动态采样训练策略，用于筛选出不对齐的射线，并同时减轻与其相关的额外训练成本。本文主要贡献总结如下：

1. 我们引入了RenderOcc，这是一个基于2D渲染监督的3D占据框架。我们首次尝试仅使用2D标签训练多视图3D占据网络，摒弃了昂贵且具有挑战性的3D注释。
2. 为了从有限的视角学习有利的3D体素表示，我们引入了辅助射线来解决自动驾驶场景中稀疏视角的挑战。同时，我们设计了一种动态采样训练策略，用于平衡和净化辅助射线。
3. 大量实验证明，与受3D标签监督的基线相比，RenderOcc在仅使用2D标签时取得了竞争性的性能。这展示了2D图像监督在3D占据训练中的可行性和潜力。

图1. RenderOcc代表了一种新的训练范式。与以往侧重于使用昂贵的3D占据标签进行监督的作品不同，我们提出的RenderOcc利用2D标签来训练3D占据网络。通过2D渲染监督，模型可以从细粒度的2D像素级语义和深度监督中受益。

 点击经典文献阅读之--RenderOcc(使用2D标签训练多视图3D Occupancy模型) - 古月居可查看全文