UniDepth 学习笔记

摘要
准确的单目度量深度估计（MMDE）是解决三维感知和建模中下游任务的关键。然而，最近的MMDE方法的显著准确性仅限于其训练领域。这些方法存在适度的域间隙，也不能推广到看不见的域，这阻碍了它们的实际适用性。本文提出一个新的模型，UniDepth，能够从跨域的单个图像中重建度量3D场景。与现有的MMDE方法不同，UniDepth在推理时直接预测输入图像的度量三维点，无需任何附加信息，争取一个通用而灵活的MMDE解决方案。特别是，UniDepth实现了一个自提示的相机模块（self-promptable camera module），预测密集的相机表示来训练深度特征。该模型利用了伪球形输出表示（ pseudo-spherical output representation），分离了相机和深度表示。此外，本文提出了一个几何不变性损失（geometic invariance loss），以促进相机提示的深度特征的不变性。在零样本状态下，对10个数据集的彻底评估一致地证明了单深度的优越性能，即使与直接在测试领域上训练的方法相比。

介绍
精确的像素级深度估计对于理解几何场景结构至关重要，它在三维建模[10]、机器人[11,63]和自动驾驶汽车[38,51]中的应用。然而，提供可靠的度量尺度深度输出对于有效地执行三维重建是必要的，从而激发了单眼度量深度估计（MMDE）的具有挑战性和固有的倾斜任务。

虽然现有的MMDE方法[3,14,16,40,41,43,61]在不同的基准测试中显示出了显著的准确性，但它们需要在具有相似的相机内参和场景尺度的数据集上进行训练和测试。此外，训练数据集的大小通常有限，场景和摄像机的多样性也很少。这些导致模型很难泛化到真实世界场景。

只有少数方法[21,59]解决了可泛化MMDE的挑战性任务。然而，这些方法假设在测试时有受控的设置，包括相机内参。虽然这种假设简化了任务，但它有两个显著的缺点。首先，它具有局限的应用范围，如在野外的视频处理和大众图像分析。其次，将固有的摄像机参数噪声直接注入模型中，导致在高噪声情况下产生较大的误差。

在这项工作中，作者解决了更苛刻的通用MMDE任务，而不依赖任何额外的外部信息，如相机参数，从而定义了通用的MMDE任务。我们的方法，名为UniDepth，是第一个尝试解决这个不受场景组成和设置限制的具有挑战性的任务的方法，并通过其通用性和适应性来区分自己。与现有的方法不同，UniDepth仅从单个图像为任何场景提供度量的3D预测，而无需提供关于场景或相机的额外信息。此外，Unidepth灵活地允许在测试时合并额外的相机信息。

我们的设计引入了一个相机模块，它输出一个非参数的，即密集的相机表示（dense camera representation），作为对深度模块的提示。然而，仅仅依赖于这个单一的额外模块显然会导致与训练稳定性和规模模糊性（scale ambiguity）相关的挑战。作者提出了一种有效的输出空间的伪球面表示（pseudo-spherical representation）来解开该空间相机和的深度维度。这种表示对相机使用了方位角和仰角组件，深度使用了径向组件，在相机平面和深度轴之间形成一个完美的正交空间。此外，摄像机组件嵌入通过拉普拉斯球谐波编码。图1描述了我们的相机自提示机制和输出空间。此外，我们引入了一个几何不变性损失来增强深度估计的鲁棒性。其潜在的想法是，来自同一图像的两个视图的相机条件下的深度特征应该表现出相互的一致性。特别地，我们采样了两个几何增强，为每个训练图像创建一对不同的视图，从而模拟原始场景的不同的外观摄像机。

我们的总体贡献是第一个通用的MMDE方法，UniDepth，它预测了每个像素的度量三维空间中的一个点，除了一个图像之外没有任何输入。特别地，首先，我们设计了一个可提示的相机模块，这是一个架构组件，它可以学习密集的相机表示，并允许非参数的相机条件反射。其次，我们提出了一个输出空间的伪球面表示，从而解决了相机和深度预测的交织本质。.此外，我们引入了一个几何不变性损失来分离相机信息从场景的底层三维几何。此外，我们在一个公平和可比较的零镜头设置的10个不同的数据集上广泛地测试和重新评估了7种MMDE最先进状态（SotA）方法，为广义MMDE任务奠定了基础。由于其设计，与非零射击方法相比，统一深度始终创造了新的技术状态，在竞争激烈的官方KITTI深度预测基准中排名第一。

相关工作
度量和尺度无关的深度估计。区分单目度量深度估计（MMDE）与尺度不可知的，即大尺度的单目深度估计是至关重要的。MMDE SotA方法通常将训练和测试限制在同一领域。然而，出现了挑战，比如对训练场景的过拟合导致在存在微小的领域差距时性能显著下降，这在NYUDepthv2 [35]（NYU）和KITTI [18]等基准测试中经常被忽视。另一方面，与尺度无关的深度方法，包括MiDaS [42]，通过在广泛的数据集上进行训练，显示出鲁棒的泛化。它们的局限性在于缺乏度量输出，阻碍了在下游应用程序中的实际使用。

单目度量深度估计。由[14]率先在MMDE中引入了端到端可训练神经网络，标志着一个重要的里程碑，也通过尺度不变log损失（SIlog）引入了优化过程。随后的发展见证了先进网络的出现，从基于卷积的体系结构[16,27,31,40]到基于变压器的方法[3,41,57,61]。尽管在已建立的基准测试上取得了令人印象深刻的成就，但MMDE模型在零射击场景中面临着挑战，这揭示了对外观和几何形状上的领域变化进行鲁棒泛化的需要。

一般的单目度量深度估计。最近的工作集中在开发MMDE模型[4,21,59]，用于跨不同领域的一般深度预测。这些模型通常利用相机感知，要么通过直接将外部相机参数合并到计算[15,21]中，要么通过基于内在属性规范化形状或输出深度，如[1,28,59]所示。

然而，这些可泛化的MMDE方法通常采用特定的策略来提高性能，例如几何预训练[4]或特定于数据集的先验，如重塑[59]。此外，这些方法假设在训练和测试时间都可以获得无噪声摄像机的内部信息，这也限制了它们对针孔摄像机模型的适用性。此外，SotA方法依赖于一个预定义的反向投影操作，模糊了学习深度和三维场景之间的区别。相比之下，我们的方法旨在克服这些限制，提出一个更苛刻的视角，例如通用MMDE。通用MMDE涉及从输入图像直接预测3D场景，没有除了后者之外的任何附加信息。值得注意的是，我们在测试时不需要任何额外的先验信息，比如访问相机信息。

UniDepth
MMDE SotA方法通常假设可以访问相机的内部信息，从而模糊了纯深度估计和实际三维估计之间的界限。相比之下，UniDepth的目标是创建一个可在不同场景中部署的通用MMDE模型，而不依赖于任何其他外部信息，如相机固有的信息，从而通过设计进行三维空间估计。然而，试图在没有适当内部表示的情况下直接从单个图像预测三维点忽略了几何先验知识，即透视几何，重新学习数据透视投影定律加重了学习过程的负担。

3.1引入了输出空间的伪球面表示，以内在的地将相机光线的角度与深度分离。另外，本文的初步研究表明，该深度预测显然受益于采集传感器的先验信息，因此，在2.3中引入了自提示相机操作。在内部深度特征水平上的进一步解纠缠是通过几何不变性损失来实现的，在3.3中概述。这种损失确保了深度特征在引导相机预测条件下保持不变，促进了稳健的相机感知深度预测。总体架构和由设计选择的组合引起的结果优化在3.4.中详细介绍。

3D表示
本文的MMDE模型的目的是推断深度和相机内参，以仅基于图像进行三维预测。作者设计了一个三维输出空间将两个子任务自然地分离开，即深度估计和相机校准（calibration）。特别地，作者利用伪球形表示，其中基由方位角、航向角和log深度表示，即（θ，fai，zlog），而不是笛卡尔表示（x,y,z）。所提出的伪球表示的优势在于相机（θ，ϕ）和深度（zlog）分量的解耦，通过设计确保了它们的正交性，而不是笛卡尔表示中的纠缠。

自提示相机模块
摄像机模块在最终的三维预测中起着至关重要的作用，因为它的角度密集输出占了输出空间的两个维度，即方位角和仰角。最重要的是，这些嵌入会提示深度模块，以确保对输入场景的全局深度尺度的引导先验知识。提示是避免场景尺度中的模式崩溃的基础，并减轻了深度模块从头开始预测深度的负担，因为尺度已经被摄像机输出建模。

几何一致性损失
当深度模块以特定摄像机为条件时，不同摄像机捕捉到的同一场景的空间位置应该相对应。为此，我们提出了一个几何不变性损失来加强来自不同采集传感器的同一场景的摄像机提示深度特征的一致性。特别是，从相同的3D位置提取的特征必须具有一致性。

结构设计

————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/weixin_43985824/article/details/139518351