深度学习相关VO梳理

相关论文

基于学习的VO 相关：
DeepVO Towards End-to-End Visual Odometry with Deep Recurrent Convolutional Neural Networks（ICRA，2017）
TartanVO: A Generalizable Learning-based VO(CoRL2021)
SimVODIS: Simultaneous Visual Odometry ,Object Detection, and Instance Segmentation(PAMI,2022)

基于学习的SLAM：
DROID-SLAM: Deep Visual SLAM for Monocular,Stereo, and RGB-D Cameras
NICE-SLAM: Neural Implicit Scalable Encoding for SLAM（CVPR，2022）
NeRF-SLAM: Real-Time Dense Monocular SLAM with Neural Radiance Fields（arXiv,2022）

对Dynamic的处理:
DytanVO：Joint Refinement of Visual Odometry and Motion Segmentation in Dynamic Environments(ICRA2023)

SimVODIS++: Neural Semantic Visual Odometry in Dynamic Environments(RAL,2022)
MaskVO: Self-Supervised Visual Odometry with a Learnable Dynamic Mask(SII,2022)

GeoNet: Unsupervised Learning of Dense Depth, Optical Flow and Camera Pose(CVPR,2018)
Competitive Collaboration: Joint Unsupervised Learning of Depth, Camera Motion, Optical Flow and Motion Segmentation(CVPR,2019)

背景

传统方法

基于几何的VO方法在实际中不够鲁棒

传统SLAM方法容易特征缺失、优化算法发散、误差累计

基于学习的方法

基于学习的方法的VO在并没有表现出强大的性能，当前表现甚至不如几何的方法：
a.现有的VO模型训练多样性不足
b.大多数基于学习的VO模型没有关注到问题的一些基本性质

动态环境

基于学习的视觉里程计在动态、人口稠密的环境中容易失败

基于无监督和自监督方式的VO泛化性不行

基于语义方式的问题：1.漏报 2.无法区分实际运动和静态但能运动

Tartanvo

提出了第一个基于学习的视觉里程计（VO）模型，该模型可以推广到多个数据集和现实场景：

1. 我们通过比较不同数量的训练数据的性能来证明数据多样性对 VO 模型泛化能力的关键影响。
2. 我们设计了一个尺度损失函数（up-to-scale loss function）来处理单目 VO 的尺度模糊性。
3. 我们在 VO 模型中创建一个本征层 (IL,instrinsics layer)，以实现跨不同相机的泛化。

整体结构

匹配模块+位姿模块
input:相邻帧图像
output:相对相机运动(T|R)

多样化训练

利用异常丰富的大规模数据集TartanAir

我们在任务中利用单目图像序列 { I t } \{I_t\} {It​}、光流标签 { F t t + 1 } \{F ^{t+1}_t \} {Ftt+1​} 和地面实况相机运动 { δ t t + 1 } \{δ^{t+1}_t\} {δtt+1​}。我们的目标是共同最小化光流损耗 $L_f$ 和相机运动损耗 $L_p$。端到端损耗定义为：

尺度损失函数

尺度模糊度只影响平移 $T$ ，我们为 $T$ 设计了一个新的损失函数，并保持旋转 $R$ 的损失不变。我们为 $L_P$ 提出了两个大规模损失函数：余弦相似度损失 $L_p^{cos}$ 和归一化距离损失 $L_p^{norm}$ 。 $L_p^{cos}$ 由估计的 $\hat{T}$ 和标签 $T$ 之间的余弦角定义：

相机差异的统一

1. 使用instrinsics layer
我们设计了一个新的姿态网络 $P_{\varphi }(F_t^{t+1},K)$，而不是仅从特征匹配 $F_t^{t+1}$ 中恢复相机运动 $T_t^{t+1}$ ，该网络也取决于相机内在参数 K = { f x , f y , o x , o y } K = \{f_x ,f_y,o_x,o_y\} K={fx​,fy​,ox​,oy​}，其中$f_x$和$f_y$是焦距，$o_x$和$o_y$表示主点的位置。

2. 将数据裁剪为不同内参的数据
TartanAir 只有一组相机内在函数，其中 $f_x=f_y=320、o_x=320$ 和 $o_y=240$。我们通过随机裁剪和调整 (RCR，Randomly cropping and resizing) 输入图像大小来模拟各种内在函数。

如图3所示，我们首先在随机位置以随机大小裁剪图像。接下来，我们将裁剪后的图像调整为原始大小。

DytanVO

• 引入了一种新颖的基于学习的VO，以利用相机自我运动、光流和运动分割之间的相互依赖性。

• 我们引入了一个迭代框架，其中自我运动估计和运动分割可以在实时应用的时间限制内快速收敛。

• 在基于学习的 VO 解决方案中，我们的方法无需微调即可在现实动态场景中实现最先进的性能。此外，我们的方法的性能甚至可以与优化后端轨迹的视觉 SLAM 解决方案相媲美。

Architecture

我们的框架由三个子模块组成：匹配网络、运动分割网络和姿态估计网络。

Interactive refine camera motion

在实践中，我们发现 3 次迭代足以细化相机运动和分割。为了消除任何歧义，1 次迭代过程由一次 $M_{\theta }$ 前向过程和一次具有随机掩码的 $P_{\varphi }$ 前向过程组成，而 3 次迭代过程由一次 Mθ 前向过程、两次 $U_{\gamma }$ 前向过程和 3 个 $P_{\varphi }$ 前向过程组成。

Supervision

我们在相机运动损失 LP 上监督我们的网络。

在单目设置下，我们只能恢复最大尺度的相机运动。我们按照[5]，在计算到地面实况的距离之前对平移向量进行归一化。给定地面真实运动 $R|T$:

我们的框架也可以以端到端的方式进行训练，在这种情况下，目标变成光流损失 $L_M$ 、相机运动损失 $L_P$ 和运动分割损失 $L_U$ 的聚合损失，其中 $L_M$ 是之间的 L1 范数预测流和地面真实流，而 $L_U$ 是预测概率和分割标签之间的二元交叉熵损失。

SimVODIS

Architeture

图3描述了所提出的SimVODIS网络的概念化架构。我们基于以下思想设计了SimVODIS网络：
1）Mask RCNN为语义和几何任务提取通用特征，如区域建议、类标记、边界框回归和掩码提取；
2）我们可以使用这些丰富的特征来估计相对姿态和预测深度图，因为提取的特征对语义和几何工作都有用。

对于SimVODIS，我们设计了两个网络分支：姿态分支和深度分支。姿态分支使用来自特征金字塔网络（FPN）的丰富特征来估计三个连续图像序列之间的相对姿态。

Loss

SimVODIS++

我们基于以下推理设计了SimVODIS++网络：
（1）用于语义分支（对象检测和实例分割）的特征金字塔网络（FPN）提取能够执行语义和几何任务的一般特征；
（2）我们可以利用这些丰富的特征来执行位姿估计和深度图预测。对于SimVODIS++，与SimVODIS[10]相比，我们设计了两个新功能：姿态估计和相机校准。我们进行专注的姿态估计以去除动态对象，并进行相机校准以提高VO性能。由于所提出的姿态估计和相机校准导致的参数总量的增加是最小的。

Attention Pose Estimation(比较质疑)

图2描述了在动态环境中用于鲁棒性能的所提出的注意姿态估计的架构。

Conv. Block 从FPN接收特征，调整输入特征以进行自注意，并通过自注意进行动态特征选择。对于自我注意，我们使用CBAM模块[37]。在训练过程中，CBAM模块让姿势分支学会专注于具有相关特征的区域，并尽量减少对动态对象的关注。

MaskVO

这项工作的目的是提出一种自监督学习系统，从未标记的图像序列中重建尺度一致的自我运动。

如图 2 所示，两个未标记的 RGB 图像 $I_a$ 和 $I_b$ 堆叠在一起并输入到特征提取器中。
$I_a$ 和 $I_b$ 是源图像和目标图像。与[6]、[12]不同，我们使用图像序列来利用视觉运动的时间依赖性。
特征时间建模模块提取图像序列的时间信息，由循环神经网络组成。
然后，6-DoF 位姿 $P_{ab}$ 由位姿网络生成。同时，输入图像的深度图由深度网络生成。

投影图像$I_a^{\prime }$ 使用$D_a、I_b$和6-DoF位姿$P_{ab}$通过等式5生成。

引入掩模网络将学习到的空间信息合并到框架中，减少场景动态的影响。真实图像$I_a$和合成$I_a^{\prime }$ 之间的差异可以用作自监督信号来构造光度损失。它可以约束并强制系统根据不同的输入图像序列估计姿态和深度。

GeoNet

GeoNet，这是一种联合无监督学习框架，用于视频中的单目深度、光流和自我运动估计。

这三个组件通过 3D 场景几何的性质耦合在一起，由我们的框架以端到端的方式共同学习。具体来说，根据各个模块的预测提取几何关系，然后将其组合为图像重建损失，分别对静态和动态场景部分进行推理。

此外，我们提出了一种自适应几何一致性损失，以提高对异常值和非朗伯区域的鲁棒性，从而有效地解决遮挡和纹理模糊问题。

我们的 GeoNet 的概述如图 2 所示。

它包含两个阶段，刚性结构推理阶段和非刚性运动细化阶段。

推断场景布局的第一阶段由两个子网络组成，即 DepthNet 和 PoseNet。深度图和相机位姿分别回归并融合以产生刚性流。

第二阶段由 ResFlowNet 完成以处理动态对象。 ResFlowNet 学习到的残余非刚性流与刚性流相结合，得出我们最终的流预测。由于我们的每个子网络都针对特定的子任务，因此复杂的场景几何理解目标被分解为一些更简单的目标。不同阶段的视图合成是我们无监督学习范式的基本监督。

最后但并非最不重要的一点是，我们在训练期间进行几何一致性检查，这显着增强了我们预测的一致性并取得了令人印象深刻的性能

Competitive Collaboration

我们在本文中考虑了四个这样的问题：单视图深度预测、相机运动估计、光流和运动分割。之前的工作已经使用真实数据[5]和合成数据[4]通过监督来解决这些问题。然而，合成数据与真实数据之间始终存在现实差距，并且真实数据有限或不准确。

如图 2 所示，我们在框架中引入了两个参与者，即静态场景重建器 $R=(D,C)$，它使用深度 D 和相机运动 C 来推理静态场景像素；以及运动区域重建器 F，其推理独立运动区域中的像素。这两个玩家通过推理图像序列中的静态场景和移动区域像素来竞争训练数据。比赛由运动分割网络 M 主持，该网络分割静态场景和运动区域，并将训练数据分发给选手。不过，主持人也需要培训，以保证公平竞争。因此，玩家 R 和 F 合作训练主持人 M，使其在训练周期的交替阶段正确分类静态和移动区域。这个通用框架在本质上与期望最大化 (EM) 类似，但专为神经网络训练而制定。