CVPR2023新作：3D视频物体检测

1. Title: 3D Video Object Detection With Learnable Object-Centric Global Optimization

2. Affiliation: 中国科学院自动化研究所 (Institute of Automation, Chinese Academy of Sciences)，中国科学院大学人工智能学院 (School of Artificial Intelligence, University of Chinese Academy of Sciences)，香港中文大学人工智能与机器人中心 (Centre for Artificial Intelligence and Robotics, HKISI CAS)，TuSimple

3. Authors: Jiawei He, Yuntao Chen, Naiyan Wang, Zhaoxiang Zhang

4. Keywords: 3D video object detection, correspondence-based optimization, object-centric, bundle adjustment

5. Summary:

• (1): 本文研究的是3D视频物体检测，探索长期时间上的视觉对应优化。而对于运动物体的检测，基于对应的优化在3D场景重建时很少被研究，因为移动的物体违反了多视角几何约束，被视为离群值。本文有针对地解决了这个问题，突破了现有方法的局限性，做到了对 静态物体和动态物体的统一处理。

• (2): 目前的 3D视频物体检测方法可分为三类。第一类采用对象跟踪，但这种方法只是将检测的结果进行光滑处理，没有利用视频丰富的暗示信息。 第二类是采用了包括对 BEV (Bird’s- Eye View) ，multi-frame temporal cross-attention等技术的综合性方案，但同样忽略了显式的时间上的对应关系。第三类是从 stereo-from-video角度出发进行研究，但还是没有考虑相对于时间较长的情况。本文提出的方法不仅突破了上述方法的局限性，而且创新性地解决了运动物体和静止物体的处理问题，使得这个方法更加具有普适性和鲁棒性。

• (3): 本文提出了一个端到端的优化目标检测器BA-Det，它实现了可学习的物体中心时空对应关系和特征度量型物体绑定调整，针对动态物体和静态物体对应关系引入了不同的约束。此外，该算法的优化是一个非线性最小二乘优化问题，可以使得模型非常适合于对应在大规模的数据集上进行训练。

• (4): 在大量的实验中，BA-Det算法的成功应用使得其在相应的3D检测任务上取得了最先进的水平，并且在瓶颈部位的时间、空间参数提升也非常显著。相比较于其他方法，BA-Det在计算资源上的开销较低，因此具有一定的推广价值。

6. Methods:

• (1): 本文提出一种名为BA-Det的端到端物体优化检测器，可用于3D视频物体检测问题。该方法主要包括两个可学习组件：物体中心时空对应关系和特征度量型物体绑定调整。针对动态物体和静态物体对应关系引入了不同的约束，并将其结合在一个非线性最小二乘优化问题中。该算法能够通过对全局优化和局部细节校准相结合，实现对于视频中物体3D位置估计的精准检测。

• (2): 本文方法主要解决了运动物体检测问题，对于长时间的视觉对应优化在3D场景重建中采用对象跟踪，并放弃了这种做法对于动态物体的处理。采用了对 BEV、multi-frame temporal cross-attention等技术的综合性方案，但同样忽略了显式的时间上的对应关系。因此，本文方法中创新地引入了物体中心的概念，建立物体中心和物体外框之间的对应关系，并将此问题转化为一个优化问题来解决。

• (3): 在实验中，本文将其方法与多个先进的3D视频物体检测算法进行比较。结果表明，BA-Det算法具有更好的性能，不仅可以检测静态物体，而且可以处理动态物体，并在3D检测任务上取得了最先进的水平。在计算资源上的开销也较低，因此具有一定的推广价值。

7. Conclusion:

• (1): 本研究提出了一种具有长期时间上的视觉对应优化的3D视频物体检测方法——BA-Det，并取得了很好的效果。此方法突破了现有方法的局限性，同时能有效地处理静态物体和动态物体。

• (2): 创新点：BA-Det算法创新性地引入物体中心的概念，建立物体中心和物体外框之间的对应关系，从而有效解决运动物体检测问题。