Semi-supervised Open-World Object Detection

摘要

传统的开放世界对象检测（OWOD）问题设置首先区分已知和未知类别，然后在后续任务中引入标签时逐步学习未知对象。然而，当前的OWOD公式在增量学习阶段严重依赖外部人类预言者进行知识输入。这种对运行时的依赖使得这种公式在现实世界的部署中显得不太现实。为了解决这个问题，我们引入了一个更现实的公式，名为半监督开放世界检测（SS-OWOD），通过将OWOD的增量学习阶段投射为半监督方式，减少了注释成本。我们证明了最先进的OWOD检测器在提出的SS-OWOD设置中的性能显著下降。因此，我们引入了一种新的SS-OWOD检测器，名为SS-OWFormer，它利用特征对齐方案来更好地对齐原始图像和增强图像之间的对象查询表示，以利用大量的未标记数据和少量的标记数据。我们进一步引入了一种用于未知检测的伪标签方案，该方案利用解码器对象查询捕获对象特定信息的固有能力。在COCO数据集上，我们的SS-OWFormer只使用50%的标记数据就达到了与使用所有100%标记数据的最先进（SOTA）OWOD检测器相当的检测性能。此外，我们的SS-OWFormer在未知召回率上比SOTA OWOD检测器提高了绝对4.8%。最后，我们展示了我们的SS-OWOD问题设置和方法在遥感对象检测中的有效性，提出了精心策划的分割和基线性能评估。我们在包括MS COCO、PASCAL、Objects365和DOTA在内的4个数据集上的实验证明了我们方法的有效性。我们的源代码、模型和分割可以在这里找到：https://github.com/sahalshajim/SS-OWFormer。

1 介绍

传统的对象检测器建立在一个假设之上，即模型只会遇到它在训练过程中遇到过的“已知”对象类别。最近，开放世界对象检测（OWOD）问题引起了人们的关注，其目标是检测已知和“未知”的对象，然后在后续任务中引入标签时逐步学习这些“未知”的对象。在这个问题设置中，新识别的未知对象首