计算机视觉——图像特征提取D2D先描述后检测特征提取算法原理

概述

局部特征提取是计算机视觉中的一个重要任务，它旨在从图像中提取出能够代表图像局部结构和外观信息的特征。这些特征通常用于图像匹配、物体识别、三维重建、跟踪和许多其他应用。传统方法，如尺度不变特征变换（SIFT），首先检测图像中的关键点，然后围绕这些关键点计算描述符，以生成对旋转、尺度和亮度变化具有不变性的局部特征。

然而，随着深度学习的发展，近年来出现了一些新的方法，它们将关键点检测和特征描述符计算结合在一起，以提高效率和性能。以下是一些代表性的方法：

1. SuperPoint：SuperPoint是一种快速且准确的特征点检测和描述符生成网络。它使用了一个轻量级的卷积神经网络，能够在保持高准确度的同时实现实时性能。SuperPoint通过学习图像的局部模式来预测关键点的位置，并生成对应的特征描述符。

2. D2-Net：D2-Net（Descent-based Dense Feature Network）是一种密集特征点检测网络，它使用基于梯度下降的方法来精确定位关键点。D2-Net不仅能够检测到大量的特征点，而且能够为每个特征点生成具有独特信息的描述符。

3. R2D2：R2D2（Region-based Retrieval with Dense Correspondences）是一种基于区域的检索方法，它使用密集对应来生成局部特征描述符。R2D2通过学习图像区域之间的关系来提取特征，这使得它在处理重复纹理和相似结构时具有优势。

这些方法的共同点是它们都利用了深度学习的能力来直接从数据中学习特征点的检测和描述，而不是依赖于手工设计的特征提取算法。这种方法通常能够提供更好的性能，尤其是在处理复杂场景和具有挑战性的视觉任务时。

在实际应用中，这些方法可以根据具体需求进行选择。例如，如果需要实时性能，SuperPoint可能是一个好选择；如果对特征点的精确定位有较高要求，D2-Net可能更适合；而在需要处理具有大量重复纹理的场景时，R2D2可能会有更好的表现。

论文地址：https://arxiv.org/pdf/2005.13605.pdf

D2D

作者提出的核心思想“先描述后检测”是基于这样的观察：特征描述部分本身就包含了大量信息，能够反映图像中某个位置的显著程度。这种方法与传统的先检测关键点再描述的方法相反，它通过先生成大量的密集特征描述，然后从这些描述中筛选出关键点，从而简化了局部特征提取的流程。

在实现这一思想时，衡量特征向量描述的显著性是一个关键问题。以下是一些可能的方法来评估特征描述的显著性：

1. 基于梯度信息：图像中的边缘和角点通常是显著的特征。因此，可以通过计算图像梯度的大小和方向来评估特征描述的显著性。在深度学习方法中，可以通过卷积层自动学习到这些梯度信息。

2. 基于网络响应：深度神经网络在处理图像时，不同的层会响应图像的不同特征。可以通过分析网络中某一层的激活情况来确定特征的显著性。例如，如果一个特征描述在某个层引起了强烈的响应，那么这个特征可能是显著的。

3. 基于特征一致性：在多个图像或多个视角下保持一致的特征更有可能是显著的。可以通过比较不同图像中相同位置的特征描述来评估其显著性。

4. 基于特征的区分能力：如果一个特征描述能够很好地区分不同类别或不同对象，那么它可能是显著的。可以通过评估特征描述在分类或识别任务中的表现来衡量其显著性。

5. 基于聚类分析：对大量的特征描述进行聚类分析，可以发现哪些特征描述更具有代表性和区分度。显著的特征描述通常会形成独立的聚类，而不是混杂在其他特征描述中。

6. 基于注意力机制：注意力机制可以模拟人类视觉注意力的焦点转移，通过识别网络中最关注的区域来确定特征的显著性。

7. 基于全局和局部信息的结合：结合全局图像信息和局部特征描述，可以更全面地评估特征的显著性。例如，一个在全局层面上具有独特性但在局部层面上很常见的特征可能不是显著的。

作者从两个角度来思考这个问题：

1）特征描述要具有绝对显著性，指某位置的特征各维度特征变化大；

作者以特征各维度与均值的平方差来衡量绝对显著性。

2）特征描述要具有相对显著性，指某位置的特征与其周围临近点的特征相比差异性更大；

作者以某特征与临近位置特征的距离之加权和来衡量。

以绝对显著性和相对显著性之积作为某位置是否为关键点的依据，选取Top N个作为最终的关键点。

实验结果

作者的这个思路很简单，也很容易与图像的密集描述特征结合，作者在图像匹配、视觉定位、三维重建三个任务中评价了这种方法

图像匹配的实验结果：

HarNet 和SOSNet 是作者使用的描述方法。在HPatches数据集上的结果显示，使用D2D的方法超越了之前几种SOTA方法，正确配对的关键点更多。

下图为在Aachen Day-Night 数据集上的视觉定位结果，D2D在替换SIFT关键点检测之后大大提高了精度，虽然与最好结果还有一定差距，但这可能是训练数据和使用网络较小的差异造成的。

在ETH SfM数据集上三维重建的实验结果：

使用窄网络D2D的精度显著超越了那些在大数据集上训练的局部特征提取方法的结果。

D2D因为简单，所以速度也很快，使用 HardNet 或者SOSNet作为描述的话参数量也很小，如下图：

总之，D2D打开了一种新思路，特征描述本身就含有关键点的重要性信息，可以作为关键点筛选的依据。