【CVPR2024】Efficient LoFTR: 高效的 LoFTR：具有类似稀疏的速度的半密集局部特征匹配

Efficient LoFTR: 高效的 LoFTR：具有类似稀疏的速度的半密集局部特征匹配

Efficient LoFTR realtime_demo

0.摘要

\qquad 我们提出了一种新的方法来有效地产生跨图像的半密集匹配。以往的无探测器匹配器LoFTR在处理大视点变化和纹理差的场景下表现出了出色的匹配能力，但效率较低。我们重新审视了它的设计选择，并得出了效率和准确性的多重改进。一个关键的观察是，由于共享的局部信息，在整个特征映射上执行转换是冗余的，因此我们提出了一种具有自适应令牌选择的聚合注意力机制以提高效率。
此外，我们发现LoFTR的精细相关模块存在空间方差，这不利于匹配精度。提出了一种新的两级相关层，以实现精确的亚像素对应，从而提高精度。 我们的效率优化模型比LoFTR快2.5倍，甚至可以超过最先进的高效稀疏匹配管道SuperPoint + LightGlue。此外，大量的实验表明，与竞争对手的半密集匹配器相比，我们的方法可以达到更高的精度，并具有可观的效率优势。这为大规模或延迟敏感的应用(如图像检索和3D重建)开辟了令人兴奋的前景。
项目地址：https://zju3dv.github.io/efficientloftr/。

1.简介

\qquad 最近，LoFTR 引入了一种带有transformer的无检测器匹配范式，可以在不检测关键点的情况下直接在两个图像之间建立半密集对应关系。借助Transformer机制来捕获全局图像环境和无检测器设计，LoFTR表现出强大的匹配具有挑战性的对的能力，特别是在纹理较差的场景中。为了减轻计算负担，LoFTR采用从粗到细的流水线，首先在下采样的粗大特征图上进行密集匹配，其中应用了Transformer。然后，通过裁剪基于粗匹配的特征块，执行特征相关性，并计算相关性块的期望值，固定粗匹配在一张图像上的特征位置，同时在另一幅图像上搜索它们的子像素对应关系。
\qquad 尽管LoFTR的匹配性能令人印象深刻，但由于在整个粗糙特征图上执行Transformer的令牌大小较大，因此效率有限，这严重阻碍了图像检索和SfM 等实际的大规模使用。LoFTR的大量后续工作都试图提高其匹配精度。然而，很少有方法专注于无检测器匹配的匹配效率。QuadTree Attention 将多尺度变换与逐渐缩小的注意力跨度相结合，以避免在大型特征图上执行注意力。这种策略可以降低计算成本，但它也会将单个粗略的注意力过程划分为多个步骤，从而导致延迟增加。
\qquad 在本文中，我们重新审视了无探测器匹配器LoFTR的设计决策，并提出了一种新的匹配算法，该算法在进一步提高精度的同时，挤出冗余计算以显著提高效率。如图 1 所示，与最近的图像匹配方法相比，我们的方法实现了最佳的推理速度，同时在准确性方面具有竞争力。我们的主要创新在于引入令牌聚合机制进行有效的特征转换，并引入两阶段关联层进行对应细化。具体来说，我们发现像在LoFTR中那样在整个粗糙特征图上密集执行全局注意力是不必要的，因为注意力信息在局部区域是相似和共享的。因此，我们设计了一种聚合注意力机制，用于对自适应选择的标记进行特征转换，该机制明显紧凑，有效降低了局部特征转换的成本。
\qquad 此外，我们观察到LoFTR的匹配细化阶段可能存在空间差异，这是由于存在噪声特征相关性时对整个相关性补丁的期望引起的。为了解决这个问题，我们的方法设计了一个两阶段关联层，首先在精细的特征斑块上定位像素级匹配和准确的互近邻匹配，然后通过在微小斑块内进行局部相关性和期望来进一步细化亚像素级的匹配。
\qquad 在单调估计、相对姿态恢复以及视觉定位等多个任务上进行了广泛的实验，以证明我们的方法的有效性。我们的管道将无探测器匹配推向了前所未有的效率，比 LoFTR 快约 2.5 倍，甚至可以超过目前最先进的高效稀疏匹配器 LightGlue [30]。此外，与竞争性的无检测器基线[7,14,15]相比，我们的框架可以达到相当甚至更好的匹配精度，效率相当高。

\qquad 综上所述，本文有以下贡献：

     • 基于对精度的全面回访，具有多个im改进的新的无探测器匹配流水线。• 一种新型的聚合注意力网络，用于高效的局部特征转换。• Anovel两阶段相关细化层，用于准确和亚像素级的精细对应

2. 原理

• 想了一下还是不翻译论文了，简单说一下吧
  
  图2.管道概述
  （1）给定一对图像，CNN网络提取粗略的特征图̃FA和ƃFB，以及精细特征。
  （2）然后，我们通过交错我们聚合的自我注意力和交叉注意力N次，将粗糙的特征转换为更具判别性的特征图，其中自适应地进行特征聚合以减小每次注意力之前的令牌大小以提高效率。
  （3）将变换后的粗略特征与得分矩阵S相关联，然后进行互近邻（MNN）搜索，建立粗略匹配{Mc}。
  （4）为了细化粗匹配，通过将变换后的粗特征̃ Ft A， ̃ Ft B与骨干特征融合，在全分辨率下得到判别性精细特征ˆ Ft A， ˆ Ft B。然后，将特征块裁剪为每个粗匹配 Mc 的中心。经过两阶段细化以获得亚像素对应Mf。

• 详细的变压器模块比较。与LoFTR使用特征图的所有标记来计算注意力并诉诸线性注意力以降低计算成本不同，所提出的注意力模块首先聚合显著性标记的特征，这对于注意力的效率明显更高。然后，利用普通注意力来转换聚合特征，其中插入相对位置编码以捕获空间信息。转换后的特征被上采样并与原始特征融合，形成最终特征。

3. 效果

demo_comparison