阅读笔记——Feature-Point Matching for Aerial and Ground Images方法

阅读笔记——Feature-Point Matching for Aerial and Ground Images

1.应用背景

在三维重建应用中，常用的是航空影像，但在城市环境中，面对大量的高层建筑物，航空影像往往不能很好的重建出完整的三维模型。因为航空影像视角约束以及遮挡等问题，即使是倾斜摄影，也很难重建较为精细的建筑物立面。
因此其中一个解决方法是，将航空影像和地面拍摄的影像进行匹配，从而纳入到一个平差模型中，整体求解以及重建模型。匹配结果类似下图（左为ground image, 右为aerial image)

2.相关工作

现有的解决方法主要有：
1.通过特征匹配算子直接匹配。从上图可见，ground image和 aerial image的视角差异是巨大的，因此，匹配显然也是相当困难，现有的特征匹配方法，如sift虽然能解决不同尺度不同视角影像，但是仍不能解决视角差异过大的影像。
2.先纠正影像，再匹配。利用影像的定向参数，将aerial image纠正至与ground image同样的平面上，然后进行匹配。带来的问题是pairwise的匹配计算复杂度高，并且纠正后的影像可能重叠度也不高，也会导致匹配失败。
3.3D rendering。

3.利用3D rendering 的方式进行匹配

上图来自论文《Leveraging photogrammetric mesh models for aerial-ground feature point matching toward integrated 3D reconstruction》
其主要的思路就是
1.首先在航空图像上进行密集重建以生成三维网格模型，在地面图像上进行稀疏重建以获得外部方向参数；
2.然后通过在地面摄像机的位置渲染基于航空图像的网格模型来合成地面图像。
3.在地面和合成的地面图像上进行SIFT特征点匹配。匹配性能可以得到明显的改善，因为全局的几何变形和遮挡在地面和合成的地面图像之间被消除了。
4.此外，考虑到一个合成图像对应多视角的航空图像，在对一对合成图像和地面图像进行特征匹配后，合成图像上的匹配点可以反向传播到多个航空图像上，从而获得多对航空图像和地面图像的匹配结果，从而有效提高了时间效率。
5.最后refine一下匹配结果，传统的NCC+LSM匹配使结果更精确。

还有一篇论文《Feature-Point Matching for Aerial and Ground Images by Exploiting Line Segment-Based Local-Region Constraints》同样也是上面的思路，只不过使用了线特征作为匹配条件与约束。