基于深度学习的3D城市模型增强【Mask R-CNN】

在这篇文章中，我们描述了一个为阿姆斯特丹 3D 城市模型自动添加门窗的系统（可以在这里访问）。 计算机视觉用于从城市全景图像中提取有关门窗位置的信息。 由于这种类型的街道级图像广泛可用，因此该方法可用于较大的地理区域。

推荐：用 NSDT编辑器 快速搭建可编程3D场景。

处于开发阶段的阿姆斯特丹 3D 城市模型可用于更轻松地向公众传达空间规划。 此外，公众可以更多地参与市政府的规划决策和宗旨。 城市模型由简化形状的建筑物组成； 在 CityGML1 术语中，它们处于细节级别 2 (LOD2)。 在建筑物上添加门窗可以实现许多新的用例，包括应急响应规划、城市可持续性和城市模拟（例如，“采光权”对新建筑潜在建设的影响）。

阿姆斯特丹3D城市模型

本文所提出的系统可以分为以下三个步骤：

1、从全景图像中提取立面纹理

第一步利用建筑物视频数据从街道全景图像中识别、校正和提取建筑物的纹理区域。下图为说明提议的处理管线第一阶段想法的示例。

（左）从阿姆斯特丹 Hartenstraat 拍摄的全景图像。 （中）全景图像的位置及其与建筑物足迹数据之间的关系。 （右）修正后的立面纹理。

2、从提取的纹理中检测门窗

第二步是使用 Mask R-CNN（一种深度卷积神经网络）从建筑物的纹理区域检测门窗。 我们生成了超过 980 张高质量的分割掩模图像来训练网络。

（左）修正后的立面纹理。 （中左）手动注释的分割掩模图像，地面实况。 （中右）边界框、分割掩模和相应的类标签。 （右）边界框表示检测到的门窗。

3、将检测到的门窗添加到 3D 模型中

在第三步（也是最后一步）中，将先前检测到的门窗与输入的 CityGML LOD2 模型对齐，以构建 CityGML LOD3 模型。

上图为使用所提出的系统在 LOD3 中生成虚拟街道场景。 使用 Azul CityGML 查看器 进行可视化。

这是该项目的演示视频 ，代码可以从github下载。

---

原文链接：深度学习增强3D城市模型 — BiMAnt