【高校科研前沿】北师大陈晋教授团队在遥感顶刊发表最新成果：ClearSCD模型：在高空间分辨率遥感影像中综合利用语义和变化关系进行语义变化检测

01文章简介

论文名称：The ClearSCD model: Comprehensively leveraging semantics and change relationships for semantic change detection in high spatial resolution remote sensing imagery（ClearSCD模型：在高空间分辨率遥感影像中综合利用语义和变化关系进行语义变化检测）

第一作者及通讯作者：Kai Tang；陈晋（教授）

第一作者及通讯作者单位：北京师范大学地理学部

文章发表期刊：《ISPRS Journal of Photogrammetry and Remote Sensing》（遥感领域顶级期刊&中科院1区Top期刊|最新影响因子：12.4）

期刊平均审稿速度：9个月（参考）

02 研究内容

1.文章摘要

        地球表面持续存在着众多人为和自然变化。高空间分辨率遥感图像在全球范围内准确揭示这些变化提供了独特的视角。利用高空间分辨率遥感图像进行语义变化检测（SCD）已成为在语义层面跟踪地表类型演变的常用技术。然而，现有的语义变化检测方法很少模拟语义与变化之间的依赖关系，导致检测复杂地表变化的精度不理想。针对这一局限性，该研究提出了一个多任务学习模型ClearSCD。该模型通过三个创新模块利用语义与变化之间的互利关系。第一个模块将不同时间的语义特征解释为表面类型的后验概率，以检测二元变化信息；第二个模块学习地表类型随时间变化与二元变化信息之间的相关性；第三个模块使用语义增强对比学习模块，以提高其他两个模块的性能。该研究在两个大型基准数据集（Hi-UCD mini和Hi-UCD）和一个真实应用场景（称为LsSCD）中测试了ClearSCD，结果表明ClearSCD在mIoUsc指标上比现有方法高出1.23% 至19.34%。此外，消融实验证明了三个新模块对性能提高的独特贡献。在不同变化场景下的高计算效率和强大性能表明ClearSCD是利用高空间分辨率遥感图像探测地表语义变化信息的实用工具。代码和LsSCD数据集可在https://github.com/tangkai-RS/ClearSCD获取。

2.研究背景

        最近，基于深度学习的多任务学习模型在SCD中显示出巨大的潜力，因为它可以有效地克服变化向量分析方法中的目标分离问题，即作为单独的目标获取二元变化和语义信息，以及通过参数和特征共享以及多分支网络的同时优化来克服后分类比较方法的误差积累问题。此外，通过间接地从两个时间点的地表类型（LULC）语义派生出“from-to”类型，这种方法允许使用比“from-to类型样本更容易获得的LULC样本进行模型训练。然而，基于深度学习的多任务SCD模型仍然存在不足。

        首先，尽管目前基于深度学习的多任务学习SCD模型利用了语义信息来提高二元变化分割的性能，但是忽略了二元变化信息在优化语义信息方面的潜力。即现有方法通过融合语义特征来获得二元变化信息，而不再使用二元变化信息来建立双时态语义的相关性。模型在两个方面之间的不完全连接可能导致两个语义分割分支输出的语义类型与来自变化解码器的二元变化信息不匹配。具体来说，变化解码器识别的非变化区域在两个语义分割分支上可能表现出不同的LULC类型，因为它们每次都是由两个时刻的语义解码器独立输出的。类似地，由变化解码器输出的变化区域在两个时刻可以具有相同的LULC类型。其次，变化解码器融合两个时刻的语义编码器提取的高维深度特征来输出二元变化信息。这些特征缺乏明确的语义，阻碍了解码器利用变化信息与语义信息之间的因果关系。这种复杂性使得优化过程的计算量很大，使得模型不实用。第三，准确的语义信息是多任务学习SCD方法性能的基础。然而，现有的方法通常只使用交叉熵损失函数进行语义优化，其优化重点是类间边界，而忽略了类之间的相似度度量。这种局限性在高空间分辨率影像中尤为突出，因为复杂的地表景观和不同的成像条件会进一步混淆语义。

     为了解决现有基于多任务学习的SCD模型的三个不足，该研究提出了一个综合利用语义和变化关系的语义变化检测模型（Comprehensively leveraging semantics and change relationships for semantic change detection），称为ClearSCD。

3.研究方法

        ClearSCD的灵感来自于多任务学习模型中语义和变化信息的相互强化。ClearSCD的主要创新如下：首先，该研究引入了一个监督语义增强对比学习（SACL）模块，该模块利用局部和全局数据特征，以及跨时间差异来增强语义特征的类内相似性和类间可分性。其次，设计了双时态语义相关性捕获机制（BSCC），其使用变化分支的输出来反向细化双时相语义信息。最后，提出了深度分类后验概率空间模块（deep CVAPS），该模块通过整合语义后验概率代替高维特征来进行二元变化信息解码。

图1.ClearSCD总体框架

图2.SACL模块示意图

图3.Deep CVAPS模块示意图

图4.BSCC机制示意图

4.研究主要结果

        该研究在Hi-UCD和Hi-UCD mini两个大型基准数据集上进行验证。同时，为了验证ClearSCD在现实应用场景的实用价值，该研究构建了LsSCD数据集。验证结果表明ClearSCD在mIoUsc指标上比现有方法高出1.23%至19.34%。

表1.Hi-UCD mini数据集定量评价结果

表2.Hi-UCD数据集定量评价结果

表3.LsSCD数据集定量评价结果

图5.ClearSCD与对比方法在LsSCD数据集的可视化结果

5.研究结论

        通过实验证明：ClearSCD在不同变化场景下的性能具有鲁棒性，是一种在能够自动化获取地表语义变化信息的有力工具

03 文章引用

文章信息：Kai Tang, Fei Xu, Xuehong Chen, Qi Dong, Yuheng Yuan, Jin Chen,The ClearSCD model: Comprehensively leveraging semantics and change relationships for semantic change detection in high spatial resolution remote sensing imagery,ISPRS Journal of Photogrammetry and Remote Sensing,Volume 211, 2024,Pages 299-317,ISSN 0924-2716,https://doi.org/10.1016/j. isprsjprs.2024.04.013.

代码链接：https://github.com/tangkai-RS/ClearSCD

信息来源：http://www.chen-lab.club/