论文阅读——RingMo

RingMo: A Remote Sensing Foundation Model With Masked Image Modeling

与自然场景相比，RS图像存在以下困难。

1）分辨率和方位范围大：受遥感传感器的影响，图像具有多种空间分辨率。此外，与自然图像的实例通常由于重力而具有固定方向不同，遥感图像中的物体从鸟瞰角度来看具有很大的角度分布范围。因此，由于尺度和角度的多样性，同一物体在不同的RS图像中具有不同的特征。

2）许多密集和小物体：大部分自然图像包含少量物体。例如，ImageNet 数据集每个图像平均包含少于三个对象实例 [33]。如图1所示，遥感图像通常大而宽，覆盖数百公里。 RS图像中存在许多小物体，而且它们通常分布较密集，这在一定程度上影响了物体级解释的精度。

3）背景复杂：由于RS图像包含较大的场景，除了感兴趣的物体外，图像还包含大量的背景信息，导致图像的信噪比较低。物体的边界和背景模糊，干扰物体分类。而且遥感图像容易受到天气、光线、云、雾等外界因素的干扰，影响成像质量。

本文的贡献可以概括为四个方面。

1）我们提出RS领域第一个生成式自监督基础模型框架（RingMo）。该框架利用大量遥感数据来获取一般特征表示并提高各种遥感解释任务的准确性。

2）为了增强基础模型对遥感数据的处理能力，我们根据遥感图像的特性设计了一种自监督方法，改善了之前的掩模策略可能忽略复杂遥感场景中密集和小物体的情况。

3）在没有任何人类监督的情况下，我们收集了包含 200 万张图像的 RS 数据集，这些图像是从卫星和空中平台捕获的，涵盖六大洲的不同物体和场景。这种包含大量且多样化的遥感图像的数据集提高了基础模型对不同场景的适应性。

4) 在收集的数据集上使用 RingMo 训练方法推导基础模型后，我们在四个典型的 RS 任务上对其进行微调。实验表明，我们的方法在八个下游数据集上实现了 SOTA，并验证了我们的 RS 基础模型在各种应用上的有效性和泛化性。

模型：

PIMask Strategy:

如图 4 中左侧红色补丁所示，我们没有完全屏蔽图像补丁，而是随机保留屏蔽补丁中的一些像素。采用这种掩模策略，可以有效保留小目标的部分像素信息。就像图 4 中的蓝色补丁所示，我们增加了掩模补丁的数量以保持总掩模比率不变。此外，为了更好地利用这些保留像素，采用多层卷积来实现块嵌入。一些相关研究人员通过实验证明，在ViT中添加早期卷积层可以帮助模型更好地学习图像特征[67]。具体来说，在卷积过程中，我们让卷积核只在每个patch内部计算，这不能打破模型的mask约束。与传统的嵌入结果不同，多层卷积后的所有标记都具有特征信息，这进一步提高了编码器的学习效率。