文章精读篇——用于遥感小样本语义分割的可学习Prompt

题目：Learnable Prompt for Few-Shot Semantic Segmentation in Remote Sensing Domain

会议：CVPR 2024 Workshop

论文：10.48550/arXiv.2404.10307

相关竞赛：https://codalab.lisn.upsaclay.fr/competitions/17568

年份：2024

---

任务背景

• 小样本语义分割（Few-shot Segmentation）：目标是在仅有少量标注样本的情况下，对图像中的新类别（novel classes）进行分割。在广义设置中，任务不仅需要分割新类别，还需要保持对基础类别（base classes）的分割性能。

• 主要挑战：

  • 灾难性遗忘（Catastrophic Forgetting）：在引入新类别时，模型可能会忘记之前学习到的基础类别知识，导致基础类别的性能下降。

  • 遥感图像的特殊性：遥感图像中的目标通常具有多种尺寸，且图像分辨率较高，直接处理整张图像可能会导致计算资源不足或边界不连续的问题。

小知识：

1. 边界不连续是指在图像分割任务中，当图像被分割成多个小块（patches）进行独立预测时，块与块之间的边界区域可能会出现不一致或不连续的分割结果。

解决方法：1. 分块缝合技术（Patch-and-Stitch Technique）：将分块预测的结果通过图像修复（inpainting）或后处理技术进行平滑拼接，确保边界区域的分割结果一致。2. 重叠分块（Overlapping Patches）：在分块时让相邻小块有一定的重叠区域，从而为边界区域提供更多的上下文信息。

2. 支持集是新类别的少量标注样本（例如每个类别有 5 张图像及其对应的标注）。

相关工作

1. 语义分割

2. few-shot语义分割：现有的 FSS 方法主要关注新类别的分割，而忽略了基础类别的分割。在实际应用中，目标图像可能同时包含基础类别和新类别，因此需要模型能够同时分割这两类。作者的工作正是在这一背景下展开的，通过引入可学习提示（Learnable Prompts）和分块缝合技术（Patch-and-Stitch Technique），提出了一种能够同时处理基础类别和新类别的 GFSS 方法。