TGES 2024 | 基于空间先验融合的任意尺度高光谱图像超分辨率

Arbitrary-Scale Hyperspectral Image Super-Resolution From a Fusion Perspective With Spatial Priors

TGES 2024

10.1109/TGRS.2024.3481041

摘要：高分辨率高光谱图像（HR-HSI）在遥感应用中起着至关重要的作用。单HSI超分辨率（SR）方法旨在从其低分辨率（LR）对应物中获得空间域中的HR HSI。尽管已经进行了广泛的研究，但现有HSI SR方法的性能仍然有限，因为HSI数据结构本身无法为重建提供足够的空间信息，特别是在SR因子较大的情况下。在这项研究中，我们将单个HSI SR视为一项将LR HSI与其光谱响应RGB图像融合的任务，从中可以引入流行的超高分辨率RGB图像，即使在SR因子较大的情况下，也能为HSI SR提供足够和高质量的空间先验信息。在此框架内，我们进一步提出了一种HSI任意尺度SR方法，该方法在特征提取和局部隐式图像函数（LIIF）中自然地结合了这种空间先验。在两个基准遥感HSI数据集上进行了广泛的实验，展示了我们提出的方法的卓越SR性能。所提出的SPG-ARSR方法优于最先进的（SOTA）方法，证明了其有效性和实用性。

研究背景：

1. 依赖 HSI 数据导致性能受限：传统基于优化的方法，利用低秩、稀疏等手工制作的图像先验从低分辨率 HSI（LR HSI）中约束求解 HR HSI ，但因浅层结构表达能力有限，性能不佳。基于深度学习的方法，虽能学习 HR HSIs 和 LR HSIs 之间的映射函数，可由于 HSI 数据本身空间分辨率低，难以提供高空间分辨率信息，导致现有方法性能提升受限，尤其是在大空间尺度放大时。
2. 模型灵活性不足：大多数现有 HSI SR 方法缺乏灵活性，只能重建固定尺度（如 ×2、×4 和 ×8）的 HR HSIs 。为满足不同尺度需求，需分别训练多个模型，浪费大量计算和存储资源。尽管任意尺度 SR 方法是更好的选择，但目前缺乏结合高灵活性和良好重建性能的任意尺度 HSI SR 方法。
3. 融合方法存在局限：融合 LR HSIs 和 HR RGB 图像可增强 HSI 分辨率，但现有基于融合的 HSI SR 方法严重依赖 LR HSIs 和 RGB 图像之间的精确对齐。近期利用 RGB 图像提升 HSI SR 性能的方法，如引入多任务网络将 RGB 图像 SR 任务作为辅助任务，虽能缓解数据稀缺问题，但增加训练样本导致训练时间延长。

研究方法：

1、整体框架：SPG-ASSR 由空间纹理先验生成器（STPG）、特征融合增强模块（FFEM）和先验引导任意尺度上采样模块（PGASUM）构成。输入 LR HSI 后，先通过光谱响应函数生成 LR RGB，再将其输入 STPG 编码空间结构和模式的先验信息，接着在 FFEM 中融合重建的 RGB 图像和 LR HSI 的特征，最后由 PGASUM 整合高分辨率空间先验信息，生成最终的重建 HSI。

2、空间纹理先验生成器STPG：使用在大量高质量 RGB 图像上预训练的 SR 网络作为 STPG，通过对 LR HSI 进行光谱维度下采样得到 LR RGB，再将其输入 STPG 重建具有丰富高分辨率空间信息的 HR RGB。该重建的 RGB 图像包含更多有用空间先验，既用于与 LR HSI 进行特征融合，又作为引导信息提升任意尺度上采样模块的性能。

• 设计目的：从 RGB 图像中提取空间先验信息，为 HSI 超分辨率提供高质量空间纹理，弥补 HSI 自身空间信息不足的缺陷。
• 实现方式：采用在大量高质量 RGB 图像上预训练的 SwinIR-CiaoSR 作为 STPG。首先将 LR HSI 沿光谱维度下采样生成 LR RGB，再将 LR RGB 输入 STPG，利用其预训练学到的图像纹理先验知识，重建具有丰富高分辨率空间信息的 HR RGB。

3、特征融合增强模块：构建类似 Unet 的架构和先验引导融合方案，引入光谱变换器捕捉光谱相关性，利用多卷积模块（MCM）捕捉多尺度空间纹理特征。通过在 FFEM 的起始和结束阶段进行特征融合操作，选择性地结合两种模态的信息，融合过程由卷积层和激活函数实现。

• 作用效果：该模块能够选择性地融合两种模态的信息，有效结合 LR HSI 的光谱信息和重建 RGB 图像的空间纹理特征，为后续的上采样模块提供更丰富、更具代表性的特征，从而提升 HSI 的超分辨率质量。
• 

4、先验引导任意尺度上采样模块：受 RGB 图像任意尺度 SR 的隐式神经表示方法启发，构建该模块。通过局部集成交叉注意力机制，将特征融合增强模块的输出作为查询，从重建的 RGB 图像中提取的高分辨率特征作为键和值，有效融合先验图像的特征。在模块末尾，利用特征融合模块进一步利用 STPG 的空间纹理，通过 MLP 得到预测像素值。

• 

大多数现有的HSI SR方法仅限于固定比例的上采样，这给实际应用带来了挑战，因为它们需要为不同的上采样因子训练和存储单独的模型。通过隐式神经表示，广泛的方法在RGB图像任意尺度SR上取得了更大的进展。受这些工作的启发，我们提出构建一个先验引导的任意比例上采样模块，该模块可以合并先验图像Ysr中的高分辨率先验信息。我们采用局部集成注意力来整合附近的特征，并预测超分辨率图像中任何查询坐标处的新像素值，如图3所示。我们采用局部集成交叉注意来整合附近的特征，并预测重建图像中任何查询坐标处的新像素值，如图3所示。我们采用局部集成交叉注意来有效地合并先验图像Ysr的特征。具体来说，我们将从特征融合增强模块中获得的特征Ff作为查询，将从Ysr中提取的高分辨率特征Fhr-rgb作为关键字和值。

损失函数

实验：

比较的方法可分为两组：固定整数尺度SR方法（SSPSR[43]、RFSR[44]和ESSA[28]）和任意尺度SR方法，（LIIF[38]、ITSRN[40]、LTE[41]和CiaoSR[42]）。

不同比例因子

平均光谱差曲线