SpectralDiff论文阅读笔记

高光谱图像分类是遥感领域的一个重要问题，在地球科学中有着广泛的应用。近年来，人们提出了大量基于深度学习的HSI分类方法。然而，现有方法处理高维、高冗余和复杂数据的能力有限，这使得捕获数据的光谱空间分布和样本之间的关系具有挑战性。 为了解决这一问题，我们提出了一种基于扩散模型的HSI分类生成框架(SpectralDiff)，该框架通过迭代去噪和显式构建数据生成过程，有效地挖掘高维和高冗余数据的分布信息，从而更好地反映样本之间的关系。
该框架由光谱空间扩散模块和基于注意力的分类模块组成。
光谱-空间扩散模块采用正向和反向光谱-空间扩散过程，实现样本关系的自适应构建，无需预先了解图形结构或邻域信息。 它捕获HSI中目标的光谱空间分布和上下文信息，并在反向扩散过程中挖掘无监督光谱空间扩散特征。
最后，将这些特征输入到基于注意力的分类模块中，用于每像素分类。 扩散特征可以通过重建分布促进跨样本感知，从而提高分类性能。

代码：https://github.com/chenning0115/SpectralDiff

图1 整体框架

图2 光谱-空间去噪网络的结构。（a） 通过前向扩散处理来处理原始HSI数据，以获得添加了高斯噪声的图像数据。随后，数据通过编码器-解码器结构，最终输出为与原始HSI数据形状相同的张量。该输出表示网络对添加的初始噪声的预测。（b） 三维下采样块的详细信息。（c） 三维上采样块的详细信息。

在本研究中，提出了一种从生成角度构建HSI数据的光谱-空间分布并捕捉光谱-空间特征的新方法。所提出的方法为光谱-空间扩散过程提供了一个独特的视角，并在建立样本之间的关系方面发挥了关键作用。利用所提出的SpectralDiff，可以在没有图结构或邻域信息的先验知识的情况下自适应地构建样本关系。该方法捕捉HSI中对象的数据分布和上下文信息，实现跨样本感知。实验结果表明，该方法优于现有技术。

展望未来，一个令人兴奋的探索途径在于研究扩散模型在高光谱成像背景下的超分布泛化和检测潜力，建立在生成范式的基础上。预计扩散模型将继续推进这些领域，通过扩散过程捕捉潜在的数据流形，从而学习将其推广到训练分布之外的未知例子。此外，扩散模型在识别分布外样本方面表现出强大的检测性能。展望未来，扩散模型有很大的潜力进一步为分布外泛化和检测领域做出贡献。随着进一步的研究，利用扩散模型的力量分析复杂和高维高光谱数据的发展有望继续，为未来在不同领域的应用带来令人兴奋的机会。