【ARXIV2402】MambaIR

这个工作首次将 Mamba 引入到图像修复任务，关于为什么 Mamba 可以用于图像修复，作者有非常详细的解释：一路向北：性能超越SwinIR！MambaIR: 基于Mamba的图像复原基准模型 作者认为Mamba可以理解为RNN和CNN的结合，可以较好的用于图像修复。同时，有两个改进：1）使用Mamba中的策略——由输入生成卷积权重（类似于动态卷积）；2）使用四个方向的扫描，让当前像素的输出实际上是来自上下左右四个方向邻域的一维卷积结果。

下图是论文的研究动机图，可以看出 MambaIR 有整幅图像范围的感受野，从而可以好地利用图像块重复先验。

该方法的网络架构如下图所示，可以看出和当前主流的网络总体结构是一致的。模型的关键在于RSSG模块，类似于Transformer，也是 attention + FFN 的结构。作者是用 Mamba 替换了 attention，当然在实现时，以两个分支并行的方式，而且也加入了卷积操作。

从实验结果来看，性能和SwinIR是接近的，模型参数量也是差不多。具体可以参考作者论文，这里不再过多介绍。