最近顶级图像算法论文精读：CVPR 2025《MaIR》如何让 Mamba 更适合图像恢复？

最近顶级图像算法论文精读CVPR 2025《MaIR》如何让 Mamba 更适合图像恢复摘要最近看了一篇很值得分析的图像算法论文MaIR: A Locality- and Continuity-Preserving Mamba for Image Restoration。这篇论文发表在CVPR 2025关注的是低层视觉中的经典方向——图像恢复。和很多直接把 Mamba 按一维序列扫描方式迁移到图像上的工作不同MaIR 抓住了一个很关键的问题图像是二维结构简单按行、按列或按固定方向展开成 1D 序列会破坏局部邻接关系和空间连续性。因此论文提出了两个核心设计Nested S-shaped ScanningNSS和Sequence Shuffle AttentionSSA。前者负责在扫描过程中尽量保留图像的局部性和连续性后者负责融合不同展开序列之间的信息。最终MaIR 在单图超分、图像去噪、图像去模糊和图像去雾四类任务上都取得了很强的表现。本文将从问题背景、核心思想、模型结构、关键模块、实验效果、优缺点和简化复现代码几个方面对这篇最近的顶级图像算法论文做一次系统拆解。一、论文信息论文标题MaIR: A Locality- and Continuity-Preserving Mamba for Image Restoration会议CVPR 2025研究方向图像恢复、超分辨率、去噪、去模糊、去雾、Mamba核心关键词MaIR、Mamba、图像恢复、Nested S-shaped Scanning、Sequence Shuffle Attention二、这篇论文想解决什么问题Mamba 近来在视觉任务中越来越受关注尤其是在低层视觉和图像恢复方向很多工作尝试把它作为 CNN 和 Transformer 之外的新选择。它的吸引力很明显理论上具备较好的长程建模能力复杂度相对友好训练和推理效率都有潜力但论文指出现有很多 Mamba-based 图像恢复方法存在一个比较根本的问题它们通常把二维图像强行展开成多个一维序列再分别处理这些序列。这会带来两个直接后果。1. 局部关系容易被破坏图像中的像素天然有二维邻接关系。如果只是机械地按某个方向展开成 1D 序列原本相邻的像素在新序列里不一定还相邻。这就意味着模型在处理图像时可能会丢失一部分局部结构信息。2. 空间连续性容易被打断自然图像中的纹理和结构通常具有连续性。如果展开路径设计得不好扫描顺序就会频繁跳跃导致相邻区域之间的连续关系表达不自然。这会影响图像恢复任务中非常重要的边缘连贯性纹理连续性局部结构保真度所以 MaIR 想解决的核心问题可以概括成一句话如何让 Mamba 在处理图像时既保留更合理的空间扫描方式又能有效融合不同展开序列的信息三、论文的核心思路是什么MaIR 的核心思路并不复杂但非常有针对性。整篇论文主要由两个关键设计组成NSSNested S-shaped ScanningSSASequence Shuffle Attention其中1. NSS 解决“怎么扫”的问题NSS 的目标是尽量保留图像局部区域的空间邻接关系让扫描路径更连续减少简单 1D 展开带来的空间破坏相比传统的按行扫描、按列扫描或者单一方向扫描NSS 通过条带式区域划分和 S 形路径设计使得展开后的序列更符合图像本身的局部结构。2. SSA 解决“不同序列怎么融合”的问题即使扫描方式设计得更合理不同方向、不同路径展开出来的序列之间依然会有差异。如果这些差异不能被有效融合模型仍然难以充分利用多方向信息。因此论文提出了 SSA通过在对应通道上学习不同序列的权重实现跨序列的信息聚合。换句话说MaIR 并不是只做了一个“更花哨的扫描顺序”而是同时回答了两个问题图像应该怎么展开成序列更合理展开后的多个序列应该如何融合才有效四、模型结构怎么理解MaIR 的整体结构比较清晰基本沿用了图像恢复里常见的三阶段框架输入退化图像 ↓ 浅层特征提取 ↓ 深层特征提取由多个 MaIR Module 组成 ├─ NSS更合理的序列展开方式 └─ SSA跨序列特征融合 ↓ 重建阶段 ├─ 超分任务上采样 卷积重建 └─ 去噪 / 去模糊 / 去雾卷积 残差输出 ↓ 恢复结果从论文描述来看MaIR 的整体网络主要包括三部分1. 浅层特征提取阶段输入图像先经过卷积层映射到高维特征空间。这一部分主要负责提取边缘和基础纹理为深层建模提供初始表示2. 深层特征提取阶段这是论文真正的核心部分。这一阶段由多个MaIR ModuleMaIRM组成而 MaIRM 里最关键的就是NSSSSA这个阶段负责构建更强的全局依赖关系同时尽量不破坏图像的局部结构。3. 重建阶段根据任务类型不同重建方式也略有区别超分辨率任务使用上采样模块恢复高分辨率图像去噪、去模糊、去雾任务使用卷积层并结合残差连接输出恢复结果这样的结构设计很合理因为它既保持了图像恢复框架的稳定性也让论文的创新重点集中在最关键的特征建模阶段。五、NSS 为什么重要如果把整篇论文只提炼一个最核心的问题那一定是图像展开成序列这一步到底应该怎么做这正是 NSS 的价值所在。1. 传统扫描方式的问题很多 Mamba 图像模型喜欢做行扫描列扫描Z 字形扫描简单窗口扫描这些方式虽然容易实现但可能出现两个问题局部性不够好明明图像上挨着的区域展开后却离得很远连续性不够好扫描路径不平滑容易打断结构信息2. NSS 的改进思路NSS 强调两个关键词Locality局部性Continuity连续性它采用条带式扫描区域再结合 S 形路径设计让序列展开更符合图像本身的空间组织方式。从直观上理解NSS 的目标不是“扫得更花”而是让模型在序列处理中仍然尽量保持图像该有的空间逻辑。这对于图像恢复非常重要因为恢复任务比分类更依赖细粒度结构一旦局部关系被破坏输出图像就很容易出现纹理错位边缘变形细节扭曲六、SSA 又是干什么的如果说 NSS 解决的是“怎么展开”那么 SSA 解决的就是“展开完之后怎么融合”。不同方向、不同路径展开得到的序列本质上是在从不同视角观察图像。这些序列之间并不是冗余的而是互补的。SSA 的核心思想可以理解为把多路展开序列重新整理在对应通道上计算权重再按权重加权融合不同序列特征论文中这一过程最终可以写成一种加权求和形式Y∑i1K4Wi∗Xi Y \sum_{i1}^{K4} W^i * X^iYi1∑K4​Wi∗Xi其中XiX^iXi表示不同展开方式下的序列特征WiW^iWi表示对应的权重YYY表示融合后的输出序列这个设计很有意思因为它不是用一个很重的全局注意力去融合序列而是用一种更轻量、更直接的方式完成跨序列聚合。这也符合论文整体风格不盲目堆复杂结构而是针对图像恢复里的真实问题做有针对性的改进。七、为什么这篇论文的方法有效我觉得 MaIR 有效主要是因为它抓住了 Mamba 图像化过程中最容易被忽略的两个点。1. 它强调扫描路径不是无关紧要的很多人容易把“序列展开”当成一个技术细节但 MaIR 认为这其实会直接影响模型能不能真正理解图像结构。这一点非常关键。2. 它没有只改扫描还补了融合机制如果只改扫描不解决多序列融合问题信息仍然可能散。MaIR 同时提出 SSA说明作者不是只做了局部修补而是把整个信息流设计完整了。3. 它在多个恢复任务上都做了验证这篇论文不是只在某一个任务上做展示而是在超分辨率图像去噪图像去模糊图像去雾四类任务上都做了实验这使它更像一个通用图像恢复骨干而不是单任务特化模型。八、实验效果怎么样MaIR 的实验覆盖了四大类图像恢复任务并且整体表现非常强。1. 超分辨率任务在经典单图超分任务中MaIR 在多个 benchmark 上都拿到了非常强的结果。例如在经典 SR 的×2设定下MaIR 在多个数据集上的结果为Set1434.75 / 0.9268Urban10034.19 / 0.9451Manga10940.30 / 0.9807而在×4设定下MaIR 的结果为Set1429.20 / 0.7958Urban10027.71 / 0.8305Manga10932.46 / 0.9284从论文对比表来看MaIR 在超分任务里整体上优于多种 CNN、Transformer 和已有 Mamba-based 方法尤其在 Urban100 和 Manga109 这类更强调结构和纹理恢复的数据集上表现很亮眼。2. 图像去噪任务在去噪任务上论文指出 MaIR 在合成噪声和真实噪声场景下都表现出较强竞争力。论文中特别提到以 Urban100 为例MaIR 相比 MambaIR 在去噪任务上平均提升了0.21 dB说明它在纹理复杂图像上的恢复能力更强。在真实图像去噪实验里MaIR 的结果达到PSNR39.92SSIM0.960在表中属于最强方法之一。3. 图像去模糊任务在 GoPro 和 HIDE 两个经典去模糊数据集上MaIR 的结果为GoPro33.69HIDE31.57并且参数量为26.29MMACs 为49.29G。这个结果非常强尤其是在 HIDE 数据集上MaIR 比很多经典 CNN 和 Transformer 去模糊方法都更优说明它对复杂运动模糊场景也有较好的适应能力。4. 图像去雾任务在去雾实验中MaIR 同样表现很突出。例如在SOTS-Outdoor上MaIR 的结果达到PSNR36.96SSIM0.991而在SOTS-Mix上MaIR 达到PSNR31.52SSIM0.980从论文分析来看MaIR 在室外场景尤其有优势说明它在复杂场景下恢复整体结构和纹理细节的能力确实比较强。九、消融实验说明了什么MaIR 的消融实验很有价值因为它能比较清楚地证明论文提出的两个核心模块不是“凑上去的”。1. NSS 有明显作用在轻量级超分任务的消融实验中去掉 NSS 或替换成其他扫描方式后模型性能会下降。这说明扫描策略本身确实会影响恢复效果而不是一个无关紧要的实现细节。2. SSA 比多种替代融合方式都更有效论文把 SSA 和多种序列融合方式做了对比包括简单加法UVMsequence gatingchannel-wise gatingpixel-wise gating最终结果表明SSA 的效果最好。这说明它在多序列信息融合上确实更适合这类任务。十、这篇论文最大的亮点是什么如果只总结一句我会说MaIR 最重要的贡献不是把 Mamba 直接拿来做图像恢复而是认真回答了“图像序列化应该怎么做才合理”这个问题。具体来看它的亮点主要有下面几个。亮点一把“扫描路径”从实现细节提升成核心设计这一点很重要因为它说明论文真正看到了 Mamba 在图像任务中的关键痛点。亮点二同时兼顾局部性和连续性很多方法只能顾到其中一头要么局部好但不连续要么连续但局部结构容易扭曲。MaIR 的目标就是把这两点一起保住。亮点三不是单任务技巧而是多任务通用框架它同时验证了四类恢复任务因此更适合作为一个通用图像恢复 backbone 来理解。十一、这篇论文的不足在哪里再好的论文也不会没有问题MaIR 也一样。1. 仍然属于 Mamba 路线虽然它比很多直接展开式方法更合理但本质上还是围绕 Mamba 的图像化改造。如果未来出现更适合二维视觉结构的新建模方式MaIR 也未必就是终点。2. 结构理解成本高于传统 CNN相较于 ResNet、UNet 这类经典结构MaIR 的核心创新点更偏方法论初学者第一次看可能会觉得抽象。3. 工程实现复杂度仍不低虽然论文方法很有启发性但真要自己从零复现扫描路径设计多序列展开序列融合多任务训练设置这些地方都不算很轻松。十二、简化版复现代码下面给你一份教学理解版的 PyTorch 代码。它不是论文官方逐行实现但保留了两个最关键的思路一个NSS-like的扫描重排逻辑一个SSA-like的多序列融合模块importtorchimporttorch.nnasnnimporttorch.nn.functionalasFclassSimpleScan(nn.Module): 教学版扫描模块 不是严格复现论文的 NSS 但模拟“不同路径展开成不同序列”的思想。 def__init__(self):super().__init__()defforward(self,x):# x: [B, C, H, W]b,c,h,wx.shape# 1. 行优先扫描seq_rowx.flatten(2).transpose(1,2)# [B, HW, C]# 2. 列优先扫描seq_colx.permute(0,1,3,2).contiguous().flatten(2).transpose(1,2)# 3. 反向行扫描seq_row_revtorch.flip(seq_row,dims[1])# 4. 反向列扫描seq_col_revtorch.flip(seq_col,dims[1])return[seq_row,seq_col,seq_row_rev,seq_col_rev]classSSAFusion(nn.Module): 教学版 SSA 用轻量权重对不同序列做融合。 def__init__(self,dim,num_seq4):super().__init__()self.num_seqnum_seq self.weight_gennn.Sequential(nn.Linear(dim*num_seq,dim),nn.GELU(),nn.Linear(dim,dim*num_seq))defforward(self,seqs):# seqs: list of [B, N, C]xtorch.cat(seqs,dim-1)# [B, N, C*num_seq]weightsself.weight_gen(x)# [B, N, C*num_seq]chunkstorch.chunk(weights,self.num_seq,dim-1)scoretorch.stack(chunks,dim0)# [num_seq, B, N, C]scoretorch.softmax(score,dim0)seq_stacktorch.stack(seqs,dim0)# [num_seq, B, N, C]out(score*seq_stack).sum(dim0)# [B, N, C]returnoutclassMaIRBlockLite(nn.Module):def__init__(self,dim):super().__init__()self.scanSimpleScan()self.ssaSSAFusion(dim,num_seq4)self.norm1nn.LayerNorm(dim)self.ffnnn.Sequential(nn.LayerNorm(dim),nn.Linear(dim,dim*4),nn.GELU(),nn.Linear(dim*4,dim))defforward(self,x):# x: [B, C, H, W]b,c,h,wx.shape seqsself.scan(x)fusedself.ssa(seqs)# [B, HW, C]yself.norm1(fused)yyself.ffn(y)yy.transpose(1,2).reshape(b,c,h,w)returnyxclassMaIRLite(nn.Module):def__init__(self,in_ch3,dim32,num_blocks4,scale1):super().__init__()self.scalescale self.headnn.Conv2d(in_ch,dim,3,padding1)self.bodynn.Sequential(*[MaIRBlockLite(dim)for_inrange(num_blocks)])ifscale1:self.tailnn.Sequential(nn.Conv2d(dim,dim*(scale**2),3,padding1),nn.PixelShuffle(scale),nn.Conv2d(dim,in_ch,3,padding1))else:self.tailnn.Conv2d(dim,in_ch,3,padding1)defforward(self,x):featself.head(x)featself.body(feat)outself.tail(feat)ifself.scale1:outoutxreturnoutif__name____main__:# 去噪 / 去模糊 / 去雾示例modelMaIRLite(in_ch3,dim32,num_blocks4,scale1)xtorch.randn(1,3,128,128)ymodel(x)print(Restoration output:,y.shape)# 超分示例sr_modelMaIRLite(in_ch3,dim32,num_blocks4,scale2)lrtorch.randn(1,3,64,64)hrsr_model(lr)print(SR output:,hr.shape)十三、适合哪些人读这篇论文我觉得 MaIR 特别适合下面几类人1. 做图像恢复方向的人尤其是做超分辨率去噪去模糊去雾低层视觉增强这篇论文的思路很值得参考。2. 想研究 Mamba 在视觉任务中怎么落地的人MaIR 不是简单搬运 Mamba而是认真思考了“图像化改造”的问题这一点很有启发性。3. 想做论文复现和技术分享的人这篇论文结构清晰、创新点明确、实验完整非常适合写成 CSDN 技术拆解文。十四、总结MaIR 是一篇很典型的“问题抓得准”的顶级图像算法论文。它没有停留在“把 Mamba 用到图像恢复里”这个层面而是更进一步地问了一个核心问题图像这种二维结构究竟应该怎么序列化才能既保留局部关系又维持空间连续性围绕这个问题论文提出了NSS解决更合理的扫描方式SSA解决多序列之间的有效融合最终它在超分、去噪、去模糊和去雾四类任务上都取得了很强的表现。从研究角度看这篇论文最大的价值在于它提醒我们模型的上限不一定只取决于主干模块本身还取决于你是否尊重了数据本身的结构。如果你最近想分析一篇最近、顶级、又很适合写成 CSDN 技术文的图像算法论文MaIR 真的很值得认真读一遍。