【Block总结】SAFMN，空间自适应调制与局部特征增强的协同设计|即插即用

论文信息

• 标题：Spatially-Adaptive Feature Modulation for Efficient Image Super-Resolution
• 论文链接：https://arxiv.org/pdf/2302.13800
• 代码与模型：https://github.com/sunny2109/SAFMN
  

---

创新点

1. 空间自适应特征调制（SAFM）：通过独立计算多尺度特征并动态聚合，实现非局部特征依赖的高效建模[6][8]。
2. 卷积通道混合器（CCM）：在SAFM基础上补充局部上下文信息，同时完成通道混合，提升局部特征表达能力[6][13]。
3. 轻量化设计：模型参数量仅为同类高效超分方法（如IMDN）的1/3，内存占用更低，适用于低功耗设备[6][9]。

---

方法

整体架构：

1. 特征提取：使用卷积层将低分辨率图像映射到特征空间。
2. 特征混合模块（FMM）：由SAFM和CCM组成，堆叠多个FMM模块进行特征增强。
3. 重建模块：通过上采样生成高分辨率图像[6][10][16]。

核心模块细节：

• SAFM层：
  • 通过多分支结构学习不同尺度特征，动态调整空间权重以融合全局信息。
  • 类似ViT的非局部建模能力，但计算复杂度更低[10][13]。
• CCM模块：
  • 使用深度可分离卷积提取局部特征，减少参数量。
  • 引入通道注意力机制优化特征通道关系[6][13]。

---

效果与实验结果

定量评估：

• 在Set5、Set14等基准数据集上，SAFMN在PSNR/SSIM指标上与IMDN等模型相当，但参数量减少70%[6][9]。
• 在NTIRE2023高效超分挑战赛中：
  • 基础版SAFMN获整体性能赛道Top6，模型复杂度赛道Top3[7]。
  • 改进版SAFMN++在NTIRE2024挑战赛的保真度赛道排名第一[7]。

效率优势：

• 参数量：SAFMN为0.95M，IMDN为3.2M[6][9]。
• 内存占用：相比IMDN减少50%，适合移动端部署[6][8]。

---

总结

SAFMN通过空间自适应调制与局部特征增强的协同设计，在超分任务中实现了精度与效率的平衡。其轻量化特性使其在低功耗设备（如手机、嵌入式系统）中具有实际应用潜力。后续改进版本（如SAFMN++）进一步验证了该框架的可扩展性[7][17]。

代码

import torch
import torch.nn as nn
import torch.nn.functional as F# Spatially-Adaptive Feature Modulation
class SAFM(nn.Module):def __init__(self, dim, n_levels=4):super().__init__()self.n_levels = n_levelschunk_dim = dim // n_levels# Multiscale feature representationself.mfr = nn.ModuleList([nn.Conv2d(chunk_dim, chunk_dim, 3, 1, 1, groups=chunk_dim, bias=False) for i in range(self.n_levels)])# Feature aggregationself.aggr = nn.Conv2d(dim, dim, 1, 1, 0, bias=False)# Activationself.act = nn.GELU()def forward(self, x):h, w = x.size()[-2:]xc = x.chunk(self.n_levels, dim=1)out = []for i in range(self.n_levels):if i > 0:p_size = (h//2**(i+1), w//2**(i+1))s = F.adaptive_max_pool2d(xc[i], p_size)s = self.mfr[i](s)s = F.interpolate(s, size=(h, w), mode='nearest')else:s = self.mfr[i](xc[i])out.append(s)out = self.aggr(torch.cat(out, dim=1))# Feature modulationout = self.act(out) * xreturn outif __name__ == "__main__":if __name__ == '__main__':# 定义输入张量大小（Batch、Channel、Height、Wight）B, C, H, W = 1, 64, 40, 40input_tensor = torch.randn(B, C, H, W)  # 随机生成输入张量# 初始化 SAFMdim = C  # 输入和输出通道数# 创建 SAFM 实例block = SAFM(dim=dim)# 如果GPU可用将模块移动到 GPUdevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")sablock = block.to(device)print(sablock)input_tensor = input_tensor.to(device)# 执行前向传播output = sablock(input_tensor)# 打印输入和输出的形状print(f"Input: {input_tensor.shape}")print(f"Output: {output.shape}")

输出结果：