论文阅读 | Rethinking Coarse-to-Fine Approach in Single Image Deblurring

前言：ICCV2021图像单帧运动去糊论文
论文地址：【here】
代码地址：【here】

Rethinking Coarse-to-Fine Approach in Single Image Deblurring

引言

图像去糊来自与物体或相机的运动。现有的deblur领域的深度学习方法大多都是coarse-to-fine的架构，这样的确在性能上取得了一定的成功，但是占用了内存，计算量大。因此，提出一种轻量级的方法很有必要，目前还没有性能超过SOTA的轻量级网络
因此，本文提出了一种基于coarse-to-fine的MIMO-UNet网络，由encoder ，multi-input single encoder (MISE)，decoder multi-output single decoder (MOSD)，asymmetric feature fusion (AFF)的设计构成

相关工作

以下四幅图可以简单概括现有去糊方法的思路

第一、二张图，利用多尺度的Input构建多尺度的学习网络，第一张图在粗尺度上为细尺度提供信息，第二张图在此基础上，设计成了UNet网络，加了跳跃连接，并share大部分参数，第三张图，是在相同的尺度下，但是进行多次去糊操作，第四章图为本文设计。可见，不管是哪种方案，对计算量和运行时间的消耗都是比较大的

方法

pipeline

其中，值得注意的设计是SCM模块 粗尺度下绿色方块feature attention module，FAM处理，AFF不对称的特征融合asymmetric feature fusion

1. SCM模块
   首先SCM模块为简单的浅层conv堆叠，为了提取深层尺度特征，设计如下
   
2. feature attention module，FAM

FAM特征注意力用到了矩阵乘法

文章中对FAM模块的解释如下

Here, we exploit a feature attention module (FAM) to actively emphasize or suppress the features from the previous scale and learn the spatial/channel importance of the features from SCM.

5. AFF

作者介绍到，大多数coarse-to-fine的特征信息流动都是从粗流到细，特征流动并不灵活，因此作者提出了一种非对称的特征融合方式

损失函数
由于是多尺度的学习方式，因此损失函数也是在不同尺度构建，每一层通过一个conv层引导输入
除了L1损失，作者还引入了一个频率重建损失来引导高频分量的保护和还原

实验

对比实验

消融实验
FAM

频率损失MSFR和AFF

检测性能验证
去糊了之后有利于检测

总结

文章写的很好，尤其是related work 对现有去糊任务总结的四幅图，简单清晰明了，让我一下子省了好多看综述的时间，网络的设计也不复杂，基本上看一遍论文就大概能复现个七八十（我就很喜欢读这样的文章…泪目了），其中的一些设计也给了我很多启发