HINet技术要点

        《HINet: Half Instance Normalization Network for Image Restoration》发表于CVPR2021，是旷视科技&复旦大学&北大在图像复原方面的的最新进展，所提方案取得了NTIRE2021图像去模糊Track2赛道冠军。

        下面谈谈该文章的主要技术点。

1. HIN（Half Instance Normalization） Block

        与resblock相比，主要差别在于：HIN对输入3*3conv处理的特征按照通道分成两部分，一部分采用IN进行规范化，另一部分无规范化，处理后的两部分沿着通道维度进行拼接。HIN模块在一半通道上进行IN处理，通过另一半保持上下文信息，这种操作对于浅层特征更为友好。

2. SAM（Supervised Attention Module）

        就是个带监督的自注意力模块。MPRNet 中提到 SAM 的作用有：“首先，它在每个阶段提供了对渐进图像恢复有用的真实监控信号。其次，在局部监督预测的帮助下，生成 attention map 抑制当前阶段信息量较少的特征，只允许有用的特征传播到下一阶段。”

3. CSFF（Cross-stage feature fusion） Block

        跨阶段特征融合，是用来融合不同大小的 attention map 的。在HINet中有两个UNet结构，CSFF可以将不同语义级别的信息融合在一起。MPRNet中提到CSFF的作用有：“第一，由于在编码器-解码器中重复使用上采样和下采样操作结果，使得网络不容易受到信息丢失的影响。第二，一个阶段的多尺度特征有助于丰富下一个阶段的特征。第三，网络优化过程变得更加稳定，因为它简化了信息流动，从而允许我们在整个体系结构中增加几个阶段。”

        小结下，对 low-level 模型部署而言用不到这么大的网络，半实例归一化的操作也没法用，另外SAM和CSFF作用也不大。不过两级网络设计的思想，还是比单纯堆模块或者增加网络尺寸和通道这样的方式有效果。原因方面还是在于 low-level 比较依赖浅层信息，两级网络中的第一级输出控制在较浅的信息，然后再经过一个 U-Net 操作，效果就上来了。