PR-2021

推荐深蓝学院的《深度神经网络加速：cuDNN 与 TensorRT》，课程面向就业，细致讲解CUDA运算的理论支撑与实践，学完可以系统化掌握CUDA基础编程知识以及TensorRT实战，并且能够利用GPU开发高性能、高并发的软件系统，感兴趣可以直接看看链接：深蓝学院《深度神经网络加速：cuDNN 与 TensorRT》

---

2. 核心思想分析

论文提出了一种基于通道注意力机制和空间图卷积网络的单幅图像超分辨率（Single Image Super-Resolution, SISR）模型，称为 CASGCN（Channel Attention and Spatial Graph Convolutional Network）。其核心思想是通过结合通道注意力机制和空间图卷积网络，增强网络对图像特征的表达能力，解决传统卷积神经网络（CNN）在捕捉全局自相似性和空间相关性方面的局限性。

• 通道注意力机制：通过对不同通道的特征进行加权，突出重要特征，抑制次要特征，从而提高特征提取的针对性。
• 空间图卷积网络：利用图结构建模图像像素之间的全局空间相关性，突破传统CNN固定感受野的限制，捕捉图像中的非局部自相似性。
• 多尺度特征提取：通过预处理模块提取不同尺度的特征，增强模型对复杂纹理和结构的适应能力。
• 全局融合策略：通过融合多个CASG模块的中间输出，保留长期信息，提高重建质量。

论文强调通过动态生成的邻接矩阵（基于Gram矩阵）实现全局感受野，而无需额外参数，降低计算复杂度，同时结合残差学习和全局融合策略，进一步提升性能。

---

3. 目标函数分析

论文的目标函数旨在最小化重建图像 $I_{SR}$ 与高分辨率真实图像 $I_{HR}$ 之间的差异，采用 L1损失函数，其数学表达式如下：

$$\underset{\theta }{\min }L(\theta )=\frac{1}{N}\sum _{i=1}^N{\Vert {\mathcal{F}}_{\text{CASGCN}}(I_{LR}^i;\theta )-I_{HR}^i\Vert }_1$$

• 符号说明：

  • $\theta$：网络参数集合。
  • $N$：训练样本数量。
  • $I_{LR}^i$：第 $i$ 个低分辨率输入图像。
  • $I_{HR}^i$：对应的第 $i$ 个高分辨率真实图像。
  • ${\mathcal{F}}_{\text{CASGCN}}$：CASGCN网络的映射函数，从低分辨率图像生成超分辨率图像。
  • ${\Vert \cdot \Vert }_1$：L1范数，表示像素级绝对误差。

• 选择L1损失的理由：

  • L1损失相比L2损失更能减少模糊效应，生成更锐利的图像。
  • L1损失对异常值不敏感，训练更稳定。
  • 论文提到，L1损失在先前工作中（如EDSR、RDN）已被证明有效，因此沿用此损失函数以保持一致性。

---

4. 目标函数的优化过程

优化过程通过最小化上述L1损失函数来更新网络参数 $\theta$，具体步骤如下：

1. 优化器：

   • 使用 ADAM优化器，参数设置为 ${\beta }_1=0.9$，${\beta }_2=0.999$，$ϵ=10^{-8}$。
   • ADAM通过自适应地调整学习率，加速梯度下降收敛，适合深层神经网络的优化。

2. 学习率策略：

   • 初始学习率设为 $10^{-4}$。
   • 每 $2\times 10^5$ 次迭代，学习率减半，以逐步细化参数更新。
   • 这种学习率衰减策略有助于模型在早期快速收敛，后期稳定优化。

3. 训练设置：

   • 数据增强：对800张训练图像进行随机旋转（90°、180°、270°）和水平翻转，增加数据多样性。
   • 批量处理：每个训练批次包含16个大小为 $32\times 32$ 的低分辨率彩色图像块。
   • 迭代次数：通过多次迭代（具体次数未明确，但提到200个epoch用于消融实验），优化网络参数。

4. 实现平台：

   • 使用 PyTorch 框架，运行在 Titan V GPU 上，确保高效计算。

5. 几何自集成（Geometric Self-ensemble）：

   • 在测试阶段，采用自集成策略，通过对输入图像进行8种几何变换（翻转和旋转），生成多个增强输入，分别通过网络预测后逆变换并融合结果，进一步提升性能。

优化过程的核心是通过梯度下降迭代更新网络参数，使L1损失最小化，从而提高重建图像的质量。残差学习和全局融合策略的引入进一步缓解了深层网络的训练难度，增强了梯度传播。

---

5. 主要贡献点

论文的主要贡献点包括以下几个方面：

1. 提出CASGCN模型：

   • 设计了一种新颖的通道注意力与空间图卷积网络（CASGCN），通过结合通道注意力机制和图卷积网络，增强特征表达能力，捕捉全局自相似性。

2. 开发CASG模块：

   • 提出通道注意力与空间图（CASG）模块，包含通道注意力单元（CA）和空间感知图单元（SG）。
   • 通道注意力单元通过加权机制突出重要特征；空间图单元通过图卷积层建模空间相关性。
   • 动态生成邻接矩阵（基于Gram矩阵），无需额外参数即可实现全局感受野。

3. 多尺度特征提取与全局融合：

   • 引入预处理模块，通过不同卷积核（3×3、5×5）提取多尺度特征。
   • 采用全局融合策略，融合多个CASG模块的中间输出，保留长期信息。

4. 优异的实验表现：

   • 在多个标准数据集（如Set5、Set14、BSD100、Urban100、Manga109）上，CASGCN在双三次（BI）和模糊降采样（BD）退化模型下均表现出色，优于或媲美现有最先进方法。
   • 特别是在大尺度因子（如×8）下，CASGCN+表现最佳，显示出强大的细节恢复能力。

5. 模型效率：

   • 与其他高性能模型（如RDN、RCAN）相比，CASGCN参数量更少，性能更高，实现了性能与模型大小的良好权衡。

---

6. 实验结果分析

实验在多个标准数据集上进行，评估指标包括 PSNR（峰值信噪比）和 SSIM（结构相似性），测试了双三次（BI）和模糊降采样（BD）两种退化模型。以下是关键结果的总结：

6.1 双三次（BI）退化模型

• 数据集：Set5、Set14、BSD100、Urban100、Manga109。
• 比较方法：包括SRCNN、FSRCNN、MemNet、DBPN、EDSR、RDN、NLRN、RCAN、HDRN、RFANet。
• 结果：
  • CASGCN和CASGCN+（自集成版本）在所有尺度（×2、×3、×4、×8）上均表现优异，PSNR和SSIM值达到最佳或次佳。
  • 尤其在×8尺度下，CASGCN+显著优于其他方法，表明其在恢复高倍率超分辨率图像细节方面的优势。
  • 例如，在Manga109数据集上，CASGCN+在×8尺度下PSNR达到23.48，优于其他方法的23.16–23.40（表3）。

6.2 模糊降采样（BD）退化模型

• 数据集：与BI模型相同，尺度为×3。
• 比较方法：SPMSR、SRCNN、FSRCNN、VDSR、IRCNN、SRMD、RDN、RCAN、RFANet。
• 结果：
  • CASGCN+在大多数数据集上PSNR和SSIM值最高，显示出对复杂退化场景的适应性。
  • 视觉结果（图8）表明，CASGCN能有效减少模糊伪影，恢复更锐利的边缘，优于基于插值输入的方法。

6.3 消融实验

• 预处理模块：与残差块、稠密块、Inception模块相比，预处理模块在Set14数据集上PSNR更高（如×2尺度下34.02 vs. 33.87–33.93，表1）。
• CASG模块：通道注意力与图卷积的并行组合优于单独使用或非局部块（表2）。
• 全局融合：添加预处理模块、CASG模块和全局融合后，PSNR逐步提升，验证了各组件的有效性（表3）。

6.4 模型大小比较

• CASGCN参数量少于RDN和RCAN，但性能更高（图9），在Set5数据集上×3尺度下PSNR达到34.22，优于MemNet、DBPN、NLRN。

6.5 视觉效果

• 在BI退化模型下（图7），CASGCN恢复的细节更丰富，例如在Urban100的“img067”图像中恢复了更多纹理细节。
• 在BD退化模型下（图8），CASGCN减少了模糊伪影，边缘更清晰，显示出对复杂退化的鲁棒性。

---

7. 算法实现过程详细解释

CASGCN的实现过程可以分为网络结构设计、前向传播、训练和测试四个部分，以下逐一详细说明。

7.1 网络结构

CASGCN由三个主要部分组成（图2）：

1. 预处理模块：

   • 输入低分辨率图像 $I_{LR}$，通过标准卷积层生成初始特征图 $H_0$：
     $$H_0={\mathcal{F}}_0(I_{LR})$$
   • 预处理模块采用双分支结构，分别使用3×3和5×5卷积核提取不同尺度特征，类似Inception架构：
     $$H_{\text{pre}}={\mathcal{F}}_{\text{pre}}(H_0)$$
   • 两个分支的特征通过共享信息，增强多尺度特征表达。

2. CASG模块：

   • 由 $N$ 个CASG块堆叠组成，每个CASG块包含通道注意力单元（CA）和空间感知图单元（SG）。
   • 通道注意力单元：
     • 采用类似SE块的结构，通过全局平均池化压缩空间维度，生成通道描述符。
     • 使用全连接层和Sigmoid激活函数生成通道权重，重新缩放特征图：
       $$H_{\text{CA}}=\sigma (W_2\cdot \text{ReLU}(W_1\cdot \text{GAP}(H)))\cdot H$$
       其中 $\text{GAP}$ 为全局平均池化，$W_1$、$W_2$ 为全连接层参数，$\sigma$ 为Sigmoid函数。
   • 空间感知图单元：
     • 将特征图视为图结构，节点为像素，边由邻接矩阵定义。
     • 动态计算邻接矩阵 $A$，使用Gram矩阵捕捉特征间的空间相关性：
       $$A=\text{softmax}(H^{T}H)$$
       其中 $H$ 为展平后的特征图，$\text{softmax}$ 归一化相关性。
     • 图卷积操作更新节点特征：
       $$H_{\text{SG}}=A\cdot H\cdot W$$
       其中 $W$ 为可学习的权重矩阵。
   • CA和SG单元的输出并行融合，形成CASG块输出：
     $$H_{\text{CASG}}=\text{Concat}(H_{\text{CA}},H_{\text{SG}})$$
   • 采用残差学习缓解训练难度：
     $$H_{LR}={\mathcal{F}}_{\text{CASG}}(H_{\text{pre}})+H_0$$

3. 上采样模块：

   • 使用子像素卷积或转置卷积将 $H_{LR}$ 上采样至目标分辨率：
     $$I_{SR}={\mathcal{F}}_{\text{up}}(H_{LR})$$

4. 全局融合：

   • 多个CASG块的中间输出通过拼接融合，保留长期信息：
     $$H_{\text{fusion}}=\text{Concat}(H_1,H_2,\dots ,H_N)$$

7.2 前向传播

• 输入 $I_{LR}$，通过预处理模块生成 $H_{\text{pre}}$。
• $H_{\text{pre}}$ 依次通过 $N$ 个CASG块，每个块计算通道注意力和空间图卷积，融合后输出 $H_{LR}$。
• $H_{LR}$ 通过上采样模块生成超分辨率图像 $I_{SR}$。
• 计算 $I_{SR}$ 与 $I_{HR}$ 的L1损失，驱动网络优化。

7.3 训练

• 数据准备：使用800张图像，增强后生成 $32\times 32$ 的LR图像块。
• 优化：通过ADAM优化器最小化L1损失，学习率从 $10^{-4}$ 逐步衰减。
• 实现细节：使用PyTorch在Titan V GPU上训练，批大小为16。

7.4 测试

• 自集成：对测试图像应用8种几何变换，生成增强输入，分别预测后逆变换并平均。
• 评估：在标准数据集上计算PSNR和SSIM，比较视觉质量。

---

8. 总结

这篇论文通过提出CASGCN模型，结合通道注意力机制和空间图卷积网络，显著提升了单幅图像超分辨率的性能。其核心在于动态邻接矩阵、多尺度特征提取和全局融合策略，有效捕捉全局自相似性和通道重要性。实验结果验证了其在BI和BD退化模型下的优越性，尤其在大尺度因子下表现突出。算法实现清晰，训练和测试过程高效，模型在性能和参数量之间取得了良好平衡，为SISR领域提供了新的研究思路。