【图像压缩感知】论文阅读：Content-Aware Scalable Deep Compressed Sensing

tips： 本文为个人阅读论文的笔记，仅作为学习记录所用。本文参考另一篇论文阅读笔记

Title： Content-Aware Scalable Deep Compressed Sensing

Journal： TIP 2022
代码链接： https://github.com/Guaishou74851/CASNet
文章地址： https://ieeexplore.ieee.org/document/9854112

问题动机

现有的模型驱动深度学习CS方法计算成本高且可扩展性较弱，而深度卷积神经网络在某些方面也有局限。

解决方法

提出了CASNet框架，包含自适应采样率分配、细粒度可扩展性、高质量重建这三部分。
自适应采样率分配 ：利用基于CNN的图像显著性检测器，根据图像内容自适应分配CS比率。
细粒度可扩展 ：可学习的生成矩阵促进可扩展和自适应的采样过程。
高质量重建 ：对传统PDG算法进行改写，将基于凸优化的方法（GD部分）和基于深度网络的方法（PM部分）结合起来进行图像恢复。

本文贡献

1、提出一种内容感知的可扩展网络，称为CASNet，实现分块CS比例分配，并由单个网络处理任意采样率r∈[0,1]下的图像CS任务。据我们所知，这是第一次将CS比率分配、模型可扩展性和展开恢复集成在一起的工作
2、提出采用轻量级CNN自适应检测图像显著性分布，并设计一种块比例聚合（BRA）策略来实现逐块CS比例分配，而不是像以往基于显著性的方法那样使用手工制作的检测函数
3、为CASNet评估提供了两种促进策略和四阶段实施。实验表明，CASNet基于其不同组件和策略之间固有的强兼容性和相互支持，优于最先进的CS方法

整体架构

采样子网

显著性检测

采用CNN作为显著性检测器来评估图像每个位置的显著性，突出不同区域的重要信息

CS比率分配

首先，对原图像进行分块处理。
设计了一种块比例聚合（BRA）策略，具体内容如下：

逐块采样

将原图像按块展开，每个块根据其自适应的观测矩阵，进行采样。

初始化子网

直接按块，使用转置矩阵对数据进行初始化。
这一部分就十分简单。

恢复子网

将传统的PGD算法进行转换，并深度展开：

块梯度下降

引入辅助变量Z，梯度下降部分还是保留传统的。

显著性信息引导近端映射

第二阶段使用了一种称为 U-Net 的网络结构，包含了编码器和解码器模块，以及跳跃连接，这有助于改善图像的恢复质量。
显著性特征图是基于图像内容的重要性生成的，这在网络中用于指导重建过程，以便更好地恢复图像的细节。
采样率映射表显示了根据显著性信息为图像的不同区域分配的采样率。
映射表被扩展以适应 U-Net 的输入尺寸要求。
卷积层和残差块用于处理特征图，上采样和下采样操作用于在不同的尺度上捕获特征。

实验

消融实验

功能特性、时间、参数数对比

性能对比

本文小结

为了全面解决图像CS问题，提出了一种新的内容感知可扩展网络CASNet，该网络试图充分利用传统方法的优点，共同实现自适应CS比例分配、细粒度可扩展性和高质量重建。与以往基于显著性的方法不同，使用数据驱动的显著性检测器和块比聚合（BRA）策略来实现准确的采样率分配。提出了一种统一的可学习生成矩阵，用于生成降低记忆复杂度的采样矩阵。PGD展开恢复子网利用CS比信息和块间关系逐步恢复图像。我们使用基于SVD的初始化方案来加速训练，并使用随机变换增强（RTE）策略来提高网络的鲁棒性。

CASNet的所有参数都可以端到端不加区分地学习，其组件和策略之间具有很强的兼容性和相互支持。此外，考虑了CASNet框架和物理CS系统之间可能存在的差距，并为公平评估和实际部署提供了四个阶段的实施。大量的实验表明，CASNet大大改进了最先进的CS方法的结果，具有高结构效率和深刻的矩阵洞察力。

读者小结

本文还是在追求一种自适应的压缩感知，这是一种更加接近真实环境的情况，追求质量的优化、效率的提升，肯定是值得做的。
但我对其中的一些内容有相当的疑问，在显著性检测部分，需要对真实图像数据（Ground Truth）进行检测，但图像压缩感知本质上追求的还是一个病态的逆成像问题，追求的还是将少量测量的信号恢复成原始数据，因此我的GT数据应该是很难获得的。若没有GT数据，那我又该对谁进行显著性检测呢？
还有，我不确定这个显著性检测的泛化性如何，在训练集上训练完的自适应采样矩阵放到其他数据集中，是否还能达到自适应，若是还需要调整，那是否还是需要GT数据？
既然已有了GT数据，那我又何必还要进行复杂的网络迭代，得到一个结果呢？