10、论文阅读：基于双阶对比损失解纠缠表示的无监督水下图像增强

前言

在水下环境中拍摄的图像通常会受到颜色失真、低对比度和视觉质量下降的影响。大多数现有的方法通过对合成图像或伪参考进行有监督的训练来解决水下图像增强（UIE）问题。然而，由于合成的配对数据与真实世界数据之间存在固有差异，这些数据无法准确复制真实情况，同时伪参考的数量和质量也有限，这在对真实水下图像进行测试时严重降低了模型的泛化能力和性能。

相比之下，无监督的方法不受配对数据的限制，更加稳健，并在实际应用中具有更大的潜力。

然而，现有的无监督方法无法有效约束网络来训练一个可以适应各种退化情况的模型。
（即目前已有的无监督学习方法在训练网络时，没有足够的约束或指导，使得训练出来的模型无法灵活地适应不同类型的图像退化情况。换句话说，虽然这些方法不需要配对数据，但缺乏有效的约束使得模型在处理不同的图像退化（如颜色失真、对比度低等）时表现不佳，无法做到通用和稳健。这也表明，单靠现有的无监督方法，难以获得在多种环境下都能良好工作的模型。）

受人们常常从对立但互补的角度解决问题这一事实的启发，我们认为去除和生成水层之间存在隐式的合作关系，因为它们可以相互约束并同时促进彼此。

基于上述分析，本文提出了一种基于无监督的UIE新框架，该框架基于解耦表示共同学习水层的生成和去除。具体而言，我们提出了一个双向解耦网络

“双向”的核心在于网络不仅学习如何去除水层（从水下图像到地面图像的转换），还学习如何生成水层（从地面图像到伪水下图像的转换）。这两个方向的学习是相互约束和促进的，通过这种双向的解耦和生成-去除循环，网络可以在两个任务上互相监督，从而提升解耦效果和模型的稳健性。

其中每个单向网络包含一个由水层去除和生成组成的循环，并限制图像在一个循环后保持一致。同时，提出了一种新颖的双阶对比损失，通过利用一阶特征和二阶特征的联合隐式约束来提高解耦能力。大量实验结果表明，该模型在定性和定量评估中均优于现有的最先进方法，且具有较高的处理速度。消融实验的结果也证明了各个组件的有效性。

引言

在过去的几十年中，已经提出了许多方法来增强水下图像，包括传统方法（基于图像的方法和基于模型的方法）、“零样本”方法以及数据驱动的方法（基于监督和无监督的方法）。

基于图像的方法旨在通过平衡颜色、提高对比度和锐化细节来校正每个像素。然而，由于缺乏模型约束，这些方法不足以恢复原始场景，并且在退化严重时可能会失效。

相比之下，基于模型的方法利用了一些先验知识，例如雾线先验和水下暗通道先验。然而，这些方法过于依赖先验的准确性，如果先验与真实情况有较大偏差，则增强方法将失效。

最近，“零样本”方法只使用单个输入图像，并基于一些手工设计的先验来训练一个小的特定图像网络。然而，“零样本”方法在测试时需要大量迭代，这在实际应用中效率较低。

此外，数据驱动算法利用大量数据来近似数据之间的映射，因此与传统方法相比，性能得到了极大的提升。不同于其他低级任务（如图像去雾和低光图像增强），在相同场景下获得非退化的水下图像是不现实的。因此，现有的基于监督的方法通常使用合成数据或伪参考作为训练的折中方法，但这些配对数据都有一些缺陷。对于合成数据，现有的基于物理模型的合成方法忽略了成像过程中许多因素，因此它们对水下多样退化的建模能力有限。因此，在合成数据集上训练的模型在真实场景中由于域偏移而表现出较差的泛化能力。对于伪参考数据，最常用的数据集是UIEB，由50名志愿者对12种增强方法进行评分而得到的，但这并不是真正的真实值。更重要的是，由于配对水下图像数量有限，训练用于多种退化的深度增强模型非常具有挑战性。

相比之下，基于无监督的方法不受配对数据的约束，并且越来越多地应用于各种视觉任务。然而，据我们所知，目前关于无监督的水下图像增强（UIE）的研究非常少。最相似的任务是地面上的无监督图像去雾（UID）。它们主要使用无退化的图像通过一个判别器来引导退化图像的增强，但水下图像的无退化版本是不可用的。此外，与雾霾图像相比，水下图像存在严重的颜色失真，因此直接将UID方法应用于UIE会产生严重的伪影和额外的色调。受到对立但互补的方法的启发，我们认为水层生成和去除是一个内在且有效的约束，它们应该紧密结合在一起。改进水层生成将有利于水层去除，反之亦然。

基于上述分析，我们提出了一种新的基于无监督的UIE框架，该框架基于解耦表示共同训练水层的生成和去除。特别地，我们提出了一个双向解耦网络，其中每个单向网络包含一个水层去除和