Pytorch实现论文：基于多尺度融合生成对抗网络的水下图像增强

简介

简介：提出了一种新型的水下图像增强算法，基于多尺度融合生成对抗网络，名为UMSGAN，以解决低对比度和颜色失真的问题。首先经过亮度的处理，将处理后的图像输入设计的MFFEM模块和RM模块生成图像。该算法旨在适应各种水下场景，提供颜色校正和细节增强。

论文题目：Underwater image enhancement based on multiscale fusion generative adversarial network（基于多尺度融合生成对抗网络的水下图像增强）

论文期刊：International Journal of Machine Learning and Cybernetics

摘要：水下光学成像环境由于其复杂性带来了独特的挑战。 本文介绍了在人造光场景中捕获的水下图像中现有算法的局限性。 我们提出了一种水下人造光优化算法，以使用光线不均匀的图像进行预处理图像，从而减轻光失真的影响。 此外，我们提出了一种新型的水下图像增强算法，基于多尺度融合生成对抗网络，名为Umsgan，以解决低对比度和颜色失真的问题。 Umsgan使用生成对抗网络作为基础框架，并首先通过三个平行分支从降级图像中提取信息，并在每个分支中添加残留的密集块以学习更深的特征。 随后，从三个分支中提取的特征被融合，并由名为RM的重建模块恢复图像的详细信息。 最后，多个损失函数是线性叠加的，对对抗网络进行迭代训练以获得增强的水下图像。 该算法旨在适应各种水下场景，提供颜色校正和细节增强。 考虑到定性和定量方面，我们对所提出的算法进行了全面评估。 实验结果证明了我们方法对多样化的水下图像数据集的有效性。 提出的算法在提高水下图像质量方面表现出卓越的性能，从而在对比度，色彩准确性和细节保存方面取得了重大改进。 拟议的方法表现出有希望的结果，在水下摄影，海洋勘探和水下监视等各个领域提供了潜在的应用。

模型结构

图像预处理

为了解决水下图像中强光源引起的不均匀照明的问题，作者提出了一种照明校正算法，用于图像预处理。 

为了删除不均匀的照明背景，从原始图像I中减去背景图像IBK，以消除背景噪声。 此减法操作导致图像j具有更均匀的亮度分布：

通过滑动窗口计算每个像素的局部背景值，然后从图像中减去这个背景，保留图像中的显著部分。特别是在亮度（V通道）上进行处理，减少了图像的背景噪声，可能有助于提升图像处理任务中的特征提取或目标识别等性能。

生成器架构

生成器主要由MFFEM和RM两个架构组成。先将图像预处理之后的图像分别经过三个不同大小的卷积核进行多尺度的处理，之后传输给后续的两个模块做特征提取等操作。