图像去雨、去雪、去雾论文学习记录

All_in_One_Bad_Weather_Removal_Using_Architectural_Search

这篇论文发表于CVPR2020，提出一种可以应对多种恶劣天气的去噪模型，可以同时进行去雨、去雪、去雾操作。但该部分代码似乎没有开源。
提出的问题：
当下的模型只能针对一种恶劣天气进行处理，无法适用于多种复杂恶劣天气
目前的去噪数据集都是人为制作的，与真实数据具有差异。

创新点1：多合一去噪模型

该方法整体结构如下图所示，其基于对抗神经网络模型进行设计，包含一个生成器(Generator)与一个判别器(Discriminator)。于以往只能处理一种恶劣天气噪声不同，本文提出一种多合一去噪模型，可以同时完成去雨、去雪、去雾操作。

在生成器中，主要包含三个特征提取模块（雨雪雾 FE，Feature Exactor)，一个特征选择模块(Feature Search)以及一个解码器模块（Decoder)，判别器则进行判断生成的图像是否为真，并将结果返回到生成器，计算损失，并通过反向传播更新生成器中的参数。

生成器含有多个任务的编码器，每个编码器与特定的恶劣天气类型相关，通过神经架构搜索来优化从各个编码器中提取的图像特征，并将这些特征转换为干净的图像。即思路为：将含有雨雪雾的图像输入生成器，通过生成器中的编码器（FE)进行特征提取，将提取的特征通过神经架构搜索进行优化，选取好的特征信息，将提取的特征信息送入解码器生成干净图像，即完成去噪过程。

生成器模块

多个编码器，用于提取不同恶劣天气图像的干净特征，从而进行恢复，生成干净图像。

创新点2：Feature Search模块

神经架构查询实际是找到干净的特征，将干净的特征转换为干净的图像。

可以看到，FeatureSearch模块中除了常规的卷积操作外，还有残差连接，自注意力机制等。
常规的去雾、去霾模型定义如下：

也可以表示如下：通过1x1卷积来提取学习M，从而估计M，实现的操作如4.1所示。

创新点3：多类辅助判别器

基于生成对抗网络（GNN)的判别器通过训练来判断恢复图像效果（即判断生成的图像真实性），但其不提供错误信号，对于多合一模型而言，只知道真假是远远不够的，需要直到生成的图像类型，从而使编码器根据不同类型更新参数，因此提出多类辅助判别器，用于对图像进行分类，从而在反向传播判别损失时，只更新对应判别器的参数。

具体思路

雾霾图像建模

其中，I(x)为有雾图像，更具体的，I(x)是在位置x的雨图像，J(x)为观察目标反射光，即去雾后的图像，A为大气光系数，t(x)为大气透射率，t(x)= e^-βd(x)，其中，d(x) 为场景深度图，β 为大气光散射系数。由公式（1）式可以清晰知道，只要求得 t(x) 和 A ，便可以从有雾图像 I(x) 恢复无雾图像 J(x) 。

而含雨图像与含雾图像的物理模型极为相似，故可以定义为：

其中，Ri代表第 i 层的雨线。

雨水图像建模

其中I(x)是彩色雨滴图像，M(x)是二值图像掩膜。J(x)是背景图像，即干净图像，K是图像所带来的附着的雨滴，代表着模糊的影像形成光线反射的环境。

雪花图像建模

其中S表示雪花，z是二元掩模，表示雪的位置。

根据上面的物理模型公式可知，不同恶劣天气噪声图像定义是不同的，这也是为何原本的模型都是一个模型处理一种恶劣天气噪声的原因，但根据公式我们也可以看到其内在联系，可以将恶劣天气噪声图像模型定义如下：