计算机视觉——day 92 基于跨领域协作学习的单图像去雨

1. Introduction

深度卷积神经网络(DCNN)在图像解析任务中取得了优异的性能。然而，目前的大多数方法都将雨带(rain streak)的去除视为一对一的问题，往往忽略了不同合成数据集的域内偏移。因此，在一个合成数据集上训练的脱轨模型不能有效地去除其他合成数据集的雨带。

为了解决这一问题，本文提出了一个跨领域协同学习(CDCL)框架，以最小化域内移动和域间差距。

首先，提出了一种基于协同学习的双分支脱轨网络来消除图像雨纹在合成域内的分布偏移;然后，设计了一种跨域伪标签生成(CDPLG)方法，为真实雨域图像获取更准确、更鲁棒的伪标签，并利用在线生成的伪标签训练双分支脱轨网络，减小合成域与真实域的域差;在公共基准数据集(包括合成数据集和真实数据集)上进行了大量的实验，实验结果表明，我们提出的框架与目前最先进的模型相比具有良好的性能。

首先，图1(a)所示的真实雨纹与合成雨纹在分布上存在一定的差异。从图1(a)中可以看出，真实的雨屏图像与合成的雨屏图像相比具有多个方向，这导致合成的雨屏图像在真实的雨屏图像中不能包含足够大的雨屏条纹分布范围。

其次，现有的降雨去除模型只考虑了合成域与真实域之间的域间差距，忽略了不同合成数据集上的域内偏移，如图1(b)所示。从图1(b)可以看出，来自不同合成数据集的两幅雨像的密度和方向有很大的不同。

此外，我们还对三个不同的合成数据集进行了简单的实验，验证了由于合成域内的域内移动而导致的降雨去除的影响。实验结果如表1所示。

由表1可知，在一个合成数据集上训练的降雨去除模型在另一个合成数据集上测试时，由于合成数据集的域内移位，不能得到满意的结果。需要注意的是，雨水去除模型与本文的单支脱轨网络结构相同。

在公共基准数据集(包括合成数据集和真实数据集)上进行的大量实验表明，与目前最先进的全监督和半监督单图像解列模型相比，我们提出的框架是有效的。

3. Proposed method

如图2所示，来减小不同合成域之间的域内偏移和合成域与实域之间的域间间隙。该模型主要包括网络结构、标记合成域协作学习、无标记实域协作学习和综合损耗函数。

3.1 网络架构

雨图像可以建模为背景图像与雨纹信息的线性求和，表示为:

o = b + r （1）

式中，o为原始雨纹图像，b为背景图像，r为雨纹信息。

如何设计一个健壮的雨纹学习网络，更好地学习合成雨型和真实雨型，对于提高单幅图像解析模型的性能至关重要。为了解决这一问题，本文提出了雨纹学习网络(RSL)。

式(1)还可以转化为:

b = o− RSL(o) （2）

为了提高雨纹的表达能力，我们构造了多尺度注意剩余块(MSARB)。

两个单支脱轨网络包含相同的结构参数，如表3所示

4. Experiments and results

4.1 数据集和指标

我们选择了三个合成数据集，包括Rain200L (Yang et al.， 2017)、Rain1200 (Zhang & Patel, 2018)和Rain1400 (Fu et al.， 2017)，以及一个真实的图像解列数据集来评估我们的CDCL框架用于图像解列的性能。

Rain200L数据集(Yang et al.， 2017)在训练集中包含1800幅合成图像对，在测试集中包含200幅图像对。

Rain1200数据集(Zhang & Patel, 2018)包括12,000对用于训练的图像和1200对用于测试的图像。

Rain1400数据集(Fu et al.， 2017)由12,600对用于训练的合成图像和1400对用于测试的合成图像组成。

真实图像解析数据集(Wang et al.， 2019)包含1000幅真实的雨天图像。四个公共数据集的详细信息如表4所示。

此外，采用峰值信噪比(PSNR) (Huynh-Thu & Ghanbari, 2008)和结构相似度(SSIM) (Wang et al.， 2004)来评价模型性能。

4.3 合成图像的结果

Rain200L、Rain1200和Rain1400的定性结果分别如图4和图5所示。从图4和图5可以看出，所提出的有监督和半监督的CDCL具有更高的定性性能，特别是在图4和图5中以红色线框标记的部分局部区域。因此，可以断言，我们提出的框架性能优于最先进的监督和半监督图像去雨模型。

如表5所示，我们提出的模型在Rain200L、Rain1200和Rain1400上获得了较好的性能，与其他监督图像去核模型相比。此外，与其他半监督图像解算方法相比，我们提出的模型在无标签合成数据下获得的SSIM和PSNR值也取得了更高的结果。

4.8 建模复杂度和运行时间

在本节中，我们将所提模型的参数和时间复杂度与最先进的监督和半监督图像解推理模型进行比较。各模型的实验结果见表12。

该模型在参数和时间复杂度方面都达到了可接受的性能，这表明该方法可以在可接受的计算代价下获得令人满意的解算结果。

5. Conclusion

在本文中，我们提出了一种跨领域的协作学习方法来完成单个图像的解析任务。首先，提出了一种基于MSARB的双分支脱轨网络，通过协作学习消除图像雨纹在合成域内的分布偏移;然后，利用在线生成的伪标签对双分支脱轨网络进行训练，减小合成域与实域之间的域差;在多个数据集上的大量实验表明，基于标记合成域和无标记实域的协同学习方法有效地提高了网络模型的降雨去除泛化能力。与现有的基于单个合成域雨纹信息的半监督雨纹去除方法相比，我们提出的方法充分利用了不同合成雨纹的多样性和互补性，更好地实现了从合成域到实际域的知识脱轨转移。然而，该模型对真实雨型信息的适应能力仍然不足。未来，我们将设计一个雨纹学习网络，以便更好地模拟真实雨纹信息的方向和密度。