【目标检测】——PE-YOLO精读

yolo，暗光目标检测
论文：PE-YOLO

1. 简介

卷积神经网络（CNNs）在近年来如何推动了物体检测的发展。许多检测器已经被提出，而且在许多基准数据集上的性能正在不断提高。然而，大多数现有的检测器都是在正常条件下对高质量图像进行研究。在真实环境中，经常会出现许多糟糕的光照条件，如夜晚、暗光和曝光过度，这些条件会降低图像的质量，影响检测器的性能。

前人的解决方案：…略

本文采用了金字塔增强网络（PENet）和YOLOv3。首先，PENet使用拉普拉斯金字塔将图像分解为四个不同分辨率的组件。然后，我们提出了一个细节处理模块（DPM）来增强图像的细节，该模块由上下文分支和边缘分支组成。此外，我们还提出了一个低频增强滤波器（LEF）来捕获低频语义并防止高频噪声。PE-YOLO采用端到端的联合训练方法，并且只使用正常的检测损失来简化训练过程。我们在低光照物体检测数据集ExDark上进行了实验，结果表明，与其他暗物体检测器和低光照增强模型相比，PE-YOLO取得了先进的结果，在mAP上达到78.0%，在FPS上达到53.6%，可以适应不同的低光照条件下的物体检测。

2. 相关工作

2.1 目标检测

略

2.2 低照图像增强

低光照增强任务的目标是通过恢复图像细节和纠正色彩失真来提高人类的视觉感知，并为如物体检测等高级视觉任务提供高质量的图像。张等人提出了一种名为Kind的模型，它可以通过不同照度的配对图像进行训练，无需地面真实值。郭等人提出了Zero DCE，它将低光照增强任务转化为特定图像的曲线估计问题。吕等人提出了一种多分支低光照增强网络（MBLLEN），该网络在不同级别提取特征并通过多分支融合生成输出图像。崔等人提出了一种名为Illumination Adaptive Transformer (IAT)的模型，通过动态查询学习来构建端到端的Transformer。在低光照增强模型恢复图像细节后，检测器的效果得到了改善。然而，大多数低光照增强模型都很复杂，并且对检测器的实时性能有很大影响。

2.3 恶劣条件下的目标检测

IA-YOLO，该模型通过自适应增强每个图像来提高检测性能。他们提出了一个可微分的图像处理（DIP）模块，用于处理恶劣天气，并使用了一个小型的卷积神经网络（CNN-PP）来调整DIP的参数。在IA-YOLO的基础上，Kalwar等人提出了GDIP-YOLO。GDIP提出了一个门控机制，允许多个DIP并行操作。秦等人提出了检测驱动增强网络（DENet），用于在恶劣天气条件下进行物体检测。崔等人提出了一种用于暗物体检测的多任务自动编码变换（MAET），探索了照明转换背后的潜在空间。

3. 网络

首先，我们使用高斯金字塔将图像I分解为不同分辨率的子图像。然后，我们提出了一个细节处理模块（DPM）和一个低频增强滤波器（LEF）来增强每个尺度的组件。在拉普拉斯金字塔中，每一层都是通过减去上一层的高斯金字塔后上采样得到的。当重构图像时，我们只需要执行（2）的逆操作即可恢复原始的高分辨率图像。这种方法允许我们在保持图像质量的同时，降低图像的复杂性和计算需求。

拉普拉斯金字塔在底部时更关注细节信息，而高层时更关注全局信息。所以提出了细节增强模块和低频增强模块

3.1 细节增强模块

分为上下文模块和边缘细节模块

3.2 低频增强模块

低频组件包含了图像中的大部分语义信息，它们是检测器预测的关键信息。为了丰富重构图像的语义，我们提出了低频增强滤波器（LEF）来捕获组件中的低频信息。我们首先通过卷积层将组件f转换为f。我们使用动态低通滤波器来捕获低频信息，并使用平均池化进行特征过滤，只允许低于截止频率的信息通过。不同语义的低频阈值是不同的。考虑到Inception的多尺度结构，我们使用了大小为1×1、2×2、3×3、6×6的自适应平均池化

4. 实验

数据：ExDark，7363张图像，10种不同的照度条件
训练：608x608，SGD, Batch=8, 30epoch,12个类

首先，将PE-YOLO与其他低光照增强模型进行了比较。由于低光照增强模型缺乏检测能力，他们将使用与PE-YOLO相同的检测器对所有增强后的图像进行实验。他们将mAP的IoU阈值设定为0.5，并展示了性能比较结果。结果发现，直接在YOLOv3之前使用低光照增强模型并不能显著提高检测性能

2，3，4应该都只是图像增强的方法。

虽然增强了图像但是检测指标并不是最好的

和其他暗光检测器的对比
结果显示，PE-YOLO在物体检测中更为准确。与DENet和使用LOL数据集预训练的IAT-YOLO相比，PE-YOLO在mAP上分别提高了0.7%和0.2%，并且PE-YOLO在FPS上也几乎是最高的。这些数据表明，PE-YOLO更适合在暗环境中进行物体检测。

网络结构对比实验
2个增强模块的有效性