【论文阅读03】用于海洋物体检测的多注意力路径聚合网络

来源：用于海洋物体检测的多注意力路径聚合网络 |应用智能 (springer.com)

   

一、背景：

        水下图像存在偏色、对比度低、能见度低等问题，使得海洋物体难以被探测到。这些都增加了海上目标探测的难度。

        目前流行的检测器方法是基于卷积神经网络，不同层次的卷积层提取不同的尺度特征。特征金字塔网络(FPN)是目前目标检测器中最流行的网络结构。

        FPN是一种利用CNN模型提取图像中各维度特征的有效方法。

        路径聚合网络(PAN)在FPN骨干网的基础上增加了自下而上的路径增强。FPN框架可以充分利用和增强不同规模的特征层。

CNN与FPN:

卷积网络中，随着网络深度的增加，特征图的尺寸越来越小，语义信息也越来越抽象。浅层特征图的语义信息较少，目标位置相对比较准确，深层特征图的语义信息比较丰富，目标位置则比较粗略，导致小物体容易检测不到。FPN的功能可以说是融合了浅层到深层的特征图 ，从而充分利用各个层次的特征。

FPN与PAN

        FPN和PAN都是用于解决目标检测中多尺度问题的重要网络结构，它们通过构建特征金字塔来提取不同尺度下的目标特征，从而提高检测精度。

        FPN的核心思想是通过自顶向下和自底向上的路径来构建特征金字塔，并通过横向连接来融合不同层级的特征图。PAN则是在FPN的基础上进一步发展，增加了自底向上的路径。与FPN相比，PAN中的特征融合方式能够更好地保留低分辨率特征图中的细节信息，从而提高分割的准确性。

经典去雾算法--暗通道先验去雾(DCP)_暗通道先验去雾算法-CSDN博客

                                                        PAN网络结构

        但是，不同尺度的特征融合会产生大量的冗余特征。此外，FPN框架的特征融合采用固定的方法，导致不同粒度的特征融合效率较低[17]。为了克服这些缺点，本文提出了多重关注。这样，海洋目标检测可以更有效地进行特征融合，提高检测精度。

        本文提出了一种新的多注意路径聚合网络来实现海洋目标检测。

        首先，构建基于多尺度特征金字塔的路径聚合网络结构;我们将骨干网的顶层特征与自下而上的路径聚合网络相结合。这增强了对原始语义信息的提取。多尺度网络结构有利于图像中包含多个不同大小目标的目标检测。然后，提出了一种多关注的方法，进一步提高了海洋目标检测的精度。多注意是坐标竞争注意和空间补充注意的结合。

        坐标竞争注意使语义信息流和空间信息流相互竞争，相对考虑每个特征图的全局信息。空间补充注

        为了进一步提高海洋目标检测的精度，我们提出了一种多注意力的方法。多注意力综合考虑了语义信息流和空间信息流中的全局信息和局部信息。不同层次特征的全局信息和局部信息相互补充，有助于不同尺度的特征提取。通过特征融合，多关注有利于多目标和小目标的检测。

        我们提出了一种水下图像增强方法来增强水下图像数据集。采用基于双传输图的图像去雾算法和对比度限制自适应直方图均衡化(CLAHE)方法对水下图像进行增强。特殊的水下成像环境造成的水下图像模糊，使得人类视觉无法分辨海洋物体。水下图像增强提高了视觉质量，实现了较好的水下目标检测精度。此外，在实验中讨论了图像增强对目标检测的影响。

二、基础知识拓展：注意力机制

        当一个场景进入人类视野时,往往会先关注场景中的一些重点,如动态的点或者突兀的颜色,剩下的静态场景可能会暂时性的忽略。注意力机制能够以高权重去聚焦重要信息,低权重去忽略不相关的信息,并且还可以不断调整权重,使得在不同的情况下也可以选取重要的信息,因此具有更高的可扩展性和鲁棒性。

        注意力机制从一开始就就因其独特的思想深受广泛学者的喜爱,通过实验研究将其进行拓展应用于多种情景。注意力机制与传统算法的简单结合就可以提高系统的性能,因此注意力机制的提出对深度学习许多结构都有着性能提高的作用。

二、模型介绍：网络结构、多关注模型和图像增强三个部分

2.1FPN中的基础网络

        算法利用Darknet作为主干网络从输入图像中提取特征。Darknet具有网络结构轻量化和适合实时检测的优点。

2.2多注意力机制

                     多注意力模块的位置

        在深度学习中，FPN和PAN通过特征融合来增强模型对不同尺度目标的检测能力。然而，这种融合通常是基于静态权重的，可能不会动态地调整不同信息流的重要性。引入多注意力机制可以提供一种动态调整语义信息流和空间信息流之间权重的方法。

2.3海洋目标数据集的图像增强

经典去雾算法--暗通道先验去雾(DCP)_暗通道先验去雾算法-CSDN博客z

图片的增强效果可以用RGB通道的直方图来进行结果展示

三、训练与结果分析：

        为了验证本文所提方法的有效性，给出了多组对比实验。首先，在四类水下图像数据集上进行了实验，包括与常用目标检测器的对比实验、消融实验、多注意验证实验和图像增强实验。在20类PASCAL VOC数据集上进行实验，验证了该方法不仅在水下数据集上具有良好的性能，而且适用于标准数据集。

        用mAP(%)和FPS来衡量结果。

四、论文亮点与学习总结：

1.注意力机制：注意力机制能够帮助模型更加专注于图像中的关键区域，从而提高目标检测的准确性和效率。

2.DCP经典去雾用于图像增强

3.变小是下采样 ，变大是上采样

上采样（Upsampling）是将低分辨率的图像或特征图放大至高分辨率的过程。

下采样（Downsampling）则是将高分辨率的图像或特征图降低至低分辨率的过程。

4.FPN和PAN的内容及区别（修改版1.2）-CSDN博客5

5.

多尺度检测（Multi-scale Detection）是一种在目标检测任务中用于提高模型对不同大小目标识别能力的技术。在现实世界中，物体可以在图像中以不同的尺寸出现，而传统的目标检测模型可能只对特定尺寸的物体检测效果较好。多尺度检测通过以下方式来解决这个问题：

1. 特征金字塔：构建一个特征金字塔，每个层级代表不同的分辨率，这样模型就可以在不同的尺度上检测目标。例如，FPN（特征金字塔网络）就是一种构建特征金字塔的结构。

2. 尺度锚框：为每个目标生成多个不同尺寸的锚框（anchor boxes），这样在训练时模型就可以学习到在不同尺度上检测目标。

3. 多尺度训练：在训练过程中使用不同尺寸的图像输入，使模型能够学习到不同尺寸的特征表示。

4. 上采样和下采样：通过上采样和下采样技术，调整特征图的尺寸，以便于在不同尺度上进行目标检测。

5. 自适应池化：使用自适应池化层（如SPP，自适应池化层）来保证无论输入特征图的大小如何，都能输出固定尺寸的特征图，从而使得后续的全连接层可以处理不同尺度的特征。

6. 多尺度预测：在模型的最后，对于每个尺度的特征图进行检测，然后根据一定的策略（如非极大值抑制NMS）合并不同尺度上的检测结果