CV——day79 读论文：基于小目标检测的扩展特征金字塔网络

数据集：小的交通标志数据集清华腾讯100 K；小类别的通用目标检测数据集MS COCO

I. INTRODUCTION

设计了一种新的特征纹理传输模块(feature texture transfer, FTT)，同时用于超分辨特征和提取可信的区域细节。

特征金字塔网络(Feature pyramid network, FPN)是第一个通过融合不同层次的特征并构造特征金字塔来增强特征的方法，上面的特征映射负责较大的目标检测，下面的特征映射负责较小的目标检测。

FPN探测器中金字塔级和提议大小之间的启发式映射机制可能会混淆小目标的检测。如图1(a)所示，小型对象必须与中型对象和一些大型对象共享相同的特征图，而大型对象等简单情况下可以从合适的级别选取特征。

此外，如图1(b)所示，随着目标尺度的减小，FPN底层的检测精度和召回率急剧下降。图1表明，在普通FPN探测器中，跨尺度的特征耦合仍然降低了小目标检测的能力。

II. RELATED WORK

A. 深层物体探测器

A. Deep Object Detectors

一般的检测器倾向于更多地关注于提高更容易的大型实例的性能，因为一般的对象检测的度量是所有尺度的平均精度。专门用于小物体的探测器仍然需要更多的探索。

B. 跨尺度特征

B. Cross-Scale Features

利用跨尺度特征是缓解物体尺度变化问题的有效途径。虽然这些FPN变体提高了多尺度目标检测的性能，但它们仍然使用与原始FPN相同的层数。但是这些层并不适合小目标的检测，导致小目标的性能仍然很差。

C. 目标检测中的超分辨率

C. Super-Resolution in Object Detection

在一些特定的情况下，如卫星图像和拥挤的小人脸图像，存在极小的物体时，采用图像级SR（Super-Resolution）。最新的基于参考图像的SR方法、可以增强参考图像的纹理或内容。在此启发下，我们在参考和扩展FPN的基础上，设计了一种新的超分辨特征模块，从而生成更适合小目标检测的细节可信的特征。

III. OUR APPROACH

由于不同尺度的特征耦合以及金字塔级与目标大小之间的不恰当映射会降低检测器的性能，我们提出了一种扩展特征金字塔网络(EFPN)来解耦不同大小目标的检测，并为小目标分配更合适的特征级别。

首先，我们构建了一个扩展的特征金字塔，它是专门针对小目标的，在底部有一个高分辨率的特征图。由于该层具有丰富的区域信息，因此将小对象分配给该层。为了加强扩展层，我们设计了一种新的特征纹理转移(feature texture transfer, FTT)模块来生成扩展特征金字塔的中间特征。此外，我们采用交叉分辨率蒸馏，其中提出了一个新的前景-背景-平衡损失函数，以进一步加强正像素的学习。第三- a节和第三- b节阐述了EFPN网络和FTT模块的流水线，第三- c节阐述了我们的交叉分辨率精馏设计。

A. 扩展特征金字塔网络

A. Extended Feature Pyramid Network

Vanilla FPN通过对CNN的高层特征图进行上采样，并通过横向连接将其与低层特征图融合，构建4层特征金字塔。我们提出了EFPN，将传统的特征金字塔扩展到一个新的层次，以解决小目标检测和更多区域细节的问题。

扩展特征金字塔网络(EFPN)框架。其中Ci表示CNN结构第i阶段的特征图，Pi表示EFPN/FPN上对应的金字塔级。(b)中C2和C2之间的虚线表示C2和C2在第二段主干上平行，语义信息相似。EFPN的前4层为vanilla FPN层。Feature texture transfer (FTT)模块集成了P3的语义内容和P2的区域纹理。然后，一个类似fpn的自顶向下路径将FTT模块输出向下传递，形成最终的扩展金字塔级p2。扩展后的特征金字塔(P2‘, P2,P3,P4,P5)将被送入下面的检测器进行进一步的目标定位和分类。

• 如表I所示，C2与原来的C2具有相同的表示级别，但由于其更高的分辨率，包含了更多的区域细节。c2较小的接受区域也有助于更好地定位小物体。在数学上，提出的EFPN中扩展的运算可以描述为

B. 特征纹理传输

B. Feature Texture Transfer

我们设计了FTT模块，在超分辨特征的同时，从参考特征中提取区域纹理。所提出的FTT输出综合了高分辨率参考特征的强语义和低分辨率参考特征的关键局部细节，但剔除了参考特征中的干扰噪声。

如图3所示，FTT模块的主要输入是来自EFPN第三层的feature map P3，参考是来自EFPN第四层的feature map P2。

在参考流中，参考特征P2和超分辨内容特征P3的包装被提供给纹理提取器。纹理提取器的目标是提取出用于小目标检测的可信纹理，并从包装中屏蔽无用的噪声。

最后，纹理和内容元素的添加确保输出集成了输入和引用的语义和区域信息。因此，特征图P3’具有从浅层特征参考P2中选取的可靠纹理，以及从深层特征参考P3中选取的相似语义。

C. 交叉分辨蒸馏

C. Cross Resolution Distillation

使用更高分辨率的输入是提高小目标检测性能的有效方法，如图5所示；然而，检测性能在一定规模时饱和，多尺度测试带来的额外的大量计算资源和运行时间在实际应用中难以承受。为此，我们提出了一种称为交叉分辨率蒸馏的机制，该机制将高分辨率输入的特征作为监督信号引入。

如图4所示：利用2×规模输入的FPN中间层来指导1×-scale输入的学生模型EFPN的训练。为了节省GPU内存，教师模型FPN和学生模型EFPN从EFPN的前4层选取相同的参数权重。

常见的全局LOSS会导致对小目标区域的学习不足，因为小目标只占整个图像的一小部分。前景-背景均衡损失函数通过两个部分来提高背景和前景的特征质量:

1)全局重建损失。global reconstruction loss

**2)正补丁损失。**positive patch loss
将前景-背景-平衡损失函数L_{fbb}定义为:

$$L_{fbb}(F,F^t)=L_{glob}(F,F^t)+\lambda L_{pos}(F,F^t)（8）$$
λ是一个权重平衡因子。平衡损失函数通过提高前景区域的特征质量来挖掘真阳性，通过提高背景区域的特征质量来消除假阳性。

IV. EXPERIMENTS

A. Experimental Settings

1）benchmarkdataset

我们在两个基准上测试了我们的方法，包括用于小物体的交通标志检测场景和一般检测场景。我们将我们的方法与基线和两个场景的其他现状相比较。

1. Tsinghua-Tencent 100 K ：是用于交通标志检测和分类的数据集。它包含10万张高分辨率(2400 × 2400)图像，以及3万个交通标志实例。重要的是，在测试集中，92%的实例覆盖的区域小于整个图像的0.2%。清华-腾讯100k中绝大多数的小物体使其成为小物体检测的优秀基准。
2. Microsoft COCO(MS COCO)：它由三个子集组成:包含118 k张图片的列子集，包含5 k张图片的val子集，以及包含20k张图片的测试-开发子集。对象检测在MS COCO面临三个挑战:(1)小对象:约65%的实例的大小小于图像大小的6%。(2)单个图像比其他类似数据集有更多的实例(3)不同光照和不同形状的物体。

V. CONCLUSION

在本文中，我们提出了一种扩展的金字塔网络来解决小目标检测的问题，它是由类似fpn的框架生成一个专门针对小目标的层。在类fpn框架中嵌入一种新的特征纹理传递模块，通过基于参考的特征级SR有效地捕获扩展金字塔级的更多区域细节。此外，我们引入交叉分辨率蒸馏机制来提高SR特征的质量，其中我们设计了前景-背景-平衡的训练损耗来缓解前景和背景的区域不平衡。在各种数据集上的最新性能表明了EFPN在小目标检测方面的优越性。

EFPN可以与各种探测器、各种骨干相结合来加强小目标检测，也就是说，EFPN可以转移到更具体的小目标检测情况，如人脸检测或卫星图像检测。在未来的工作中，我们希望探索EFPN在更多领域的实际应用