深度学习基础——SSD目标检测

SSD网络介绍

使用多个特征图作为特征预测层。

SSD (Single Shot MultiBox Detector)于2016年提出。当网络输入为300×300大小时，在VOC2007测试集上达到74.3%的mAP;当输入是512×512大小时，达到了76.9%的mAP
 

SSD_Backbone部分介绍

不变的部分

特征提取网络沿用了VGG-16(网络结构如图所示)的Conv5_3层之前的所有结构

改变的部分

将VGG-16的第5个池化层(pool_5)从2×2，步长2改为3×3，步长1(修改后的pool_5特征图的大小不变)
将VGG-16的两个全连接层(FC6 & FC7)改为两个卷积层(Conv6 & Conv7)
增加了4个卷积层

        随着网络层数的加深，提取到的特征信息抽象程度也随之加大，高层语义信息中小目标物体的特征信息会减少，因此，如图所示，网络选择用较大的特征图检测较小的目标物体，用语义信息丰富的特征图检测较大的物体。选取Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2的特征图作为预测特征层，从而实现针对不同大小物体的目标检测。

 

不同大小特征图检测不同大小目标的物体 

        左图中“猫”相较与“狗”的特征较小，所以对于“猫”这类尺寸较小的物体的检测来说选用浅层特征图,“狗”这类尺寸较大的物体用高层、含语义信息丰富的特征图来检测。
 

默认框生成机制

        类似于Faster R-CNN网络中的锚框(Anchor)生成机制用来检测图片中的目标物体，SSD中有默认框(Default Box)生成机制。在每个预测特征层的每个cell上都会生成默认框。

        左图为默认框生成效果的简单示例，黄色点为当前cell的中心点，蓝框的宽高比为1:3和3:1、绿框的宽高比为1:2和2:1、红框的宽高比为1:1
 

默认框尺寸的计算公式如下所示: 

 

式中sk为当前预测层的默认框的尺寸，smin为默认框最小尺寸，smax为默认框最大尺寸，作为网络超参数设置。m为预测特征层的数量，在SSD300网络中m为6。
默认框宽高比有1:1、1:2、2:1、1:3、3:1共5种设置，不同比例下的宽、高计算公式如下所示:

 

 式中wak、hak分别为第k个预测特征层在比例ar下对应的宽、高。对于宽高比为1:1的默认框，其对应的尺寸除了当前预测特征层的默认框尺寸sk之外，还有sk' = √(SkSk+1)

在SSD_VGG16官方源代码中默认框的设置如下表所示:

        默认框中心坐标点设置过程如下图所示。将当前特征图进行坐标遍历，图中黄色点为当前遍历到的特征图坐标点，将该点的横纵坐标值各加0.5，再分别对整个原图尺寸进行归一化操作，即得到cell相对于原图的中心坐标点，也是默认框的中心坐标点，图中绿色点为当前像素(cell)的中心坐标点。

 以计算中心坐标点的y轴坐标值为例:

• 先将当前层特征图的高网格点化
• 再加0.5的偏移值
• 再乘以特征图上一步对应在原图上的跨度
• 最后除以原图的高
• 得到相对于原图的中心点

 正负样本匹配

正负样本选取准则:

• 选择与Ground Truth交并比最大的默认框所对应的IOU值;
• 将与当前标注信息中的每个Ground Truth交并比最大的默认框所对应的IOU值设为2，即选为正样本。若不进行这一步，将会有Ground Truth未匹配到默认框;
• 将与Ground Truth交并比大于0.5的默认框也设为正样本。

假设当前5个默认框与3个真值的交并比如下:

(1)选择与GT0框交并比最大的默认框的索引值记为idx
(2)将idx所对应的IOU值置为2.0
(3)将与GT交并比大于0.5的默认框均置为正样本

SSD的损失函数

 总损失函数计算公式如下所示，式中L(·)为总损失函数，N为被选取出来的默认框的个数，包括正样本和负样本，参数a为1

 坐标回归损失函数如下所示:

式中l为预测的坐标偏移量，g为默认框与Ground Truth框d的坐标偏移量。分别为中心点坐标cx、cy的偏移损失分别为宽度w和高度h的缩放损失。计算坐标回归损失的时候只计算正样本的回归损失。
类别损失函数如下所示:

 

预测器的实现

        3×3卷积核实现类别分数预测以及坐标偏移量回归。对于每个预测特征层上的每个位置，会有k个默认框，对每个默认框进行预测，所以输出大小为:

m × n × k × (C+4)

        其中, m,n为当前特征预测层的宽高，k为预测特征层每个位置上产生的默认框的个数，c为加上背景后的类别数，4为边界框坐标(x, y,  OMEGA, h)回归参数的个数.

        定义MobileNetV2的反向残差结构（反向残差结构如下图所示，(a)为残差结构，(b)为反向残差结构)

反向残差结构

• 先通过一个1x 1的普通卷积将h × w × d大小的特征图升维得到h×w× td大小的特征图，t对应代码中的扩展因子(expand _ratio)参数
• 再通过3×3的深度方向的卷积(Depthwise Convolution)操作，所得到的特征图大小为

  

• 最后通过1× 1的点卷积(Pointwise Convolution)降维，此时使用的激活函数不是ReLU6激活函数，而是线性激活函数反向残差结构中只有当步距(stride=1)，且输入与输出特征维度相同时，会有和残差结构中的shortcut连接

当扩展因子为1时，反向残差结构第一层没有1×1的普通卷积。

        下图为MobileNetV2网络结构示意图，图中t为扩展因子，c为输出特征图深度，n为反向残差块重复次数，s为每个反向残差层中第一个反向残差块的步距

 Focal Loss损失函数

其中α,为平衡正负样本因子，y为平衡难例因子