深度学习经典模型之VGGNet

1 VGGNet

1.1 模型介绍

​ VGGNet是由牛津大学视觉几何小组（Visual Geometry Group, VGG）提出的一种深层卷积网络结构，他们以7.32%的错误率赢得了2014年ILSVRC分类任务的亚军（冠军由GoogLeNet以6.65%的错误率夺得）和25.32%的错误率夺得定位任务（Localization）的第一名（GoogLeNet错误率为26.44%）${}^{[5]}$，网络名称VGGNet取自该小组名缩写。VGGNet是首批把图像分类的错误率降低到10%以内模型，同时该网络所采用的$3\times 3$卷积核的思想是后来许多模型的基础，该模型发表在2015年国际学习表征会议（International Conference On Learning Representations, ICLR）后至今被引用的次数已经超过1万4千余次。

1.2 模型结构

​ 图 1 VGG16网络结构图

​ 在原论文中的VGGNet包含了6个版本的演进，分别对应VGG11、VGG11-LRN、VGG13、VGG16-1、VGG16-3和VGG19，不同的后缀数值表示不同的网络层数（VGG11-LRN表示在第一层中采用了LRN的VGG11，VGG16-1表示后三组卷积块中最后一层卷积采用卷积核尺寸为$1\times 1$，相应的VGG16-3表示卷积核尺寸为$3\times 3$），本节介绍的VGG16为VGG16-3。图1中的VGG16体现了VGGNet的核心思路，使用$3\times 3$的卷积组合代替大尺寸的卷积（2个$3\times 3卷积即可与$$5\times 5$卷积拥有相同的感受视野），网络参数设置如表2所示。

​ 表2 VGG16网络参数配置

网络层	输入尺寸	核尺寸	输出尺寸	参数个数
卷积层$C_{11}$	$224\times 224\times 3$	$3\times 3\times 64/1$	$224\times 224\times 64$	$(3\times 3\times 3+1)\times 64$
卷积层$C_{12}$	$224\times 224\times 64$	$3\times 3\times 64/1$	$224\times 224\times 64$	$(3\times 3\times 64+1)\times 64$
下采样层$S_{max1}$	$224\times 224\times 64$	$2\times 2/2$	$112\times 112\times 64$	$0$
卷积层$C_{21}$	$112\times 112\times 64$	$3\times 3\times 128/1$	$112\times 112\times 128$	$(3\times 3\times 64+1)\times 128$
卷积层$C_{22}$	$112\times 112\times 128$	$3\times 3\times 128/1$	$112\times 112\times 128$	$(3\times 3\times 128+1)\times 128$
下采样层$S_{max2}$	$112\times 112\times 128$	$2\times 2/2$	$56\times 56\times 128$	$0$
卷积层$C_{31}$	$56\times 56\times 128$	$3\times 3\times 256/1$	$56\times 56\times 256$	$(3\times 3\times 128+1)\times 256$
卷积层$C_{32}$	$56\times 56\times 256$	$3\times 3\times 256/1$	$56\times 56\times 256$	$(3\times 3\times 256+1)\times 256$
卷积层$C_{33}$	$56\times 56\times 256$	$3\times 3\times 256/1$	$56\times 56\times 256$	$(3\times 3\times 256+1)\times 256$
下采样层$S_{max3}$	$56\times 56\times 256$	$2\times 2/2$	$28\times 28\times 256$	$0$
卷积层$C_{41}$	$28\times 28\times 256$	$3\times 3\times 512/1$	$28\times 28\times 512$	$(3\times 3\times 256+1)\times 512$
卷积层$C_{42}$	$28\times 28\times 512$	$3\times 3\times 512/1$	$28\times 28\times 512$	$(3\times 3\times 512+1)\times 512$
卷积层$C_{43}$	$28\times 28\times 512$	$3\times 3\times 512/1$	$28\times 28\times 512$	$(3\times 3\times 512+1)\times 512$
下采样层$S_{max4}$	$28\times 28\times 512$	$2\times 2/2$	$14\times 14\times 512$	$0$
卷积层$C_{51}$	$14\times 14\times 512$	$3\times 3\times 512/1$	$14\times 14\times 512$	$(3\times 3\times 512+1)\times 512$
卷积层$C_{52}$	$14\times 14\times 512$	$3\times 3\times 512/1$	$14\times 14\times 512$	$(3\times 3\times 512+1)\times 512$
卷积层$C_{53}$	$14\times 14\times 512$	$3\times 3\times 512/1$	$14\times 14\times 512$	$(3\times 3\times 512+1)\times 512$
下采样层$S_{max5}$	$14\times 14\times 512$	$2\times 2/2$	$7\times 7\times 512$	$0$
全连接层$F{C}_1$	$7\times 7\times 512$	$(7\times 7\times 512)\times 4096$	$1\times 4096$	$(7\times 7\times 512+1)\times 4096$
全连接层$F{C}_2$	$1\times 4096$	$4096\times 4096$	$1\times 4096$	$(4096+1)\times 4096$
全连接层$F{C}_3$	$1\times 4096$	$4096\times 1000$	$1\times 1000$	$(4096+1)\times 1000$

1.3 模型特性

• 整个网络都使用了同样大小的卷积核尺寸$3\times 3$和最大池化尺寸$2\times 2$。
• $1\times 1$卷积的意义主要在于线性变换，而输入通道数和输出通道数不变，没有发生降维。
• 两个$3\times 3$的卷积层串联相当于1个$5\times 5$的卷积层，感受野大小为$5\times 5$。同样地，3个$3\times 3$的卷积层串联的效果则相当于1个$7\times 7$的卷积层。这样的连接方式使得网络参数量更小，而且多层的激活函数令网络对特征的学习能力更强。
• VGGNet在训练时有一个小技巧，先训练浅层的的简单网络VGG11，再复用VGG11的权重来初始化VGG13，如此反复训练并初始化VGG19，能够使训练时收敛的速度更快。
• 在训练过程中使用多尺度的变换对原始数据做数据增强，使得模型不易过拟合。