卷积神经网络CNN之ZF Net网络模型详解（理论篇）

1.背景
2. ZF Net模型结构
3. 改进优缺点

一、背景

  ZF Net是用作者的名字命名的，Matthew D.Zeiler 和 Rob Fergus （纽约大学），2013年撰写的论文；

论文原网址https://arxiv.org/abs/1311.2901

论文名：Visualizing and Understanding Convolutional Networks

论文摘要：大型卷积神经网络在ImageNet上表现出优秀的性能。本文试图解决两个问题，这种模型为什么表现得如此优秀，以及如何改进模型。我们引入了一种新颖的可视化技术，深入了解中间特征层的功能和分类器的操作细节。可视化技术最终找到了一种比AlexNet性能更好的模型结构，还发现了模型的不同层次做出的性能贡献。

  这篇文章模型是2013ImageNet分类任务的冠军，其网络结构没什么改进，只是调了调参，性能较Alex提升了不少。
  ZF-Net只是将AlexNet第一层卷积核由11变成7，步长由4变为2，第3，4，5卷积层转变为384，384，256。这一年的ImageNet还是比较平静的一届，其冠军ZF-Net的名堂也没其他届的经典网络架构响亮。

二、ZF Net模型结构

补充：多通道卷积核卷积计算
下图是5* 5* 3被一个核的3* 3* 3=3* 3 *1

网络结构梳理

说明：论文中提出一种新的可视化技术，该技术可以了解中间特征图的功能和分类器的操作。
  AlexNet第一层中有大量的高频（边缘）和低频（非边缘）信息的混合，却几乎没有覆盖到中间的频率信息。
  由于第一层卷积用的步长为4，太大，导致了有非常多的混叠情况，学到的特征不是特别好看，不像是后面的特征能看到一些纹理、颜色等。
  因此作者针对第一个问题将AlexNet的第一层的卷积核大小从11 *11改成7 *7。同时针对第二个问题将第一个卷积层的卷积核滑动步长从4改成2。同时，ZFNet将AlexNet的第3，4，5卷积层变为384，384，256。
  区别是AlexNet用了两块GPU训练把3、4、5层分了两块，而我们的结构更紧密。

网络层简介	输入	核数量-卷积窗口-填充-步长	输出-激活函数	核数量-池化窗口-步长	输出-归一化	过拟合方法
一	224 *224 *3	使用96个核7* 7 *3的卷积，padding=0，stride=2	110 *110 *96	最大池化3 *3-stride=2	55 *55 *96-LRN局部响应归一化,尺度5x5	无
二	55 *55 *96	使用256个核5* 5 *96的卷积，padding=0，stride=2	26 *26 *256	最大池化3 *3-stride=2	13 *13 *256-LRN局部响应归一化,尺度5x5	无
三	13 *13 *256	使用384个核3* 3*256的卷积，padding=1，stride=1	13 *13 *384	无	无-归一化	无
四	13 *13 *384	使用384个核3* 3*384的卷积，padding=1，stride=1	13 *13 *384	无	无-归一化	无
五	13 *13 *384	使用256个核3* 3*384的卷积，padding=1，stride=1	13 *13 *256	最大池化3 *3-stride=2	6 *6 *256-归一化	无
全连接层一	6*6 *256	使用4096个6×6×256的卷积核进行卷积	1x1x4096（—4096个神经元的运算结果通过ReLU激活函数中	无	无-归一化	Dropout：随机的断开全连接层某些神经元的连接，通过不激活某些神经元的方式防止过拟合。drop运算后输出4096个本层的输出结果值
全连接层二	4096×1（4096个神经元）	无	无-----4096个神经元的运算结果通过ReLU激活函数中	无池化	无-归一化	4096个数据与第七层的4096个神经元进行全连接，然后经由relu7进行处理后生成4096个数据，再经过dropout7处理后输出4096个数据
输出层	4096×1（4096个神经元）	无	无-----4096个神经元的运算结果通过ReLU激活函数中	无池化	无-归一化	无

三、内容都有所提到，具体看ZF net 项目练习总结