通俗讲解深度学习轻量网络MobileNet-v1/v2/v3

MobileNet网络是由google团队在2017年提出的，专注于移动端或者嵌入式设备中的轻量级CNN网络。相比传统卷积神经网络，在准确率小幅降低的前提下大大减少模型参数与运算量。(相比VGG16准确率减少了0.9%，但模型参数只有VGG的1/32)。MobileNet网络最大的优势在于其轻量化，也就是大幅度减少的运算量和参数数量优点。

MobileNet-V1

原文地址：https://arxiv.org/abs/1704.04861

创新点：深度可分离卷积

深度可分离卷积：由一个输出通道为1的3×3卷积和一个1×1的卷积组成

使用relu激活函数

MobileNet-v1 网络结构 

MobileNet-V2

原文地址：https://arxiv.org/abs/1704.04861

创新点：倒残差block、改变某些层为线性激活函数，非线性激活函数从relu修改为relu6（对输入值进行最大为6的限制，减少float16/int8下的精度损失）

倒残差block(Inverted Residuals)

老的残差结构：结构为1x1卷积降维->3x3卷积->1x1卷积升维

倒残差block：1x1卷积升维->3x3DW卷积->1x1卷积降维 。（需要注意的是，只有在stride 步长为1 的时候才进行short add操作，stride为2不进行short add）

为解决V1在输入为低维度时，卷积核丢失了大量信息的问题，将原先relu非线性激活函数在某些层中替换为线性函数，并且在低维输入时提高输入维度两个措施。

MobileNet-v2 网络结构

MobileNet-V3

原文地址：https://arxiv.org/pdf/1905.02244.pdf

主要创新点：使用NMS搜索得到网络的最优参数、新增加SE注意力机制、修改激活函数（h-swish）、减少第一个卷积层的卷积核个数（ 32-> 16）、精简末端网络结构

MobileNet-v3 网络结构

SE注意力机制

H-swish

精简末端网络结构