阅读笔记5——深度可分离卷积

一、标准卷积

  标准卷积在卷积时，同时考虑了特征图的区域和通道信息。

  标准卷积的过程如图1-1所示，假设输入特征图的channel=3，则每个卷积核的channel都为3，每个卷积核的3个channel对应提取输入特征图的3个channel的特征（考虑了特征图的区域信息），并输出channel=1的输出特征图（考虑了特征图的通道信息）。即：

• 卷积核的channel=输入特征图的channel
• 输出特征图的channel=卷积核的个数

图1-1 标准卷积过程图

二、Depthwise卷积

  对于一个通道的输入特征$H\times W$，利用一个3×3的卷积核进行点乘求和，得到一个通道的输出$H\times W$。然后，对于所有的输入通道$C$，使用$C$个3×3卷积核即可得到$C\times H\times W$大小的输出。

  通道之间相互独立，没有各通道间的特征融合，这也是Depthwise卷积的核心思想。即：

• 卷积核的channel=1
• 输入特征图的channel=卷积核的个数=输出特征图的channel

图2-1 Depthwise卷积过程图

三、Pointwise卷积

  由于Depthwise卷积的通道间缺少特征融合，并且通道数无法改变，因此后续还需要继续连接一个逐点的1×1的卷积，一方面可以融合不同通道间的特征，同时也可以改变特征图的通道数。

  Pointwise卷积就是卷积核大小为1的标注卷积。即：

• 卷积核的channel=输入特征图的channel
• 输出特征图的channel=卷积核的个数
• 卷积核的大小为1

图3-1 Pointwise卷积过程图