CNN卷积详解（三）

一、卷积层的计算

4 $\ast$ 4的输入矩阵 $I$ 和 3 $\ast$ 3 的卷积核 $K$:

• 在步长（stride）为 1 时，输出的大小为 ( 4 − 3 + 1 ) × ( 4 − 3 + 1)

计算公式：
● 输入图片矩阵 $I$ 大小： $w\times w$
● 卷积核 $K$：$k\times k$
● 步长$S$：$s$
● 填充大小（padding）：$p$

$o=\frac{(w-k+2p)}{s}+1$

输出图片大小为：$o\times o$
● 步长为2，卷积核为33，p=0的卷积情况如下：

当卷积函数中padding='same’时，会动态调整 $p$ 值，确保 $o=w$ ，即保证输入与输出一致。例如：输入是 28281 输出也为 28281 。
● 步长为1，卷积核为33，padding='same’的卷积情况如下：

🔍实例：
$7\ast 7$ 的 input，$3\ast 3$ 的 kernel，无填充（padding=0），步长为1，则 $o=\frac{(7-3)}{1}+1$也即 output size 为 $5\ast 5$

$7\ast 7$ 的 input，$3\ast 3$ 的 kernel，无填充（padding=0），步长为2，则 $o=\frac{(7-3)}{2}+1$也即 output size 为 $3\ast 3$

二、卷积层运算量的计算

对于第一个卷积过程涉及的计算量计算过程如下：

首先，我们需要计算卷积层的参数量。对于一个卷积核大小为 $k\times k$，输入特征图大小为 $h\times w\times c_{in}$，输出特征图大小为 $h^{\prime }\times w^{\prime }\times c_{out}$的卷积层，其参数量为：

𝑃𝑎𝑟𝑎𝑚 = $k^2\times c_{in}\times c_{out}$ + $c_{out}$

其中最后的 $c_{out}$是bias的数量

引自： [假设卷积核的大小为 k*k, 输入channel为M， 输出channel为N。]
（1）bias为True时：参数数量为： $k\times k\times M\times N+N$ （bias的数量与输出channel的数量是一样的）

（2）bias为False时：参数数量为： $k\times k\times M\times N$

（3）当使用BN时，还有两个可学习的参数α和β，参数量均为N 则参数数量为：$k\times k\times M\times N+3\times N$

对于本题，输入特征图大小为 $100\times 100\times 128$，输出特征图大小为 $100\times 100\times 256$，卷积核大小为 $5\times 5$，且填充为 2，步长为 1，输出通道数为 256。因此，每个卷积层的参数量为：

𝑃𝑎𝑟𝑎𝑚 = $5^2\times 128\times 256$ + 256 ≈ $8.192\times 10^5$

参数量会计算了，那么$FLOPs$其实也是很简单的，就一个公式：

$FLOP{s}_{total}$ = 𝑃𝑎𝑟𝑎𝑚 $\times h^{\prime }\times w^{\prime }$ = $8.192\times 10^5\times 100\times 100$= $8.192\times 10^9$

因此，经过具有 256 个输出的 5x5 卷积层之后，输出数据为 100x100x256 的计算量是约为$8.192\times 10^{9}FLOPs$。

对于第二个卷积过程涉及的计算量计算过程如下：

首先考虑 1x1 卷积层的计算量。套用上面的公式，输入特征图大小为 $100\times 100\times 128$，输出通道数为 32，因此经过 1x1 卷积层后，输出特征图大小为 $100\times 100\times 32$，这里的bias值很小我直接省了，计算量为：

$FLOP{s}_{1\times 1}$ = $1^2\times 128\times 32\times 100\times 100=4.096\times 10^7$

接下来考虑 5x5 卷积层的计算量，经过 1x1 卷积层后，输出特征图大小为 $100\times 100\times 32$，输入通道数为 32，输出通道数为 256，卷积核大小为 5x5，填充为 2，步长为 1，这里的bias值很小我直接省了，计算量为：

$FLOP{s}_{5\times 5}$ = $5^2\times 32\times 256\times 100\times 100=2.048\times 10^9$

因此，经过具有 32 个 1x1大小的卷积核的卷积层和具有 256 个5x5大小的卷积核的卷积层之后，输出数据为 100x100x256 的计算量为

$FLOP{s}_{1\times 1}+FLOP{s}_{5\times 5}$ ≈ $2.048\times 10^9$