神经网络与深度学习第四章前馈神经网络习题解答

[习题4-1] 对于一个神经元  ，并使用梯度下降优化参数时，如果输入恒大于0，其收敛速度会比零均值化的输入更慢。

首先看一下CSDN的解释：

如果输入x恒大于0，使用sigmoid作为激活函数的神经元的输出值将会处于饱和状态，导致其梯度接近于0，这会使得梯度下降算法的收敛速度变慢。而如果输入经过零均值化处理，可以使得输出值的均值为0，避免了sigmoid函数的非0均值问题，从而减少了梯度消失的风险，提高了梯度下降算法的收敛速度。因此，使用零均值化的输入可以加速神经网络的训练过程。

结合图1理解一下：

图1

说一下我的理解：

首先，神经元对求导后的结果为，此处作sigmod激活函数，我们知道sigmod的激活函数图如下：

可以看出，如果是恒大于0的，其次，若x恒大于0,会导致进入神经元后，经过的输出值接近饱和状态（在0.5-1范围内），而的最大为0.5，说明当x大于0的时候，肯定不是沿着最大的负梯度方向进行下降的，而是以曲折抖动的方式进行下降（结合图1），但是以零均值化的方式，可以最大程度的保证数据沿着最大的负梯度方向进行下降，所以当恒大于0时，收敛速度要慢于零均值化的输入。

再举个形象的例子，比如你要从山顶走到山谷，你直线走下去即为最大负梯度方向，收敛快，但是你要很贪心的曲折的走，虽然在朝着山谷的方向走，但不是最快的方向，你同样可以到达终点，但是你的速度相较于直线走肯定是要慢的，条条大路通罗马，但是不可能全部人都走最快的大路，也有人走蜿蜒曲折的小路。