深度学习：（七）梯度下降法在神经网络中的应用

梯度下降法在神经网络中的应用

事先规定：

用 $n$ 表示个数（维度）:

$n^{[0]}=n_x$ ，表示单个训练样本 $x$ 的元素个数；

$n^{[1]}$ 表示隐藏层 $1$ 的单元（节点）个数；

$n^{[1]}$ 表示……

梯度下降法公式：

① $w$ 和 $b$ 参数随机初始化；

②计算预测值

③求导：$d{w}^{[1]}$ 、$d{b}^{[1]}$ 、$d{w}^{[2]}$ 、$d{b}^{[2]}$ 。

④更新参数：
$$\begin{array}{rl}& W^{[1]}=W^{[1]}-\alpha \cdot d{W}^{[1]}\\ & b^{[1]}=b^{[1]}-\alpha \cdot d{b}^{[1]}\\ & W^{[2]}=W^{[2]}-\alpha \cdot d{W}^{[2]}\\ & b^{[2]}=b^{[2]}-\alpha \cdot d{b}^{[2]}\end{array}$$
第三步反向传播求导的详细步骤：
$$\begin{array}{rl}& d{Z}^{[2]}=A^{[2]}-Y\\ & d{W}^{[2]}=\frac{1}{m}d{Z}^{[2]}{A}^{[1]T}\\ & d{b}^{[2]}=\frac{1}{m}np.sum(d{Z}^{[2]},axis=1,keepdims=True)\\ & d{Z}^{[1]}=W^{[2]T}d{Z}^{[2]}\ast g^{[1{]}^{\prime }}(Z^{[1]})//这里的\ast 是元素对应相乘\\ & d{W}^{[1]}=\frac{1}{m}d{Z}^{[1]}{X}^T//这里的转置是因为W^{[1]}是由w_i^{[1]T}组成的\\ & d{b}^{[1]}=\frac{1}{m}np.sum(d{Z}^{[1]},axis=1,keepdims=True)\end{array}$$

参数随机初始化

神经网络的参数 $w_i^{[l]}$ 和不能像逻辑回归一样，初始化为零，否则梯度下降算法就会无效。

也不要将隐藏层中的所有节点参数都初始化成一样的，否则每个节点都在做相同的运算，毫无意义。

$$\begin{array}{rl}& W^{[1]}=np.random.randn((n^{[1]},n^{[0]}))\cdot 0.01//高斯分布随机变量再乘以0.01\\ & b^{[1]}=np.zeros((n^{[1]},1))\\ & W^{[2]}=...\\ & b^{[2]}=...\end{array}$$

通常情况下，会把参数随机初始化成很小很小的值，这也是乘以 $0.01$ 的原因。

因为参数大的话， $z$ 计算出来就会大，$a$ 也会大，就会落在激活函数 $\sigma (z)$ 或 $tanh(z)$ 的平缓区域，就会降低梯度下降法的速度，甚至形成梯度消失问题。