神经网络基础-神经网络补充概念-24-随机初始化

由来

在神经网络的训练过程中，权重和偏差的初始值对模型的性能和训练过程的收敛速度都有影响。随机初始化是一种常用的权重和偏差初始值设置方法，它有助于打破对称性，避免网络陷入局部最优解。

概念

当所有权重和偏差都被设置为相同的初始值时，神经网络的每个神经元在反向传播时会计算相同的梯度，导致网络无法学到不同的特征。为了避免这种情况，我们使用随机初始化，即为每个权重和偏差分配随机的小值。

通常，随机初始化的原则是使用均匀分布或正态分布生成随机数，并根据网络的规模和结构来调整初始化的尺度。

代码实现，一个简单的随机初始化示例，以正态分布为例

import numpy as npdef initialize_parameters(layers_dims):"""Initialize the parameters of the neural network.Arguments:layers_dims -- list containing the dimensions of each layer in the networkReturns:parameters -- python dictionary containing your parameters "W1", "b1", ..., "WL", "bL":Wl -- weight matrix of shape (layers_dims[l], layers_dims[l-1])bl -- bias vector of shape (layers_dims[l], 1)"""np.random.seed(42)parameters = {}L = len(layers_dims)  # number of layersfor l in range(1, L):parameters['W' + str(l)] = np.random.randn(layers_dims[l], layers_dims[l - 1]) * 0.01parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))return parameters