神经网络系列---归一化

---

---

归一化

批量归一化

（Batch Normalization）在训练过程中的数学公式可以概括如下：

给定一个小批量数据 B = { x 1 , x 2 , … , x m } B = \{x_1, x_2, \ldots, x_m\} B={x1​,x2​,…,xm​}，其中 $m$ 是批次的大小。

1. 计算均值：计算小批量数据的均值。
   ${\mu }_B=\frac{1}{m}{\sum }_{i=1}^m{x}_i$

2. 计算方差：计算小批量数据的方差。
   ${\sigma }_B^2=\frac{1}{m}{\sum }_{i=1}^m(x_i-{\mu }_B{)}^2$

3. 归一化：使用均值和方差对小批量数据进行标准化。
   ${\hat{x}}_i=\frac{x_i-{\mu }_B}{\sqrt{{\sigma }_B^2+ϵ}}$
   其中，$ϵ$ 是一个小的常数，用于确保分母不为零。

4. 缩放和平移：使用可学习的参数伽玛$\gamma$和贝塔$\beta$来缩放和平移标准化的数据。
   $y_i=\gamma {\hat{x}}_i+\beta$
   其中，$\gamma$ 和 $\beta$ 是可学习的参数，用于调整归一化的缩放和平移。

这样做可以让模型有更大的灵活性，因为它可以学习到每个特征或通道应该如何被归一化。

预测阶段

在推断阶段，使用整个训练集的均值和方差（通常是移动平均）来替代小批量的均值和方差。这确保了网络在推断时的行为与训练时的行为更加一致。

在批量归一化中，移动平均均值和方差是在训练阶段计算并用于预测阶段的归一化过程。移动平均的计算通常使用指数移动平均（EMA）或其他平滑方法。下面是计算移动平均均值和方差的一般过程：

1. 初始化：在训练开始时，初始化移动平均均值和方差为零或其他初始值。

2. 计算当前批次的均值和方差：对于每个训练批次，计算该批次数据的均值和方差。

3. 更新移动平均：使用当前批次的均值和方差以及之前的移动平均值来更新移动平均。通常，这可以通过下面的公式完成：

   $\text{移动平均均值}=momentum\times \text{移动平均均值}+(1-momentum)\times \text{当前批次均值}$
   $\text{移动平均方差}=momentum\times \text{移动平均方差}+(1-momentum)\times \text{当前批次方差}$

   其中，$momentum$ 是一个超参数，通常在 0 到 1 之间，通常设置为接近 1 的值（例如 0.9）,决定了移动平均的平滑程度。较小的 $momentum$ 值会使移动平均更关注最近的批次，而较大的值则会使其更平滑。

4. 使用当前mini-batch的均值和方差对数据进行归一化，并通过可学习的参数 $\gamma$ 和 $\beta$ 进行缩放和偏移。

$\text{BN}(x_i)=\gamma \left(\frac{x_i-{\mu }_B}{\sqrt{{\sigma }_B^2+ϵ}}\right)+\beta$

测试阶段

在测试阶段，使用训练期间计算的运行均值和方差进行归一化：

$\text{BN}(x_i)=\gamma \left(\frac{x_i-{\mu }_{\text{running}}}{\sqrt{{\sigma }_{\text{running}}^2+ϵ}}\right)+\beta$

通过这种方式，批量归一化可以在测试阶段更稳定和准确地归一化数据。

γ和β（注意）

在批量归一化中，$\gamma$ 和 $\beta$ 不是单一的数值，而是可以学习的参数向量。其维度与正在被归一化的数据的维度相同。这样可以确保每个特征有其自己的 $\gamma$ 和 $\beta$ 参数，可以独立地进行缩放和偏移。

具体来说：

• 在全连接层中，如果该层有 $d$ 个神经元，那么 $\gamma$ 和 $\beta$ 将是 $d$ 维向量。
• 在卷积层中，如果卷积层有 $c$ 个通道，那么 $\gamma$ 和 $\beta$ 将是 $c$ 维向量，每个通道有一个 $\gamma$ 和 $\beta$ 值。

举例

以下是按照10个样本，20个特征，计算移动平均方差的步骤：

1. 初始化移动平均方差：在训练开始时，为每个特征初始化一个移动平均方差值。可以将其设置为零或其他初始值。你将得到一个具有20个元素的移动平均方差向量。

2. 对于每个批次：对于每个训练批次，执行以下步骤：

   a. 计算当前批次的方差：按照之前的方法计算当前批次的方差。结果将是一个包含20个方差值的向量。

   b. 更新移动平均方差：使用以下公式来更新每个特征的移动平均方差：

${\text{移动平均方差}}_j=momentum\times {\text{移动平均方差}}_j+(1-momentum)\times {\text{当前批次方差}}_j$

其中，$momentum$ 是一个超参数，通常在 0 到 1 之间，表示移动平均的平滑程度。这个过程会为每个特征更新移动平均方差。

3. 预测时使用：在预测阶段，使用最终计算的移动平均方差向量来归一化新样本。

在批量归一化中，每个特征都有其自己的移动平均均值和移动平均方差。这些值是在训练过程中单独计算和跟踪的。

由于不同的特征可能具有不同的尺度和分布，因此为每个特征单独计算均值和方差是有意义的。这样可以确保在整个训练集中，每个特征都被归一化到具有相同的均值和方差，从而有助于提高训练的稳定性和效率。

层归一化

（Layer Normalization）是一种归一化技术，常用于深度学习模型中。下面我们来详细了解层归一化的前向传播和反向传播过程。

前向传播

给定输入向量 $x$，层归一化的前向传播包括以下步骤：

1. 计算均值：计算输入 $x$ 中所有特征的均值。
   $\mu =\frac{1}{d}{\sum }_{i=1}^d{x}_i$

2. 计算方差：计算输入 $x$ 中所有特征的方差。
   ${\sigma }^2=\frac{1}{d}{\sum }_{i=1}^d(x_i-\mu {)}^2$

3. 归一化：使用均值和方差对输入 $x$ 进行标准化。
   ${\hat{x}}_i=\frac{x_i-\mu }{\sqrt{{\sigma }^2+ϵ}}$

4. 缩放和平移：使用可学习的参数伽玛$\gamma$和贝塔$\beta$来缩放和平移标准化的数据。
   $y_i=\gamma {\hat{x}}_i+\beta$

反向传播

反向传播需要计算损失函数 $L$ 对输入 $x$、伽玛$\gamma$和贝塔$\beta$的偏导数。以下是相关的偏导数计算：

1. 对伽玛和贝塔的偏导数：
   $\frac{\partial L}{\partial \gamma }={\sum }_{i=1}^d\frac{\partial L}{\partial y_i}{\hat{x}}_i,\frac{\partial L}{\partial \beta }={\sum }_{i=1}^d\frac{\partial L}{\partial y_i}$

2. 对归一化输入的偏导数：
   $\frac{\partial L}{\partial {\hat{x}}_i}=\frac{\partial L}{\partial y_i}\gamma$

3. 对方差的偏导数：
   $\frac{\partial L}{\partial {\sigma }^2}=\frac{1}{2}{\sum }_{i=1}^d\frac{\partial L}{\partial {\hat{x}}_i}\frac{1}{\sqrt{{\sigma }^2+ϵ}}(x_i-\mu )$

4. 对均值的偏导数：
   $\frac{\partial L}{\partial \mu }={\sum }_{i=1}^d\frac{\partial L}{\partial {\hat{x}}_i}\frac{-1}{\sqrt{{\sigma }^2+ϵ}}-\frac{2}{d}\frac{\partial L}{\partial {\sigma }^2}(\mu -x_i)$

5. 对输入的偏导数：
   $\frac{\partial L}{\partial x_i}=\frac{\partial L}{\partial {\hat{x}}_i}\frac{1}{\sqrt{{\sigma }^2+ϵ}}+\frac{2}{d}\frac{\partial L}{\partial {\sigma }^2}(x_i-\mu )+\frac{1}{d}\frac{\partial L}{\partial \mu }$

这些偏导数可以通过链式法则和上述前向传播步骤计算，从而实现层归一化的反向传播。这样就可以在训练过程中更新模型参数，并通过梯度下降或其他优化算法进行优化。