【深度学习】2. 从梯度推导到优化策略：反向传播与 SGD, Mini SGD

反向传播算法详解

1. 前向传播与输出层误差定义

假设我们考虑一个典型的前馈神经网络，其最后一层为 softmax 分类器，损失函数为交叉熵。

前向传播过程

对于某一隐藏层神经元 $j$：

• 输入：$x_i$

• 权重：$w_{ji}$

• 线性组合：
  $${\text{net}}_j=\sum _i{w}_{ji}{x}_i={\mathbf{w}}_j^{\top }\mathbf{x}$$

• 激活输出：
  $$y_j=f({\text{net}}_j)$$

最终输出层采用 softmax 函数，输出概率：
$$z_k=\frac{e^{{\text{net}}_k}}{{\sum }_{k^{\prime }}{e}^{{\text{net}}_{k^{\prime }}}}$$

训练误差（Training Error）

在训练神经网络时，损失函数（training error）用于衡量预测输出 $\mathbf{z}$ 与目标标签 $\mathbf{t}$ 之间的距离。常见的损失函数包括以下三种形式：

1. 欧几里得距离（Euclidean distance）

这是最基本的损失函数形式，适用于回归任务或输出不是概率分布时：
$$J(t,z)=\frac{1}{2}\sum _{k=1}^C(t_k-z_k{)}^2=\frac{1}{2}\Vert \mathbf{t}-\mathbf{z}{\Vert }^2$$

其中：

• $C$ 是输出类别数
• $\mathbf{t}$ 是目标向量
• $\mathbf{z}$ 是模型输出

它表示的是平方误差损失，数值意义上等价于 L2 范数。

2. 交叉熵（Cross Entropy）

当 $\mathbf{t}$ 和 $\mathbf{z}$ 都是概率分布（如 one-hot 和 softmax 输出）时，更推荐使用交叉熵损失：
$$J(t,z)=-\sum _{k=1}^C{t}_k\log z_k$$

该形式特别适合用于多分类问题，且与 softmax 联合使用可得到简洁的梯度表达式。

3. 对称交叉熵（Symmetric Cross Entropy）

标准交叉熵是非对称的，即 $J(t,z)\ne J(z,t)$。为了在某些任务中保持对称性，可以使用如下形式：
$$J(t,z)=-\sum _{k=1}^C(t_k\log z_k+z_k\log t_k)$$

这种形式在一些模糊标签、不确定性建模或鲁棒学习中更常见，但需要确保 $t_k>0$ 且 $z_k>0$，否则 log 项会出现数值问题。

小结

损失函数类型	应用场景
欧几里得距离	回归或非概率输出
交叉熵	分类任务，概率分布输出（softmax）
对称交叉熵	非对称性敏感的分类问题

交叉熵损失（Cross Entropy Loss）

在分类任务中，当目标分布 $\mathbf{t}$ 和模型输出 $\mathbf{z}$ 都是概率分布时，交叉熵是一种常用的损失函数，用于衡量两个分布之间的“差异”或“信息损失”。

定义：

给定两个概率分布 t = { t 1 , … , t C } \mathbf{t} = \{t_1, \dots, t_C\} t={t1​,…,tC​} 和 z = { z 1 , … , z C } \mathbf{z} = \{z_1, \dots, z_C\} z={z1​,…,zC​}，交叉熵定义为：

$$\text{CrossEntropy}(t,z)=-\sum _i{t}_i\log z_i$$

推导展开：

交叉熵可以拆解为熵（Entropy）和 KL 散度（Kullback-Leibler Divergence）之和：

$$\begin{array}{rl}\text{CrossEntropy}(t,z)& =-\sum _i{t}_i\log z_i\\ & =-\sum _i{t}_i\log t_i+\sum _i{t}_i\log \frac{t_i}{z_i}\\ & =\text{Entropy}(t)+D_{\text{KL}}(t\Vert z)\end{array}$$

其中：

• $\text{Entropy}(t)=-{\sum }_i{t}_i\log t_i$
• $D_{\text{KL}}(t\Vert z)={\sum }_i{t}_i\log \frac{t_i}{z_i}$

解释说明：

• Entropy（熵） 是衡量分布不确定性的度量，值越高表示分布越“混乱”。

• KL 散度 衡量两个分布之间的差异，是一个非对称的距离度量（即 $D_{\text{KL}}(t\Vert z)\ne D_{\text{KL}}(z\Vert t)$）。

  面积越大 → 两分布差异越大 → KL 越大

图示直观理解：

总结：

名称	数学形式	说明
交叉熵	$-{\sum }_i{t}_i\log z_i$	衡量预测分布 $z$ 与真实分布 $t$ 的差异
熵	$-{\sum }_i{t}_i\log t_i$	测量目标分布自身的不确定性
KL 散度	${\sum }_i{t}_i\log \frac{t_i}{z_i}$	模型 $z$ 逼近目标 $t$ 时的信息损失

因此，交叉熵 = 熵 + KL 散度，是一个包含两部分含义的损失函数。

2. Softmax

在多类分类中，输出层之前的softmax函数是为每个类分配条件概率
$$\text{softmax}(z_i)=\frac{e^{z_i}}{{\sum }_{j=1}^C{e}^{z_j}}$$

3. 隐藏层权重更新与链式法则

我们首先来看从隐藏层到输出层的权重 $w_{kj}$（第 $j$ 个隐藏神经元到第 $k$ 个输出神经元）。

使用链式法则：

$$\frac{\partial J}{\partial w_{kj}}=\frac{\partial J}{\partial {\text{net}}_k}\cdot \frac{\partial {\text{net}}_k}{\partial w_{kj}}=\frac{\partial J}{\partial {\text{net}}_k}\cdot y_j$$

其中：

• ${\text{net}}_k$ 是输出神经元 $k$ 的加权输入：
  $${\text{net}}_k=\sum _{j=1}^{n_H}{y}_j{w}_{kj}+w_{k0}$$

• $y_j$ 是隐藏层神经元 $j$ 的激活输出

• $J$ 是整体损失函数，使用欧几里得损失：
  $$J(\mathbf{w})=\frac{1}{2}\Vert \mathbf{t}-\mathbf{z}{\Vert }^2$$

即误差对每条连接的权重 $w_{kj}$ 的导数，取决于该输出神经元的误差信号 $\frac{\partial J}{\partial {\text{net}}_k}$ 乘以隐藏层输入 $y_j$。

现在我们推导从输入层到隐藏层的权重 $w_{ji}$（输入 $x_i$ 到隐藏神经元 $y_j$）。

应用多级链式法则：

$$\frac{\partial J}{\partial w_{ji}}=\frac{\partial J}{\partial y_j}\cdot \frac{\partial y_j}{\partial {\text{net}}_j}\cdot \frac{\partial {\text{net}}_j}{\partial w_{ji}}$$

• 先求 $\frac{\partial {\text{net}}_j}{\partial w_{ji}}=x_i$

• 激活函数导数：$\frac{\partial y_j}{\partial {\text{net}}_j}=f^{\prime }({\text{net}}_j)$

• 关键：$\frac{\partial J}{\partial y_j}$ 不能直接求出，但可以通过反向传播累加自输出层所有神经元：

  $$\frac{\partial J}{\partial y_j}=\sum _{k=1}^C\frac{\partial J}{\partial z_k}\cdot \frac{\partial z_k}{\partial y_j}$$

  • 其中 $\frac{\partial z_k}{\partial y_j}=f^{\prime }({\text{net}}_k)\cdot w_{kj}$
  • 若 $z_k$ 是 softmax 输出，$\frac{\partial J}{\partial {\text{net}}_k}=z_k-t_k$

所以完整形式为：

$$\frac{\partial J}{\partial w_{ji}}=\left(\sum _k(z_k-t_k)w_{kj}\right)\cdot f^{\prime }({\text{net}}_j)\cdot x_i$$

总结

权重类型	梯度表达式
输出层 $w_{kj}$	$\frac{\partial J}{\partial w_{kj}}={\delta }_k\cdot y_j$，其中 ${\delta }_k=\frac{\partial J}{\partial {\text{net}}_k}$
输入层 $w_{ji}$	$\frac{\partial J}{\partial w_{ji}}={\delta }_j\cdot x_i$，其中 ${\delta }_j$ 由输出层误差反向传递计算得出

整个反向传播过程建立在链式法则之上，通过分层计算误差信号，并逐层传播与更新权重。

4. 梯度消失与爆炸问题

在深层神经网络中，误差信号需从输出层通过多层链式导数逐步反向传播至输入层。在此过程中，梯度可能出现以下数值不稳定现象：

梯度消失（vanishing gradients）

若激活函数的导数在大部分区域非常小（如 sigmoid 的最大导数仅为 0.25），那么反向传播时：
$${\delta }^{(l)}=f^{\prime }({\text{net}}^{(l)})\cdot \sum _k{w}_{kj}^{(l+1)}{\delta }_k^{(l+1)}$$
将不断被乘以小于 1 的数，导致越靠近输入层，梯度越趋近于 0，使得参数更新缓慢，甚至停滞。

梯度爆炸（exploding gradients）

相反，如果激活函数导数较大，或权重初始化不当（如值较大），则会导致链式乘积中项持续放大，最终使梯度数值迅速增大，导致训练不稳定甚至发散。

5. 应对策略与激活函数的选择

为了缓解梯度消失与爆炸问题，实践中可采用以下策略：

• 选用非饱和激活函数（如 ReLU、Leaky ReLU）以避免小梯度区间
• 使用归一化技巧（如 BatchNorm）以稳定各层输入分布
• 采用合适的权重初始化方式（如 Xavier 或 He 初始化）
• 在网络设计中控制层数与梯度路径长度

此外，近年来 Residual Connection（残差连接）和 Layer Normalization 等技术也在深层网络中得到广泛应用，用于缓解梯度问题。

综上所述，反向传播通过链式法则传播误差信号，是神经网络训练的核心机制。而要实现高效稳定的反向传播，需综合考虑激活函数选型、损失函数结构、权重初始化、归一化技术与模型深度等因素。

6. 随机梯度下降（SGD）与 Mini-batch 梯度下降

神经网络的训练本质上是通过优化某个损失函数 $J(\theta )$ 来寻找最佳参数 $\theta$，最常用的方法是基于梯度的优化方式。

梯度下降（Gradient Descent）

标准的批量梯度下降（Batch Gradient Descent）在每一次更新中使用整个训练集：

$$\theta \leftarrow \theta -\eta \cdot {\nabla }_{\theta }J(\theta )$$

• 优点：梯度方向准确
• 缺点：每次迭代计算成本高，不适合大数据集

随机梯度下降（SGD）

随机梯度下降在每次迭代中仅使用一个样本来估计梯度：

$$\theta \leftarrow \theta -\eta \cdot {\nabla }_{\theta }J(\theta ;x^{(i)},y^{(i)})$$

• 优点：更新频繁、可以快速跳出局部极小值
• 缺点：单样本噪声大，收敛不稳定

权值更新可能会减少所呈现的单个模式上的误差，但会增加整个训练集上的误差。

小批量梯度下降（Mini-batch SGD）

Mini-batch 是在全批量和完全随机之间的折中策略。每次迭代使用一个包含 $m$ 个样本的批次（mini-batch）计算梯度：

$$\theta \leftarrow \theta -\eta \cdot \frac{1}{m}\sum _{i=1}^m{\nabla }_{\theta }J(\theta ;x^{(i)},y^{(i)})$$

• 一般选用 $m=32,64,128$ 等较小值
• 兼具效率与稳定性，适用于现代硬件并行处理

训练流程

1. 将训练集打乱并分成若干 mini-batches
2. 对每个 mini-batch：
   • 前向传播计算输出
   • 反向传播计算梯度
   • 更新权重参数
3. 多轮迭代直到收敛

小结

方法	每次更新使用样本数	优点	缺点
Batch	全部训练样本	梯度稳定	内存消耗大、速度慢
SGD	单一样本	快速跳出局部最优	更新方向不稳定
Mini-batch	少量样本（如 64）	训练速度与稳定性兼顾	最广泛使用的策略

使用 Mini-batch SGD 是现代深度学习训练的默认做法，通常配合动量、Adam 等优化器提升效果。

SGD 方法分析（SGD Analysis）

我们对两种常见的 SGD 训练方式进行优缺点对比分析：

单样本 SGD（One-example based SGD）

• 每次仅用一个样本估计梯度，因此噪声较大，更新方向波动明显
• 每次迭代开销小，比批量学习更快，尤其在数据存在冗余时效果更优
• 由于随机性高，噪声反而有助于跳出局部最小值
• 缺点是收敛路径不稳定，权重更新可能震荡，不一定收敛到稳定最优点

小批量 SGD（Mini-batch based SGD）

• 收敛性理论良好：梯度估计更平稳，易于分析收敛速度和稳定性
• 可结合批量加速技术（如 momentum、Adam、Nesterov）进行训练优化
• 由于噪声较小，更适合用于理论分析与调试模型行为

小结比较

项目	单样本 SGD	小批量 SGD
计算速度	每步快	中等
噪声/波动	大，有助于跳出局部最小值	小，梯度估计更稳定
收敛路径	易震荡，不一定收敛	更平稳，理论收敛性强
可结合技术	较少	支持大部分优化算法（如 Adam）
理论分析难度	高	易于分析与调试

SGD 的噪声既是缺点也是优点，关键在于如何结合合适的 batch size 和优化器，以实现训练稳定性与收敛效率的平衡。