【机器学习：十九、反向传播】

1. 计算图和导数

计算图的概念
计算图（Computation Graph）是一种有向无环图，用于表示数学表达式中的计算过程。每个节点表示一个操作或变量，每条边表示操作的依赖关系。通过计算图，可以轻松理解和实现反向传播。

计算图的意义

• 直观地展示复杂计算过程。
• 支持自动微分，通过链式规则计算导数。
• 应用于神经网络中梯度的高效计算。

例如，对于函数 $z=(x+y)\cdot w$ ，其计算图包括三个节点（加法、乘法、输入变量）和两条边。

2. 计算代价函数的偏导 - 单神经元

代价函数的定义
代价函数衡量模型输出与真实值之间的差距，例如平方误差：

$$L=\frac{1}{2}(y-\hat{y}{)}^2$$

其中， $\hat{y}$ 是模型输出， $y$ 是目标值。

单神经元的导数推导
假设输出为 $\hat{y}=\sigma (wx+b)$ ，其中 $\sigma$ 是激活函数（如 Sigmoid），导数计算如下：

1. 对于权重 $w$ ：
   $$\frac{\partial L}{\partial w}=\frac{\partial L}{\partial \hat{y}}\cdot \frac{\partial \hat{y}}{\partial z}\cdot \frac{\partial z}{\partial w}$$

2. 对于偏置 $b$ ：
   $$\frac{\partial L}{\partial b}=\frac{\partial L}{\partial \hat{y}}\cdot \frac{\partial \hat{y}}{\partial z}\cdot \frac{\partial z}{\partial b}$$

意义
通过计算偏导数，可以更新参数 $w$ 和 $b$ 以最小化损失函数。

3. 链导法则求导

链导法则是反向传播的核心，其定义如下：

$$\frac{\partial L}{\partial x}=\frac{\partial L}{\partial y}\cdot \frac{\partial y}{\partial x}$$

步骤：

1. 先计算从输出到隐藏层的梯度。
2. 再计算从隐藏层到输入的梯度。

例如，对于两层网络的损失函数 $L=f(g(x))$ ，使用链导法则：

$$\frac{\partial L}{\partial x}=\frac{\partial f}{\partial g}\cdot \frac{\partial g}{\partial x}$$

4. 过程解释

反向传播过程包括以下步骤：

1. 前向传播：计算网络输出和损失函数。
2. 反向传播：从输出层开始，逐层计算梯度。
3. 更新参数：使用梯度下降或其变体更新参数。

假设两层网络的权重为 $W_1$ 和 $W_2$ ，反向传播过程为：

1. 计算输出层梯度 ${\delta }_2$ ：
   $${\delta }_2=\frac{\partial L}{\partial z_2}=\frac{\partial L}{\partial \hat{y}}\cdot {\sigma }^{\prime }(z_2)$$

2. 计算隐藏层梯度 ${\delta }_1$ ：
   $${\delta }_1=({\delta }_2\cdot W_2^T)\cdot {\sigma }^{\prime }(z_1)$$

3. 更新权重和偏置：
   $$W_2=W_2-\alpha \cdot {\delta }_2\cdot h_1^T$$

   $$W_1=W_1-\alpha \cdot {\delta }_1\cdot x^T$$

5. 神经网络中的反向传播

多层网络中的反向传播
多层网络通过将链导法则逐层应用，从输出层反向传播至输入层。每层的梯度依赖于后一层的梯度。

实现代码示例

import numpy as np# 定义激活函数及其导数
def sigmoid(x):return 1 / (1 + np.exp(-x))def sigmoid_derivative(x):return sigmoid(x) * (1 - sigmoid(x))# 前向传播
x = np.array([1, 2])  # 输入
w1 = np.array([[0.1, 0.2], [0.3, 0.4]])  # 权重
b1 = np.array([0.5, 0.5])  # 偏置
z1 = np.dot(w1, x) + b1
a1 = sigmoid(z1)# 反向传播
delta = (a1 - 1) * sigmoid_derivative(z1)
grad_w1 = np.outer(delta, x)

6. 计算代价函数的偏导 - 两层神经网络

两层神经网络的反向传播在单层基础上扩展，每层分别计算：

$$\frac{\partial L}{\partial W_1},\frac{\partial L}{\partial W_2},\frac{\partial L}{\partial b_1},\frac{\partial L}{\partial b_2}$$

总结与意义
反向传播是神经网络训练的核心，通过计算梯度并更新参数，使得网络能够有效学习复杂的映射关系，从而提高模型的泛化能力。