10. 神经网络（二.多层神经网络模型）

多层神经网络（Multi-Layer Neural Network），也称为深度神经网络（Deep Neural Network, DNN），是机器学习中一种重要的模型，能够通过多层次的非线性变换解决复杂的分类、回归和模式识别问题。以下是其详细介绍：

---

1. 基本概念

多层神经网络由多个层（Layer）堆叠而成，包括：

• 输入层（Input Layer）：接收原始数据（如图像像素、文本向量等）。

• 隐藏层（Hidden Layers）：介于输入层和输出层之间，负责特征提取和抽象。

• 输出层（Output Layer）：生成最终预测结果（如分类标签、回归值）。

每一层由多个神经元（Neuron）组成，神经元之间通过权重（Weight）连接，并通过激活函数（Activation Function）引入非线性。

---

2. 核心结构

（1）前向传播（Forward Propagation）

数据从输入层逐层传递到输出层：

1. 输入数据 xx 经过线性变换（权重 WW 和偏置 bb）和非线性激活函数。

2. 每层的输出公式：

   a(l)=f(W(l)a(l−1)+b(l))a(l)=f(W(l)a(l−1)+b(l))

   其中 f(⋅)f(⋅) 是激活函数，ll 表示层数。

（2）激活函数（Activation Function）

• 作用：引入非线性，使网络能够学习复杂模式。

• 常见类型：

  • Sigmoid：将输入压缩到 (0,1)，适用于二分类输出层。

  • ReLU（Rectified Linear Unit）：f(x)=max⁡(0,x)f(x)=max(0,x)，缓解梯度消失问题，广泛用于隐藏层。

  • Softmax：将输出转化为概率分布，适用于多分类输出层。

（3）反向传播（Backpropagation）

通过梯度下降优化权重：

1. 计算损失函数（Loss Function）：如均方误差（MSE）或交叉熵（Cross-Entropy）。

2. 链式法则计算梯度：从输出层反向传播误差，调整每层的权重和偏置。

3. 参数更新：使用优化器（如SGD、Adam）更新参数。

---

3. 多层神经网络的优点

1. 特征自动学习：无需手动设计特征，隐藏层逐层提取高阶抽象特征。

2. 强大的表达能力：理论上可以逼近任何连续函数（万能近似定理）。

3. 适应复杂任务：如图像识别（CNN）、自然语言处理（RNN）、语音识别等。

---

4. 常见类型

1. 全连接网络（Fully Connected Network, FCN）：

   • 每层神经元与下一层全部连接，参数量大。

2. 卷积神经网络（CNN）：

   • 通过卷积核提取局部特征，适合图像数据。

3. 循环神经网络（RNN）：

   • 处理序列数据（如文本、时间序列），具有记忆能力。

4. Transformer：

   • 基于自注意力机制，擅长长距离依赖建模（如BERT、GPT）。

---

5. 训练中的挑战

1. 梯度消失/爆炸：

   • 深层网络中梯度可能指数级缩小或增大。

   • 解决方案：ReLU、Batch Normalization、残差连接（ResNet）。

2. 过拟合：

   • 模型在训练集表现好，但泛化能力差。

   • 解决方案：Dropout、正则化（L1/L2）、数据增强。

3. 计算资源需求：

   • 训练深层网络需要大量GPU算力和内存。

---

6. 应用场景

• 计算机视觉：图像分类、目标检测（YOLO、ResNet）。

• 自然语言处理：机器翻译（Transformer）、情感分析。

• 推荐系统：用户行为预测。

• 强化学习：游戏AI（AlphaGo）。