【漫话机器学习系列】005.神经网络的结构（architecture on the neural network）

神经网络（Neural Network）是一种模拟人脑神经系统的计算模型，由大量相互连接的神经元（节点）组成，广泛应用于深度学习和机器学习领域。以下是神经网络的基本结构及关键组成部分。

---

1. 神经网络的基本组成

一个神经网络通常由以下部分组成：

1. 输入层（Input Layer）：

   • 接收输入数据，每个节点代表一个输入特征。
   • 输入数据的维度决定输入层的神经元个数。

2. 隐藏层（Hidden Layers）：

   • 位于输入层和输出层之间。
   • 包含多个神经元，负责学习和提取特征。
   • 可以有多个隐藏层，层数和每层的神经元数量决定网络的复杂度。

3. 输出层（Output Layer）：

   • 生成最终的输出。
   • 输出神经元的数量取决于任务类型：
     • 回归任务：一个输出神经元。
     • 二分类任务：一个神经元（通常配合 Sigmoid 激活函数）。
     • 多分类任务：输出神经元数量等于类别数量（通常配合 Softmax 激活函数）。

4. 连接权重和偏置（Weights & Biases）：

   • 权重：连接神经元之间的权重，表示输入特征的重要性。
   • 偏置：调整模型的灵活性，帮助模型更好地拟合数据。

---

2. 神经元的结构

每个神经元是一个简单的计算单元，核心结构包括：

1. 输入：

   • 接收来自上一层神经元的输出，经过权重和偏置修正。

2. 线性组合：

   • 对输入进行加权求和：
     • ：权重
     • ：输入
     • b：偏置

3. 激活函数（Activation Function）：

   • 将线性组合的结果映射为非线性输出，便于处理复杂问题。
   • 常见激活函数：
     • Sigmoid:
     • Tanh:
     • ReLU:

4. 输出：

   • 激活函数的结果传递到下一层。

---

3. 网络拓扑结构

根据网络的连接方式和节点分布，神经网络可以有不同的拓扑结构：

1. 全连接网络（Fully Connected Network, FCN）：

   • 每个神经元与下一层的每个神经元相连。
   • 用于处理结构化数据。

2. 卷积神经网络（Convolutional Neural Network, CNN）：

   • 用于图像数据。
   • 包括卷积层、池化层、全连接层等。

3. 循环神经网络（Recurrent Neural Network, RNN）：

   • 用于处理序列数据（如时间序列、文本）。
   • 包括 LSTM 和 GRU 等改进版本。

4. 生成对抗网络（Generative Adversarial Network, GAN）：

   • 包括生成器和判别器两个子网络，用于生成数据。

---

4. 前向传播与反向传播

1. 前向传播（Forward Propagation）：

   • 数据从输入层经过隐藏层传递到输出层。
   • 计算每层的激活值，最终输出预测值。

2. 反向传播（Backpropagation）：

   • 根据损失函数计算误差。
   • 从输出层向输入层更新权重和偏置。
   • 使用梯度下降算法进行优化。

---

5. 损失函数

损失函数用于衡量模型预测值与真实值的差异。

1. 均方误差（MSE）：

   • 用于回归问题。
   

2. 交叉熵损失（Cross-Entropy Loss）：

   • 用于分类问题。
   

---

6. 神经网络的深度

1. 浅层神经网络（Shallow Neural Network）：

   • 只有一个隐藏层，适用于简单问题。

2. 深度神经网络（Deep Neural Network, DNN）：

   • 包含多个隐藏层，可以表示复杂的非线性关系。

---

7. 总结

神经网络的结构灵活多样，其核心在于通过前向传播和反向传播不断调整参数，以提高模型对数据的拟合能力。根据任务和数据类型，选择适当的网络结构和优化方法是构建神经网络的关键。