01_深度学习基础知识

1. 感知机

感知机通常情况下指单层的人工神经网络，其结构与 MP 模型类似（按照生物神经元的结构和工作原理造出来的一个抽象和简化了模型，也称为神经网络的一个处理单元）

假设由一个 n 维的单层感知机，则：

• $x_1$ 至 $x_n$ 为 n 维输入向量的各个分量
• $w_{1j}$ 至 $w_{nj}$ 为各个输入分类连接感知机的权重（权值），$\sum$ 为阈值
• f 为激活函数（激励函数或传递函数），O 为标量输出
• 理想的函数为阶跃函数或 Sigmoid 函数，目标是通过输入向量 x 与权重向量 w 求得内积后，通过激活函数 f 所得的标量

2. 多层感知机与反向传播

在多层感知机中使用 BP 算法（由信号的正向传播和误差的反向传播两个过程组成，由于多层前馈网络的训练，经常采用误差反向传播算法），采用 Sigmoid （生物学中的常见的 S 型函数，也成为 S 型生长曲线）进行非线性映射，解决了非线性分类和学习的问题

多层感知机是单层感知机的推广，最主要的特点是有多个神经元层。

• 将 MLP 的第一层称为输入层，中间成为隐藏层（隐含层），最后一层为输出层，对于隐藏层和输出层中每层神经元的个数也没有限制

• 输出为 y，损失函数为 E

$y=h_1{w}_{h1}+h_2{w}_{h2}=x_1{w}_{11}+x_2{w}_{12}+x_1{w}_{21}+$