【深度学习】（1）--神经网络

深度学习

深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向。

从上方的内容包含结果，我们可以知道，在学习深度学习之前，我们还需要了解一下什么是神经网络。

神经网络

神经网络，我们可以将它类比为人类的神经元，由外界传递信息，产生神经冲动，传递电信号，做出行为的过程。

这是生物学上的体现，那么，在神经网络中是如何体现的呢？

由外界传入数据，然后通过“路径”抵达神经元，在每一条的“路径”上会有不同的w参数，与传入的数据进行计算。从而影响接收值：

在推导式中，每条“路径”上的信息传入神经元，然后对他们进行累加求和，接着经过特定的输出函数sigmoid函数输入，对结果进行分类。

神经网络的本质：通过参数与激活函数来拟合特征与目标之间的真实函数关系。但在一个神经网络的程序中，不需要神经元和线，本质上是矩阵的运算，实现一个神经网络最需要的是线性代数库。

1. 感知器

由两层神经元组成的神经网络–“感知器”（Perceptron）,感知器只能线性划分数据。

对于这样简单的感知器，只能线性划分数据，因为对于神经元的结果，只有y =kx+b一层计算，只可以在二维空间画一条直线划分，这样的话，对于一些区域型的数据无法具体分类，比如：

对于这组数据的分类，是无法通过一条直线就让它们分开的，那该如何分类N呢？

我们得让分类的线弯曲，比如:

这样就将类别划分开了。可是，我们该怎样使这条“线”弯曲呢？通过多层感知器。

2. 多层感知器

多层感知器其实就是增加了一个中间层，即隐含层。而这，也就是神经网络可以做非线性分类的关键。

多层感知器同简单感知器的区别就是多加了1层运算，那这样我们的计算就变成了y=w1x1+w2x2+b，在一个二维图片中，这样的函数计算可以使“线”弯曲，从而实现了非线性分类。

偏置

在神经网络中需要默认增加偏置神经元（节点），这些节点是默认存在的。它本质上是一个只含有存储功能，且存储值永远为1的单元。在神经网络的每个层次中，除了输出层以外，都会含有这样一个偏置单元。

偏置节点没有输入（前一层中没有箭头指向它）。一般情况下，我们都不会明确画出偏置节点。

3. 神经网络的构造

神经网络从左到右分为输入层、隐含层、输出层。

需要记忆：

1. 设计一个神经网络时，输入层与输出层的节点数往往是固定的，中间层则可以自由指定；
   1. 输入层的节点数：与特征的维度匹配（特征数量）。
   2. 输出层的节点数：与目标的维度匹配（类别结果数量）。
   3. 中间层的节点数：目前业界没有完善的理论来指导这个决策。一般是根据经验来设置。
2. 神经网络结构图中的拓扑与箭头代表着预测过程时数据的流向，跟训练时的数据流有一定的区别；
3. 结构图里的关键不是圆圈（代表“神经元”），而是连接线（代表“神经元”之间的连接）。每个连接线对应一个不同的权重（其值称为权值），这是需要训练得到的。

4. 模型训练

模型训练的目的：使得参数尽可能的与真实的模型逼近。

具体做法：

1. 首先给所有参数赋上随机值。我们使用这些随机生成的参数值，来预测训练数据中的样本。
2. 计算预测值为yp，真实值为y。那么，定义一个损失值loss，损失值用于判断预测的结果和真实值的误差，误差越小越好。

损失函数

1. 均方差损失函数

对真实值与预测值作差然后做平方，计算每一条数据的差值平方加起来，然后再除以数据的条数即可得到损失值。

2. 多分类的情况下，交叉熵损失函数

运算过程，将一组数据传入：

公式：

总结

本篇介绍了：

1. 神经网络的构造
2. 神经网络的运行过程
3. 感知器