人工智能AI 全栈体系（六）

第一章 神经网络是如何实现的

这些年神经网络的发展越来越复杂，应用领域越来越广，性能也越来越好，但是训练方法还是依靠 BP 算法。也有一些对 BP 算法的改进算法，但是大体思路基本是一样的，只是对 BP 算法个别地方的一些小改进，比如变步长、自适应步长等。还有就是，由于训练数据存在噪声，训练神经网络时也并不是损失函数越小越好。当损失函数特别小时，可能会出现所谓的“过拟合”问题，导致神经网络在实际使用时性能严重下降。

六、过拟合问题

1. 什么是过拟合问题？

• 上图中蓝色圆点给出的是 6 个样本点，假设这些样本点来自于某个曲线的采样，但是我们又不知道原曲线是什么样子，如何根据这 6 个样本点“恢复”出原曲线呢？这就是拟合问题。下图给出了 3 种拟合方案，其中绿色的是一条直线，显然拟合的有些粗糙，蓝色曲线有点复杂，经过了每一个样本点，该曲线与 6 个采样点完美地拟合在一起，似乎是个不错的结果，但是为此付出的代价是曲线弯弯曲曲，感觉是为拟合而拟合，没有考虑 6 个样本点的分布趋势。考虑到采样过程中往往是含有噪声的，这种所谓的完美拟合其实并不完美。红色曲线虽然没有经过每个样本点，但是更能反映 6 个样本点的分布趋势，很可能更接近于原曲线，所以有理由认为红色曲线更接近原始曲线，是我们想要的拟合结果。如果我们用拟合函数与样本点的误差平方和作为拟合好坏的评价，也就是损失函数，绿色曲线由于距离样本点比较远，损失函数最大，蓝色曲线由于经过了每个样本点，误差为 0，损失函数最小，而红色曲线的损失函数介于二者之间。绿色曲线由于拟合的不够，我们称作欠拟合，蓝色曲线由于拟合过渡，我们称为过拟合，而红色曲线是我们希望的拟合结果。在神经网络的训练中，也会出现类似的欠拟合和过拟合的问题。

• 欠拟合显然是不好的结果，过拟合会带来什么问题呢？

2. 神经网络的过拟合问题

• 我们把样本集分成训练集和测试集两个集合，训练集用于神经网络的训练，测试集用于测试神经网络的性能。如上图所示，纵坐标是错误率，横坐标是训练时的迭代轮次。红色曲线是在训练集上的错误率，蓝色曲线是测试集上的错误率。每经过一定的训练迭代轮次后，就测试一次训练集和测试集上的错误率。从图中可以发现，在训练的开始阶段，由于处于欠拟合状态，无论是训练集上的错误率还是测试集上的错误率，都随着训练的进行逐步下降。但是当训练迭代轮次达到 N 次后，测试集上的错误率反而逐步上升了，这就是出现了过拟合现象。测试集上的错误率相当于神经网络在实际使用中的表现，因此我们希望得到一个合适的拟合，使得测试集上的错误率最小，所以应该在迭代轮次达到 N 次时，就结束训练，以防止出现过拟合现象。
• 训练时并不是损失函数越小越好。
• 何时开始出现过拟合并不容易判断。一种简单的方法就是使用测试集，做出像上图那样的错误率曲线，找到 N 点，用在 N 点得到的参数值作为神经网络的参数值就可以了。
• 但这种方法要求样本集合比较大才行，因为无论是训练还是测试都需要比较多的样本才行。而实际使用时往往是面临样本不足的问题。
• 为解决过拟合问题，研究者提出了一些方法，可以有效缓解过拟合问题。当然每种方法都不是万能的，只能说在一定程度上弱化了过拟合问题。

3. 减少过拟合的方法：正则化项法

• BP算法时，用的损失函数是：

$$E_d(w)=\sum _{k=1}^M(t_{kd}-o_{kd}{)}^2$$

• 在这个损失函数上增加一个正则化项 ${\Vert \begin{array}{c}w\end{array}\Vert }_2^2$ ，变成：
  $$E_d(w)=\sum _{k=1}^M(t_{kd}-o_{kd}{)}^2+{\Vert \begin{array}{c}w\end{array}\Vert }_2^2$$
• 其中 ${\Vert \begin{array}{c}w\end{array}\Vert }_2^2$ 表示权重w的2-范数， ${\Vert \begin{array}{c}w\end{array}\Vert }_2^2$ 表示2-范数的平方。
• w的2-范数就是每个权重 $w_i$ 平方后求和再开方，这里用的是2-范数的平方，所以就是权重的平方和了。如果用 $w_i(i=1,2,...,N)$ 表示第i个权重，则：
  $${\Vert \begin{array}{c}w\end{array}\Vert }_2^2=w_1^2+w_2^2+\cdots +w_N^2$$
• 当然这里并不局限于2-范数，也可以用其他的范数。
  

4. 正则化项的作用：降低模型复杂性

• 为什么增加了正则化项后就可以避免过拟合呢？
  • 添加了正则化项的损失函数，相当于在最小化损失函数的同时，要求权重也尽可能地小，相当于限制了权重的变化范围。
  • 以下图所示的曲线拟合为例说明，作为一般的情况，一个曲线拟合函数f(x)可以认为是如下形式：
    $$f(x)=w_0+w_{1}x+w_2{x}^2+\cdots +w_n{x}^n$$
  • 如果f(x)中包含的 $x_n$ 项越多，n越大，则f(x)越可以表示复杂的曲线，拟合能力就越强，也更容易造成过拟合。

• 比如在上图所示的3条曲线，绿色曲线是个直线，其形式为：
  $$f(x)=w_0+w_{1}x$$
• 只含有x项，只能表示直线，所以就表现为欠拟合。而对于其中的蓝色曲线，其形式为：
  $$f(x)=w_0+w_{1}x+w_2{x}^2+w_3{x}^3+w_4{x}^4+w_5{x}^5$$
  含有5个 $x^n$ 项，表达能力比较强，从而造成了过拟合。而对于其中的红色曲线，其形式为：
  $$f(x)=w_0+w_{1}x+w_2{x}^2$$
  含有2个 $x^n$ 项，对于这个问题来说，可能刚好合适，所以体现了比较好的拟合效果。但是在实际当中呢，我们很难知道应该有多少个 $x^n$ 项是合适的，有可能 $x^n$ 项是比较多的，通过在损失函数中加入正则化项，使得权重w尽可能地小，在一定程度上可以限制过拟合情况的发生。比如对于蓝色曲线：
  $$f(x)=w_0+w_{1}x+w_2{x}^2+w_3{x}^3+w_4{x}^4+w_5{x}^5$$
  虽然它含有5个 $x^n$ 项，但是如果我们最终得到的 $w_3$ 、$w_4$ 、$w_5$ 都比较小的话，那么也就与红色曲线：
  $$f(x)=w_0+w_{1}x+w_2{x}^2$$
  比较接近了。
• 对于一个复杂的神经网络来说，一般具有很强的表达能力，如果不采取专门的方法加以限制的话，很容易造成过拟合。

5. L2（2-范数）正则化项

6. L1（1-范数）正则化项

7. 减少过拟合的方法：舍弃法（Dropout）

• 所谓的舍弃法，就是在训练神经网络的过程中，随机地临时删除一些神经元，只对剩余的神经元进行训练。哪些神经元被舍弃是随机的，并且是临时的，只在这次权重更新中被舍弃，下一次更新时哪些神经元被舍弃，再重新随机选择，也就是说每进行一次权重更新，都要重新做一次随机舍弃。下图给出了一个舍弃示意图，图中虚线所展示的神经元表示被临时舍弃了，可以认为这些神经元被临时从神经网络中删除了。舍弃只发生在训练时，训练完成后在使用神经网络时，所有神经元都被使用。
• 一个神经网络含有的神经元越多，表达能力越强，越容易造成过拟合。所以简单地理解就是在训练阶段，通过舍弃减少神经元的数量，得到一个简化的神经网络，降低了神经网络的表达能力。但是由于每次舍弃的神经元又是不一样的，相当于训练了多个简化的神经网络，在使用神经网络时又是使用所有神经元，所以相当于多个简化的神经网络集成在一起使用，既可以减少过拟合，又能保持神经网络的性能。举一个例子说明这样做的合理性。比如有 10 个同学组成一个小组做实验，如果 10 个同学每次都一起做，很可能就是两三个学霸在起主要作用，其他同学得不到充分的训练。但是如果引入“舍弃机制”，每次都随机地从 10 名同学中选取 5 名同学做实验，这样会有更多的同学得到了充分的训练。当 10 名同学组合在一起开展研究时，由于每个同学都得到了充分的训练，所以 10 人组合在一起会具有更强的研究能力。

• 舍弃是在神经网络的每一层进行的，除了输入层和输出层外，每一层都会发生舍弃，舍弃的比例大概在50%左右，也就是说在神经网络的每一层，都大约舍弃掉50%左右的神经元。

8. 减少过拟合的方法：数据增强法

• 在曲线拟合中，如果数据足够多，过拟合的风险就会变小，因为足够多的数据会限制拟合函数的激烈变化，使得拟合函数更接近原函数。
  

9. 如何获得更多的数据？

• 除了尽可能收集更多的数据外，可以利用已有的数据产生一些新数据。比如想识别猫和狗，我们已经有了一些猫和狗的图片，那么可以通过旋转、缩放、局部截取、改变颜色等方法，将一张图片变换成很多张图片，使得训练样本数量数十倍、数百倍地增加。实验表明，通过数据增强可以有效提高神经网络的性能。

10. 总结

• 由于数据存在噪声等原因，在神经网络的训练过程中并不是损失函数越小越好，因为当训练到一定程度后，进一步减少训练集上的误差，反而会加大在测试集上的误差。这一现象称为过拟合。
• 有三种减少过拟合的方法：

（1）正则项法。也就是在损失函数中增加正则项，让权重尽可能地小，达到防止过拟合的目的。

（2）舍弃法。在训练过程中，随机地临时舍弃一部分神经元，每次舍弃都相当于只训练一个子网络。其结果相当于训练了多个子网络再集成在一起使用，网络的每个部分都得到了充分的训练，从而提高了神经网络的整体性能。

（3）数据增强法。一般来说，训练数据越大，训练的神经网络性能会越好。当没有足够多的训练数据时，可以通过对已有数据进行处理产生新的数据的办法，增大训练数据。这一方法称为数据增强方法。比如对于图像数据，可以通过旋转、缩放、局部截取、改变颜色等方法，将一张图片变换成很多张图片，使得训练样本数量数十倍、数百倍地增加。