深度学习的“前世今生”

1、“感知机”的诞生

20世纪50年代，人工智能派生出了这样两个学派，分别是“符号学派”及“连接学派”。前者的领军学者有Marvin Minsky及John McCarthy，后者则是由Frank Rosenblatt所领导。

“符号学派”的人相信对机器从头编程，一个模块一个模块组合最终可以得到比人类更智慧的机器；

而“连接学派”则选择了截然不同的道路：模仿大脑，制造大脑，最终超越人类。

“连接学派”的领导者Frank Rosenblatt通过模仿人类神经元的工作原理，制作出了感知机（perceptron）,如下图所示：

感知机被证明可以很好地处理线性决策边界分类问题，但对于非线性的分类问题则表现得非常差。

与此同时，“符号学派”的科学家正忙着编写解决代数问题的程序，或用机器人手臂堆砌构造模块。在当时，这两个学派都没有取得太大的进展。但他们都很会推销自己，“连接学派”的人宣称：感知机是实现智能机器的第一步，一旦成功，所获得的智能体不仅仅是更聪明而且还会有自我意识。这获得了广大群众的广泛关注。而“符号学派”则更多地受到了来自学术领域的关注，因此获得了更多的资助。可以说“连接学派”挣得了"面子"，而符号学派获得了“里子”。

不可否认的是，在50年代到60年代中叶这段时期，“连接学派”凭借着广泛的公众熟识度确实为其赢得了不少的资助，但这在“符号学派”的领军人Marvin Minsky看来，这就是在浪费纳税人的钱。因此他决定自己也参与研究“连接学派”的主张，以期能够从专业的角度击败它。

很快地，他发表了一本名为《感知机》的书，书中着重抨击了使用单独的感知机无法处理非线性分类问题。但即便是他也不得不同意Frank Rosenblatt的观点，那就是多层的感知机可以处理非线性问题，但在当时那个阶段这被认为是不可能实现的事情。

很快，“连接学派”的科研人员处境日渐落寞。到了70年代，伴随着Frank Rosenblatt在一次帆船运动中不幸逝世，连接学派似乎就此退出了学术舞台。

2、神经网络

但事情很快出现了转机。。。

二十世纪七十年代，机器学习的研究者发现：反向传递可以应用到多层感知器（神经网络）的梯度计算中。这也就意味着感知器不能处理非线性分类问题的缺憾得到了弥补，“连接学派”的春天终于到来了。

但经过了近二十年的发展，神经网络的发展似乎又遇到了瓶颈。反向传递技术的应用固然挽救了“连接学派”，挽救了感知机，但随着神经网络层数的增加，出现过拟合的风险越来越大，这也就意味着神经网络似乎无法升级为深度神经网络。

3、深度神经网络/深度学习

20世纪90年代到本世纪初，相关的研究人员又取得了巨大的突破。他们开发了全新的权重矩阵初始化方法、全新的激活函数（Relu系列）、dropout，从而很好地克服了原本神经网络在进行反向传递过程中出现的梯度消失或爆炸、以及神经元死亡的现象。此外，过拟合风险显著降低，训练速度显著提升。与此同时另一部分人开发了全新的神经网络搭建方法，如卷积神经网络（CNN），循环神经网络（RNN）等。这些新架构填补了过去几十年间人工智能相关领域的空白。

此外，深度神经网络的发展也享受到了硬件设备升级所带来的红利。2000年初，GPU广泛应用到了计算领域，极大幅度地提升了神经网络的表现。

2012年，深度网络研究团队成员（Geoffrey Hinton、 Alex Krizhevsky、 Ilya Sutskever）在图像计算机视觉比赛上使用卷积神经网络模型AlexNet，以84.7%的准确率击败了在此之前表现最好的ImageNet模型（75%）。由此受到了人们的广泛关注。以此作为分水岭，神经网络改头换面，它有了新的名字：深度学习。