从函数到神经网络

所有一切的前提是，你要相信这个世界上的所有逻辑和知识，都可以用一个函数来表示。Functions describe the world !

比如输入物体的质量和加速度，根据牛顿第二定律，就可以得到物体施加的力，这就是人工智能早期的思路：符号主义。

但这条路走到头了，很多问题人类实在是想不出怎么写成一个明确的函数。比如说一个简简单单的识别，一张图片是否是猫对人类来说可能简单到爆炸，但是要让计算机运行一段程序来识别，一下子就变成了一个史诗级难题，就连有着明确语法规则和词典的翻译函数尚且没有办法做到足够丝滑，更别说复杂多变的人类智能了。

既然不知道这个函数长什么样，怎么办呢？换个思路：

假如我们一开始没有找到这个规律，我们先把这个x、y放到坐标轴上，先随便猜一下。比如说函数关系就是y等于x,也就是这里的w和b分别是一和零，然后我们一点点调整这个w和b，使得这条直线越来越贴近真实数据。

刚刚我们举的例子比较简单，只用直线方程就可以表示了。但假如数据稍稍变化一下，就会发现，不论怎么调整都无法接近真实的数据，这个时候就需要从原来的线性函数进化到非线性函数了，我们就来研究一下，怎么把原来这个原本线性的函数变成非线性的呢？

很简单，在这个函数最外层再套一个非线性的运算就可以了。比如平方、比如sin(wx+b)、比如e^wx+b，这就是激活函数。
它的目的就是把原本死气沉沉的线性关系给盘活了，变成了变化能力更强的非线性关系。

回到这个新的函数形式，我们之前仅仅有一个输入的变量就是x，但实际上可能有很多输入。所以这里的每一个x都要对应一个w，像这样：

再者，有的时候只套一层激活函数，还是没有办法达到很好的效果。也就是说这个曲线弯的还不够灵活，这要怎么办？

我们在此基础之上再进行一次线性变换，然后再套上一个激活函数，这样就可以无限的套娃下去了。通过这样的方式，我们就可以构造出非常非常复杂的线性关系，而且理论上可以逼近任意的连续函数。当然了，这样写下去实在是太让人头大了，普通人看个两层，估计脑子就炸了，所以我们得换一种更傻瓜的、更直观的形式，我们把这样一个线性变换套一个激活函数 画成下面这样：

左边是输入层，只有输入x，右边是输出层，只有一个输出y。我们把这里的每一个小圈圈叫做一个神经元。

每套一层就相当于神经元水平方向又扩展了一个。当然扩展之后，中间这一层就不再是最终的输出了，而是包裹在了一个很复杂的函数变换之中看不到，我们管它叫做隐藏层，而整个神经元互相连接形成的网络结构，就叫做神经网络。

好，接下来我们看一下函数和神经网络的对应关系。首先有两个输入变量，一个是x1，另一个是x2，它们构成了输入层，然后x1、x2二进行一次线性变换，再进行一次激活函数就得到了隐藏层a，这个a对应的就是上面这一大坨表达式，我们把它当做一个整体，继续进行一次线性变换和一次激活函数，这就计算出了最终的输出层y。从神经网络的这个图来看的话，似乎就像是一个信号，从左到右传播了过去，这个过程就叫做神经网络的前向传播。实际上就是一点点分步骤，把一个函数的值计算出来了而已。

神经网络的每一层神经元都可以无限增加。同时，隐藏层的层数也可以无限增加，进而就可以构成一个非常非常复杂的非线性函数了。虽然这个函数可能非常复杂，但是我们的目标却非常简单和明确，就是根据已知的一组x和y的值，猜出所有w和b各是多少。

参考：https://space.bilibili.com/325864133