什么是神经网络的非线性

大家好啊，我是董董灿。

最近在写《计算机视觉入门与调优》（右键，在新窗口中打开链接）的小册，其中一部分说到激活函数的时候，谈到了神经网络的非线性问题。

今天就一起来看看，为什么神经网络需要非线性，或者说为什么它是一个非线性系统。

1、线性系统是什么样的

先看一个基础知识：线性函数，这是我们在初中就学过的知识点。

假设有一个线性函数：y = kx + b, 这个函数画出来是下面的样子，也就是说， y 和 x 是线性关系。

而这个时候如果又有一个线性函数 z = hy + d，那么，我们可以推断出，变量 z 和 x 同样也是线性关系。

为什么呢? 可以通过下面的变换得到。

z = hy + d

   = z(kx + b) + d

   = zk x + zb + d

   = zk(x) + (zb + d)

令 zk = K， zb + d = B，那么 z 和 x 的关系就可以写出 z = Kx + B

所以，z 和 x 同样是线性关系。

这里想说的一个原理是：多个线性系统的叠加，最终还会是线性系统。

2、神经网络是什么系统呢？

回到神经网络，我们知道卷积的算法公式是 y = x * w,，其中 x 是输入数据，w 是权值，中间的 * 代表卷积计算。关于卷积可以查看：5分钟搞懂卷积。

那么x * w 是线性关系还是非线性关系呢？不好意思，就是线性关系。

这是因为卷积的核心计算是乘累加运算，所以，卷积算法也是线性的。

假设神经网络是由大量的卷积算法一层接着一层组成。如果没有非线性因素的引入，那么在数学模型上，这个大的卷积堆砌的模型就会退化成一个简单的线性模型，这就使得多层卷积失去了意义。

层数再多也没用，因为数学上等价于一个卷积，看下图解释的更清楚一些。

这就是原因所在。

所以在很多神经网络模型中，都需要引入非线性因素，从而使得神经网络模型可以拟合成更加复杂多变的非线性系统。

这样模型就可以处理复杂的任务，而不用担心模型在数学上仅仅是一个简单的线性模型了。

怎么引入非线性因素呢？

最常见的方法就是在卷积层后面增加一层非线性的激活层，这也是为什么在很多卷积算法后面，都能看到 relu 函数的原因。

延伸阅读，请参考：神经网络的非线性思想，真的神了。