激活函数入门学习

本篇文章从外行工科的角度尽量详细剖析激活函数，希望不吝指教！
学习过程如下，先知道这个东西是什么，有什么用处，以及怎么使用它：

1. 为什么使用激活函数

2. 激活函数总类及优缺点

3. 如何选择激活函数

激活函数：神经网络神经元中，输入的 inputs 通过加权求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。
如下图所示：

1.为什么使用激活函数？

2.激活函数总类及优缺点


3.如何选择激活函数？

• 如果输出是 0、1 值（二分类问题），则输出层选择 sigmoid 函数，然后其它的所有单元都选择 Relu 函数。
• 如果在隐藏层上不确定使用哪个激活函数，那么通常会使用 Relu 激活函数。有时，也会使用 tanh 激活函数，但 Relu 的一个优点是：当是负值的时候，导数等于 0。
• sigmoid 激活函数：除了输出层是一个二分类问题，基本不会用它。
• tanh 激活函数：tanh 是非常优秀的，几乎适合所有场合。
• ReLu 激活函数：最常用的默认函数，如果不确定用哪个激活函数，就使用 ReLu 或者 Leaky ReLu，再去尝试其他的激活函数。
• 如果遇到了一些死的神经元，我们可以使用 Leaky ReLU 函数。

以上内容总结多篇文章，供作者及刚入门小白学习，如有错误希望指出！