深度学习：激活函数曲线总结

深度学习：激活函数曲线总结

在深度学习中有很多时候需要利用激活函数进行非线性处理，在搭建网路的时候也是非常重要的，为了更好的理解不同的激活函数的区别和差异，在这里做一个简单的总结，在pytorch中常用的激活函数的数学表达形式，同时为了更直观的感受，给出不同激活函数的曲线形式，方便查询。

import torch
import torch.nn as nn
x = torch.linspace(-4, 4, 400) # 在-4和4之间画400个点。

1. nn.leakyReLU()

给负值一个斜率，不全为零。

• 数学公式：
  $$\text{LeakyReLU}(x)=\{\begin{array}{ll}x,& \text{ if }x\ge 0\\ \text{negative\_slope}\times x,& \text{ otherwise }\end{array}$$

leakyrelu = nn.LeakyReLU(negative_slope=0.01)

negative_slope 是一个小于1的值，通常设置为0.01，用于控制在输入小于0时的输出斜率。这意味着在nn.LeakyReLU中，负数输入会乘以negative_slope，而正数输入保持不变。

• 对应曲线：

2. nn.Relu()

ReLU是一个常用的激活函数，它将负数值设为0，保持正数值不变。

• 数学公式：
  $$\text{ReLU}(x)=(x{)}^{+}=\max (0,x)$$

relu = nn.ReLU()

• 函数曲线：
  

3. nn.Tanh()

Tanh函数将输入映射到-1和1之间

• 数学公式
  $$\text{Tanh}(x)=\tanh (x)=\frac{\exp (x)-\exp (-x)}{\exp (x)+\exp (-x)}$$

Tanh = nn.Tanh()

• 函数曲线
  

4. nn.PReLU()

PReLU是具有可学习参数的激活函数，用于克服ReLU的一些问题

• 数学公式
  $$\text{RReLU}(x)=\{\begin{array}{ll}x& \text{if }x\ge 0\\ ax& \text{ otherwise }\end{array}$$

PReLU = nn.PReLU(num_parameters=1)

• 函数曲线

5. nn.ELU()

所有点上都是连续的和可微的，训练快

• 数学公式：
  $$\text{ELU}(x)=\{\begin{array}{ll}x,& \text{ if }x>0\\ \alpha \ast (\exp (x)-1),& \text{ if }x\le 0\end{array}$$

ELU = nn.ELU()

• 函数曲线
  

6. nn.SELU()

• 数学公式：
  $$\text{SELU}(x)=\text{scale}\ast (\max (0,x)+\min (0,\alpha \ast (\exp (x)-1)))$$

SELU = nn.SELU()

• 函数曲线：
  

7. nn.GELU()

• 数学公式：
  $$\text{GELU}(x)=x\ast \Phi (x)$$

GELU = nn.GELU()

• 函数曲线：
  

8. nn.Mish()

• 数学公式：
  $$\text{Mish}(x)=x\ast \text{Tanh}(\text{Softplus}(x))$$

Mish = nn.Mish()

• 函数曲线：
  

9 . nn.Softmax()

• 数学公式：
  $$\text{Softmax}(x_i)=\frac{\exp (x_i)}{{\sum }_j\exp (x_j)}$$

Softmax = nn.Softmax()
y = Softmax(x)

• 函数曲线：
  

总结

感觉还是看曲线的形状，把大体的形状记住更直观些。