深度学习模型常用激活函数集合

       激活函数是深度学习模型中的关键组成部分，用于引入非线性特性，使神经网络能够学习复杂的模式和映射关系；神经网络本质上是一个复合函数。如果没有激活函数，无论网络有多少层，其输出都只是输入的线性组合。激活函数通过引入非线性，使模型能够拟合复杂的非线性数据分布；激活函数决定了神经元在给定输入下的输出值，从而控制神经元是否被激活；一些激活函数（如ReLU）具有稀疏性和计算效率高的特点，有助于加快训练过程；下面是对一些常用激活函数的汇总介绍： 

一、激活函数

       激活函数一般分为两类，一类是嵌入到某个主干网络层的后面，例如卷积层+BN层的后面；一类是嵌入到模型最后的head层做具体的输出，例如分类、概率输出等；

1.1 嵌入主干网络

1.1.1. Tanh（双曲正切函数）

• 公式：

• 特点：
  输出范围为 (-1, 1)，是对称版本的Sigmoid函数。相比Sigmoid，梯度下降更快，但也容易出现梯度消失问题。
• 应用场景：
  常用于隐藏层。

1.1.2. ReLU（Rectified Linear Unit）

• 公式：

• 特点：
  计算简单，能有效缓解梯度消失问题。但可能导致“神经元死亡”（部分神经元永远输出0）。
• 应用场景：
  是目前最常用的激活函数之一，广泛应用于卷积神经网络（CNN）和全连接网络。

1.1.3. Leaky ReLU

• 公式：

• （α 是一个小的正数）
• 特点：
  解决了ReLU的“神经元死亡”问题，允许负值输入有小的梯度。
• 应用场景：
  替代ReLU以避免梯度消失。

1.1.4. ELU（Exponential Linear Unit）

• 公式：

• 特点：
  在负值区域平滑过渡，减少梯度消失问题。
• 应用场景：
  隐藏层。

1.1.5. Swish

• 公式：

• 特点：
  自门控激活函数，由Google提出，在某些任务中表现优于ReLU。
• 应用场景：
  新兴的激活函数，适用于多种深度学习任务。

1.1.6. GELU

• 公式：

• 特点：
  GELU 是一个连续且平滑的函数，避免了 ReLU 在 x=0x=0 处不可导的问题；GELU 的输出依赖于输入 xx 和其概率分布，具有自适应特性，能够更好地捕捉数据的非线性关系；类似于 ReLU 和 ELU，GELU 在负值区域也有一定的梯度，可以有效缓解梯度消失问题；由于涉及误差函数或双曲正切函数，GELU 的计算成本比 ReLU 稍高；
• 应用场景：
  GELU 是 Transformer 模型（如 BERT、GPT 等）中的默认激活函数之一，尤其适合处理文本数据，能够提升模型对语义的理解能力；

1.2 嵌入head层

 1.2.1. Sigmoid（σ）

• 公式：

  

• 特点：
  输出范围为 (0, 1)，适合用作二分类问题的概率输出。但存在梯度消失问题（当输入较大或较小时，导数接近零）。
• 应用场景：
  主要用于输出层的二分类任务。

 1.2.2. Softmax

• 公式：

• 特点：
  将多个类别的输出转化为概率分布，常用于多分类任务。
• 应用场景：
  输出层的多分类问题。

二、总结

激活函数的选择取决于具体任务和网络结构：

• 分类问题：Sigmoid（二分类）、Softmax（多分类）。
• 回归问题：通常不使用激活函数或选择线性激活函数。
• 隐藏层：ReLU及其变体（Leaky ReLU、ELU等）是最常用的选择。

通过合理选择激活函数，可以显著提升模型的性能和训练效率。