【NLP 8、normalization归一化函数：sigmoid、softmax】

目录

Normalization（归一化）

1.特点

目的

应用场景

输出范围

2. Sigmoid 函数

目的

应用场景

输出范围

3. Softmax 函数

目的

应用场景

输出范围

---

"燃尽最后的本能，意志力会带你杀出重围"        

                                                        —— 24.12.2

Normalization（归一化）

归一化是将数据转换为具有统一尺度的形式，通常用于数据预处理阶段。常见的归一化方法包括 Min-Max归一化、Z-Score 归一化和 L2 归一化。

1.特点

目的

消除数据特征之间的量纲差异，使得不同特征对模型的影响更加均衡。

应用场景

数据预处理阶段，用于提高模型的训练效果和泛化能力。

输出范围

取决于具体的归一化方法

Min-Max 归一化：[0,1] 或 [-1,1]

Z-Score 归一化：均值为0，标准差为1

L2 归一化：向量的 L2 范数为 1

---

2. Sigmoid 函数

Sigmoid 函数是一种非线性激活函数，将输入值压缩到 (0, 1) 之间。其数学表达式为：

目的

将输入值压缩到(0，1)之间，适合用于二分类问题。

应用场景

二分类问题中的输出层，需要将输出值解释为概率

输出范围

(0，1)

---

3. Softmax 函数

Softmax 函数也是一种非线性激活函数，将输入值转换为概率分布。其数学表达式为：

其中，Xi 是输入向量的第 i 个元素，n 是输入向量的维度

目的

将输入值转换为概率分布，使得所有输出值的和为1。

应用场景

多分类问题中的输出层，需要将输出值解释为概率分布

输出范围

(0,1)，且所有输出值的和为 1