模型的原始输出为什么叫 logits

模型的原始输出为什么叫 logits

flyfish

一、Logarithm（对数 log）

定义：对数是指数运算的逆运算，表示某个数在某个底数下的指数。
公式：若 $b^x=a$，则 ${\log }_b(a)=x$。

二、Odds（几率）与 Logit

1. Odds（几率）

• 定义：事件发生概率 $p$ 与不发生概率 $1-p$ 的比值。
• 公式：$\text{Odds}=\frac{p}{1-p}$。
• 意义：例如，概率 $p=0.75$ 对应 Odds $3:1$（成功比失败多 3 倍）。

2. Logit（对数几率）

• 定义：Odds 的自然对数。
• 公式：$\text{logit}(p)=\log \left(\frac{p}{1-p}\right)$。
• 作用：将概率 $p\in (0,1)$ 转换为实数范围 $(-\infty ,+\infty )$，便于线性模型处理。

**三、Logistic **

1. Logistic 分布

• 定义：一种连续概率分布，形状类似正态分布，但尾部更厚。
• 概率密度函数：
  $$f(x)=\frac{e^{-x}}{(1+e^{-x}{)}^2}$$

2. Logistic Function（逻辑函数）

• 定义：Logistic 分布的累积分布函数（CDF），即 sigmoid 函数。
• 公式：
  $$\sigma (z)=\frac{1}{1+e^{-z}}$$
• 特性：
  • S 型曲线，输入 $z\in \mathbb{R}$，输出 $\sigma (z)\in (0,1)$。
  • 导数形式简单：${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$，便于梯度计算。

3. Logistic Regression（逻辑回归）

• 任务：二分类问题。
• 模型：
  $$\text{logit}(p)={\mathbf{w}}^T\mathbf{x}+b\Rightarrow p=\sigma ({\mathbf{w}}^T\mathbf{x}+b)$$
• 损失函数：交叉熵损失。

四、Sigmoid vs. Softmax

术语	应用场景	公式	输出范围	作用
Sigmoid	二分类	$\sigma (z)=\frac{1}{1+e^{-z}}$	$(0,1)$	将单个 logit 转换为概率
Softmax	多分类	$\text{softmax}(z_i)=\frac{e^{z_i}}{{\sum }_j{e}^{z_j}}$	$(0,1)$ 且总和为 1	将多个 logits 转换为概率分布

五、Logits 的演变

1. 二分类中的 Logit

• 定义：逻辑回归中线性模型的输出 ${\mathbf{w}}^T\mathbf{x}+b$，即 $\text{logit}(p)$。
• 与概率的关系：通过 sigmoid 转换为概率。

2. 多分类中的 Logits

• 定义：多分类模型（如神经网络）的原始输出 $z_1,z_2,...,z_K$。
• 特点：
  • 未归一化（数值任意）。
  • 通过 softmax 转换为概率分布。
• 术语沿用原因：
  • 继承逻辑回归的 logit 概念，表示“概率的前兆”。
  • 强调与概率的非线性转换关系。

六、对比

术语	数学形式	应用场景	作用
Logarithm	${\log }_b(a)$	数学、科学计算	简化运算、压缩数值范围
Odds	$\frac{p}{1-p}$	概率与统计	表示事件发生的相对可能性
Logit	$\log \left(\frac{p}{1-p}\right)$	逻辑回归、二分类	将概率转换为线性模型可处理的实数
Logistic Function	$\frac{1}{1+e^{-z}}$	二分类、激活函数	将实数转换为概率
Logistic Regression	$p=\sigma ({\mathbf{w}}^T\mathbf{x}+b)$	二分类任务	建立特征与二分类标签的概率关系
Softmax	$\frac{e^{z_i}}{{\sum }_j{e}^{z_j}}$	多分类、激活函数	将多个 logits 转换为概率分布
Logits	$z_1,z_2,...,z_K$	模型输出	原始未归一化的分数，需通过激活函数处理

在AI中的 logits 单词的含义扩展为模型原始输出，无论是否为对数几率。