【机器学习理论】生成模型和判别模型

生成模型和判别模型是机器学习中两种不同的建模方式。生成模型关注的是联合概率分布$P(X,Y)$，即同时考虑数据$X$和标签$Y$的关系；判别模型则直接学习条件概率$P(Y|X)$或决策边界。

生成模型

生成模型的目标是学习联合概率分布$P(X,Y)$，即同时建模输入数据$X$和标签$Y$的联合分布。
核心公式：
$$P(X,Y)=P(Y)\cdot P(X|Y)$$
通过这个分布，模型可以：

1. 推断标签的后验概率$P(Y|X)$（通过贝叶斯定理）。
2. 生成新的数据样本（如生成图像、文本等）。

在垃圾邮件分类中，朴素贝叶斯会分别学习正常邮件和垃圾邮件的词频分布（即$P(词语|正常)$和$P(词语|垃圾)$），在结合后验概率$P(正常)$和$P(垃圾)$，通过贝叶斯定理计算后验概率$P(类别|邮件内容)$。

判别模型

判别模型直接学习条件概率 $P(Y\mid X)$ 或决策边界，即仅关注输入 $X$ 和标签 $Y$ 之间的映射关系。它的目标是最大化分类准确率，而非建模数据生成过程。
核心公式：
$$P(Y|X)或直接学习映射f:X\to Y$$

例如：对于一个二分类问题，逻辑回归直接建模$P(Y=1|X)=\sigma (w^{T}X+b)$，（其中$\sigma$是sigmoid函数，$X$是特征向量），找到最佳参数$w$和$b$，以最大化训练数据的似然函数，从而直接区分两类数据。