朴素贝叶斯 贝叶斯方法

朴素贝叶斯 贝叶斯方法

背景知识

• 贝叶斯分类：贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。
• 先验概率：根据以往经验和分析得到的概率。我们用$P(Y)$来代表在没有训练数据前假设Y拥有的初始概率
• 后验概率：根据已经发生的事件来分析得到的概率。以$P(X|Y)$ 代表假设X 成立的情下观察到Y数据的概率，因为它反映了在看到训练数据X后Y成立的置信度。
• 联合概率:指在多元的概率分布中多个随机变量分别满足各自条件的概率。X与Y的联合概率表示为$P(X,Y)$或$P(XY)$

（假设X和Y都服从正态分布，那么P(X < 5,y < 0.5)就是一个联合概率，表示 X < 5,y <0.5两个条件同时成立的概率。表示两个事件共同发生的概率。）

贝叶斯公式

$$P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{P(X|Y)P(Y)}{P(X)}$$

• 朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布 $P(X,Y)$，然后求得后验概率分布$P(Y|X)$。具体来说，利用训练数据学习$P(X|Y)$(似然度）和$P(Y)$(先验概率)的估计，得到联合概率分布$P(X,Y)=P(X|Y)P(Y)$