NBM 算法【python，算法，机器学习】

朴素贝叶斯法（Naive Bayes model）是基于贝叶斯定理与特征条件独立假设的分类方法。

贝叶斯定理

$P(A|B)=\frac{P(B|A)\ast P(A)}{P(B)}$
其中A表示分类，B表示属性，因此此公式更通俗的表述如下：
$P(分类|属性)=\frac{P(属性|分类)\ast P(分类)}{P(属性)}$
即在已知属性B的前提下，分类为A的概率等于似然率(已知分类中属性B的概率)乘以先验概率（分类A的概率）除以证据概率(属性B的概率)。

优点

1. 对于大量数据的预测靠谱。
2. 计算简便。

缺点

1. 属性之间必须独立。
2. 选取没有相互干涉的属性是难点。

举例：在夏季，某公园男性穿凉鞋的概率为 1/2 ，女性穿凉鞋的概率为 2/3 ，
并且该公园中男女比例通常为 2:1 ，问题：若你在公园中随机遇到一个穿凉鞋的人，
请问他的性别为男性或女性的概率分别为多少？

P(男|穿凉鞋)=P(穿凉鞋|男)P(男)/P(穿凉鞋)
= 1/2 * 2/3 / (2/3 * 1/2 + 1/3 2/3)
= 1/3 / (1/3+2/9)
= 3/5

P(女|穿凉鞋)=P(穿凉鞋|女)P(女)/P(穿凉鞋)
= 2/3 * 1/3 / (2/3 * 1/2 + 1/3 2/3)
= 2/9 / (1/3+2/9)
= 2/9 * 9/5
= 2/5

所以在公园里，随机遇到一个穿凉鞋的人，性别为女男的概率是 3/5，性别为女的概率为 2/5。

怎样避免0概率问题

使用拉普拉斯修正，修改公式如下：
$\hat{P}(C=c_j)=\frac{N(c_j)+1}{N+C}$
上式表示$c_j$分类的概率，其中 C 表示分类数量，N 表示所有的数量。
$\hat{P}(x_i|C=c_j)=\frac{N(x_i|C=c_j)+1}{N+X}$
上式表示特定$x_i$属性中类$c_j$的概率，其中 X 表示属性数量。

高斯朴素贝叶斯分类器

1. 高斯分布
   $P(x_i|\mu ,\sigma )=\frac{1}{(2\pi {\sigma }^2{)}^{\frac{1}{2}}}\ast e^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}}$
   其中$\mu =\frac{1}{N}\sum _{i=1}^N{x}_i$表示样本的期望，${\sigma }^2=\frac{1}{N}\sum _{i=1}^N(x_i-\mu {)}^2$表示样本的方差。
   如果要使用无偏差估计，N 取 N+1。
2. 如果特征值服从高斯分布，那么根据特征值估计分类概率的公式如下：
   $\hat{P}(x_i|C=c_i)=\frac{1}{(2\pi {\sigma }_{ij}^2{)}^{\frac{1}{2}}}\ast e^{-\frac{(x_i-\mu ij{)}^2}{2{\sigma }_{ij}^2}}$
   其中${\mu }_{ij}$表示分类为$c_i$时，属性$x_j$的期望，
   ${\sigma }_{ij}^2$表示分了为$c_i$时，属性$x_j$的方差。