机器学习 贝叶斯公式

这是条件概率的计算公式

𝑃(𝐴|𝐵)=𝑃(B|A)𝑃(𝐴)/𝑃(𝐵)

全概率公式

𝑃(𝐵)=𝑃(𝐵|𝐴)𝑃(𝐴)+𝑃(𝐵|𝐴′)𝑃(𝐴′)
 

条件概率的另一种写法：

​

​

贝叶斯推断

对条件概率公式进行变形，可以得到如下形式:

我们把P(A)称为"先验概率"（Prior probability），即在B事件发生之前，我们对A事件概率的一个判断。

P(A|B)称为"后验概率"（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。

P(B|A)/P(B)称为"可能性函数"（Likelyhood），这是一个调整因子，使得预估概率更接近真实概率。

所以，条件概率可以理解成下面的式子：

后验概率＝先验概率ｘ调整因子

这就是贝叶斯推断的含义。我们先预估一个"先验概率"，然后加入实验结果，看这个实验到底是增强还是削弱了"先验概率"，由此得到更接近事实的"后验概率"。

朴素贝叶斯推断

理解了贝叶斯推断，那么让我们继续看看朴素贝叶斯。贝叶斯和朴素贝叶斯的概念是不同的，区别就在于“朴素”二字，朴素贝叶斯对条件概率分布做了条件独立性的假设。 比如下面的公式，假设有n个特征：

根据贝叶斯定理，后验概率 P(a|X) 可以表示为：

​

其中：

P(X|a) 是给定类别 ( a ) 下观测到特征向量 ​的概率；

P(a) 是类别 a 的先验概率；

P(X) 是观测到特征向量 X 的边缘概率，通常作为归一化常数处理。

朴素贝叶斯分类器的关键假设是特征之间的条件独立性，即给定类别 a ，特征 ​ 和 ​ (其中 ​ 相互独立。)

因此，我们可以将联合概率 P(X|a) 分解为各个特征的概率乘积：

​

将这个条件独立性假设应用于贝叶斯公式，我们得到：

​

这样，朴素贝叶斯分类器就可以通过计算每种可能类别的条件概率和先验概率，然后选择具有最高概率的类别作为预测结果。

from sklearn.datasets import load_iris

from sklearn.naive_bayes import MultinomialNB

from sklearn.model_selection import train_test_split

import joblib

model=MultinomialNB()

x,y=load_iris(return_X_y=True)

x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2)

model.fit(x_train,y_train)

score=model.score(x_test,y_test)

print(score)

joblib.dump(model,'../model/bayes.bin')

model=joblib.load('../model/bayes.bin')

y_predict=model.predict([[1,2,3,4]])

print(y_predict)

​