Day 13：朴素贝叶斯分类器

Day 13朴素贝叶斯分类器 目录朴素贝叶斯概述贝叶斯定理基础朴素贝叶斯的“朴素”假设三种朴素贝叶斯模型详解朴素贝叶斯的优缺点拉普拉斯平滑第一部分朴素贝叶斯概述1.1 什么是朴素贝叶斯朴素贝叶斯Naive Bayes是一系列基于贝叶斯定理的分类算法核心假设是特征之间相互独立。关键特点属于生成式模型学习联合概率P(X,Y)P(X,Y)P(X,Y)训练速度极快只需计算概率对小数据集表现良好1.2 应用场景应用领域例子特点文本分类垃圾邮件过滤、情感分析特征独立假设基本成立金融预警极端涨跌预警、信用评分快速筛选高风险样本医疗诊断疾病预测可解释性强推荐系统用户偏好预测冷启动友好1.3 朴素贝叶斯与其他模型对比特性逻辑回归KNNSVM朴素贝叶斯训练速度快无训练慢最快预测速度快慢快最快小数据表现一般好差优秀可解释性高低低高特征独立假设无无无有第二部分贝叶斯定理基础2.1 条件概率定义在事件 B 发生的条件下事件 A 发生的概率。P(A∣B)P(A∩B)P(B) P(A|B) \frac{P(A \cap B)}{P(B)}P(A∣B)P(B)P(A∩B)​2.2 贝叶斯定理P(A∣B)P(B∣A)⋅P(A)P(B) P(A|B) \frac{P(B|A) \cdot P(A)}{P(B)}P(A∣B)P(B)P(B∣A)⋅P(A)​解读P(A)P(A)P(A)先验概率观察到数据前的信念P(B∣A)P(B|A)P(B∣A)似然给定类别下数据的概率P(B)P(B)P(B)证据数据的边际概率P(A∣B)P(A|B)P(A∣B)后验概率观察到数据后的信念2.3 应用到分类问题对于分类问题我们想计算P(yc∣x)P(x∣yc)⋅P(yc)P(x) P(y c|\mathbf{x}) \frac{P(\mathbf{x}|yc) \cdot P(yc)}{P(\mathbf{x})}P(yc∣x)P(x)P(x∣yc)⋅P(yc)​预测规则y^arg⁡max⁡cP(yc∣x)arg⁡max⁡cP(x∣yc)⋅P(yc) \hat{y} \arg\max_c P(y c|\mathbf{x}) \arg\max_c P(\mathbf{x}|y c) \cdot P(y c)y^​argcmax​P(yc∣x)argcmax​P(x∣yc)⋅P(yc)由于P(x)P(\mathbf{x})P(x)对所有类别相同可以忽略。第三部分朴素贝叶斯的“朴素”假设3.1 特征独立性假设核心假设给定类别yyy后各个特征之间条件独立。P(x∣yc)P(x1,x2,…,xn∣yc)∏i1nP(xi∣yc) P(\mathbf{x}|y c) P(x_1, x_2, \ldots, x_n|y c) \prod_{i1}^n P(x_i|y c)P(x∣yc)P(x1​,x2​,…,xn​∣yc)i1∏n​P(xi​∣yc)3.2 为什么这个假设“朴素”现实情况特征之间通常存在相关性。金融数据例子RSI 和 MACD 都与价格相关 → 它们不独立今日收益率和明日收益率 → 时间序列自相关为什么还管用模型对依赖关系具有一定鲁棒性在小数据集上表现优异决策边界可能仍然正确3.3 独立性假设的影响情况效果特征完全独立最优分类器特征弱相关仍可良好工作特征强相关概率估计不准但分类边界可能仍正确第四部分三种朴素贝叶斯模型4.1 高斯朴素贝叶斯Gaussian Naive Bayes适用场景连续特征假设服从正态分布。公式P(xi∣yc)12πσic2exp⁡(−(xi−μic)22σic2) P(x_i|y c) \frac{1}{\sqrt{2\pi\sigma_{ic}^2}} \exp\left(-\frac{(x_i-\mu_{ic})^2}{2\sigma_{ic}^2}\right)P(xi​∣yc)2πσic2​​1​exp(−2σic2​(xi​−μic​)2​)其中μic\mu_{ic}μic​类别ccc中特征iii的均值σic2\sigma_{ic}^2σic2​类别ccc中特征iii的方差在量化中应用技术指标RSI、MACD、波动率收益率序列4.2 多项式朴素贝叶斯Multinomial Naive Bayes适用场景离散特征如词频计数假设服从多项分布。公式P(x∣yc)(∑ixi)!∏ixi!∏iP(xi∣yc)xi P(\mathbf{x}|y c) \frac{(\sum_i x_i)!}{\prod_i x_i!} \prod_i P(x_i|y c)^{x_i}P(x∣yc)∏i​xi​!(∑i​xi​)!​i∏​P(xi​∣yc)xi​在量化中应用新闻情感词频分析订单流计数数据4.3 伯努利朴素贝叶斯Bernoulli Naive Bayes适用场景二值特征0/1假设服从伯努利分布。公式P(xi∣yc)P(xi1∣yc)xi⋅(1−P(xi1∣yc))1−xi P(x_i|y c) P(x_i 1|y c)^{x_i} \cdot (1 - P(x_i 1|y c))^{1 - x_i}P(xi​∣yc)P(xi​1∣yc)xi​⋅(1−P(xi​1∣yc))1−xi​在量化中应用技术指标的二值化如 RSI 70 → 1事件标志如财报发布 → 14.4 模型选择指南数据类型推荐模型例子连续值正态分布高斯NB技术指标、收益率计数/频数多项式NB词频、交易次数二值特征伯努利NB阈值化后的指标第五部分朴素贝叶斯的优缺点5.1 优点优点说明训练极快只需计算统计量均值、方差、概率预测极快简单的查表和乘法运算小数据友好不需要大量样本天然处理多分类直接计算每类概率可解释性强可以查看每个特征的影响对无关特征鲁棒独立假设使其不受无关特征影响5.2 缺点缺点说明解决方案特征独立假设现实中很少成立特征选择、降维零概率问题未出现过的特征组合概率为0拉普拉斯平滑概率估计不准独立假设导致概率失真关注分类而非概率对特征分布敏感高斯假设可能不成立尝试其他分布或分箱5.3 在量化交易中的价值核心价值快速筛选和预警系统当需要极快的预测速度如实时风控或处理高维稀疏数据时朴素贝叶斯是理想的基线模型和预警系统。第六部分拉普拉斯平滑Laplace Smoothing6.1 零概率问题问题如果测试集中出现训练集未出现过的特征值概率会变成 0。P(xi∣yc)NicNc0⇒P(yc∣x)0 P(x_i|y c) \frac{N_{ic}}{N_c} 0 \Rightarrow P(y c|\mathbf{x}) 0P(xi​∣yc)Nc​Nic​​0⇒P(yc∣x)06.2 拉普拉斯平滑公式P(xi∣yc)NicαNcαK P(x_i|y c) \frac{N_{ic} \alpha}{N_c \alpha K}P(xi​∣yc)Nc​αKNic​α​其中NicN_{ic}Nic​类别ccc中特征iii的计数NcN_cNc​类别ccc的总样本数KKK特征iii的可能取值数α\alphaα平滑参数通常取 1→加一平滑6.3 平滑参数的影响α 值效果α 0无平滑可能过拟合α 1加一平滑最常用α 1强平滑适用于高维稀疏数据