Python AI教程之十五：监督学习之决策树（6）高级算法C5.0决策树算法介绍

C5.0决策树算法

C5 算法由 J. Ross Quinlan 创建，是 ID3 决策树方法的扩展。它通过根据信息增益（衡量通过按特定属性进行划分而实现的熵减少量）递归地划分数据来构建决策树。

对于分类问题，C5.0 方法是一种决策树算法。它构建规则集或决策树，这是对 C4.5 方法的改进。根据算法运行产生最大信息增益的字段来划分样本。该方法递归地根据产生最高信息增益的字段来划分由初始划分确定的每个子样本。重复此过程，直到满足停止要求。

C5.0算法

C5.0 是之前ID3和C4.5算法的增强版本，是一种用于机器学习分类的强大决策树方法。它由 Ross Quinlan 创建，通过基于输入特征构建决策树来预测分类结果。C5.0 使用自上而下的递归方法划分数据集，在每个节点上选择最佳特征。它考虑生成的子组的大小和质量，同时使用信息增益和增益比标准确定最佳分割。C5.0 中包含修剪机制，以防止过度拟合并提高对新数据的泛化能力。它还可以很好地管理分类变量、数字属性和缺失值。生成的决策树为分类任务提供了易于理解的指导方针，并且由于其精确性、适应性和管理复杂数据集的能力，已广泛应用于各个领域。

如何选择最佳分割？

选择最佳分割是 C5 算法中的关键阶段，因为它建立了决策树的结构并最终影响其功能。C5 算法使用各种指标来评估分割并确定哪种分割可带来最大的信息增益或熵减少。

一组数据的不确定性或不可预测性可以用熵来衡量。它表示数据中的杂质程度以及 C5 算法中类标签的混乱程度。当熵很大时，拆分可能是有利的，因为它表示数据非常混乱。

相反，信息增益衡量的是数据根据某个特征划分时熵的减少量。它衡量了该特征在多大程度上有助于将数据点划分为更同质的组。信息增益越大的特征信息量越大，可以成功降低数据不确定性。

C5 算法在评估每个特征的所有潜在分割后，确定信息增益最优化的分割。通过遵循此过程，可以确保从输入中提取最相关的信息，从而构建决策树。

以下是在 C5 算法中选择最佳分割的分步说明：

• 确定数据集的整体熵：这为数据中的杂质提供了基线测量。
• 确定每个属性每次划分的熵：计算根据属性的潜在值对数据集进行分割后每次划分的熵。
• 计算每个属性的信息增益：取每个属性划分的平均熵，并从数据集的起始熵中减去该平均熵。此图显示了根据该特征划分数据产生的熵减少了多少。
• 选择产生最多信息增益的特征：决策树的当前节点选择分裂此属性，因为它被认为是最具信息量的。