大数据-273 Spark MLib - 基础介绍 机器学习算法 决策树 分类原则 分类原理 基尼系数 熵

点一下关注吧！！！非常感谢！！持续更新！！！

大模型篇章已经开始！

• 目前已经更新到了第 22 篇：大语言模型 22 - MCP 自动操作 Figma+Cursor 自动设计原型

Java篇开始了！

• MyBatis 更新完毕
• 目前开始更新 Spring，一起深入浅出！

目前已经更新到了：

• Hadoop（已更完）
• HDFS（已更完）
• MapReduce（已更完）
• Hive（已更完）
• Flume（已更完）
• Sqoop（已更完）
• Zookeeper（已更完）
• HBase（已更完）
• Redis （已更完）
• Kafka（已更完）
• Spark（已更完）
• Flink（已更完）
• ClickHouse（已更完）
• Kudu（已更完）
• Druid（已更完）
• Kylin（已更完）
• Elasticsearch（已更完）
• DataX（已更完）
• Tez（已更完）
• 数据挖掘（已更完）
• Prometheus（已更完）
• Grafana（已更完）
• 离线数仓（已更完）
• 实时数仓（正在更新…）
• Spark MLib (正在更新…)

决策树简介

基本介绍

决策树是一种非线性有监督分类模型，程序设计中的条件分支结构就是 if-else 结构

决策树的特点：
● 是一种树形结构，本质上一颗由多个判断节点组成的树
● 其中每个内部节点表示一个属性上的判断
● 每个分支代表一个判断结果的输出
● 最后每个叶节点比代表一种分类结果

下面是一个简单的例子：

核心思想

通过一系列“如果 … 那么 …”的分裂规则，把复杂的决策过程拆解成若干简单判断，最终落到叶节点给出预测或决策。

适用任务

分类（Classification）与 回归（Regression）皆可；也常用于特征工程（如自动分箱）与可解释性分析。

代表算法

ID3、C4.5、CART（最常用），以及衍生的集成方法：随机森林（Random Forest）、梯度提升树（GBDT / XGBoost / LightGBM / CatBoost）。

结构与术语

            root┌─┴───────┐internal     internalnode1         node2┌──┴──┐          │leaf  leaf       leaf

• 根节点 (root)：包含完整样本集
• 内部节点 (internal/decision node)：依据某特征和阈值把样本划分成更“纯净”的子集
• 叶节点 (leaf / terminal node)：输出类别标签或数值预测结果
• 路径 (path)：从根到叶的一条决策链，相当于一个规则组合

分类原则

要按照前四列的信息，使用决策树预测车祸的发生，如何选择根节点呢？

按照天气

按照“天气”列作为根节点，使用决策树预测，如图：

按照温度

按照“温度”列作为根节点，使用决策树预测，如图：

按照湿度

按照风

简单总结

只有使用天气作为根节点时，决策树的高度相对低而且树的两边能将数据分类的更彻底（其他列作为根节点时，树两边分类不纯粹，都有天气）

分类原则总结：
决策树构建过程就是数据不断分裂的递归过程，每一次分裂，尽可能让类别一样的数据在树的一边，当树的叶子节点的数据都是一类的时候，则停止分类。这样分类的数据，每个节点两边的数据不同，将相同的数据分类到树的一侧，能将数据分类的更加纯粹，减少树的高度和训练决策树的迭代次数。

分类原理

熵的介绍

物理学上，熵 Entropy 是 “混乱”程度的量度，系统越有序，熵值越低，系统越混乱或者分散，熵值越高。1948年香农提出了信息熵的概念。

如何衡量纯粹和混乱（信息量的大小）指标，可以使用信息熵或者基尼系数。

熵的定义如下：

● 某个类别下信息量越多，熵越大
● 信息量越少，熵越小
● 假设“有工作”这列下只有“否”这个信息类别，那么“有工作”这列的信息熵为：H=-(1xlog1)=0

上图中，如果按照“有工作”、“年龄”、“信贷情况”、“有房子”列使用决策树来预测“类别”。如何选择决策树的根节点分类条件，就是找到某列作为分类条件时，使“类别”这列分类更彻底，也就是找到在某个列作为分类条件下时，“类别”信息熵相对于没有这个分类条件时信息熵降低最大（降低最大，就是熵越低，分类越彻底），这个条件就是分类节点的分类条件，这里要使用条件熵和信息增益。

条件熵

定义：在某个分类条件下某个类别的信息熵叫做条件熵，在知道Y的情况下，X的不确定性。

信息增益

定义：代表熵的变化程度，分类前的信息熵减去分类后的信息熵

在构建决策树时，选择信息增益大的属性作为分类节点的方法也叫ID3分类算法。

基尼系数

基尼系数也可以表示样本的混乱程度，公式如下：

其中，K代表当前列表有K个类别。
基尼系数越小代表信息越纯，类别越少，基尼系数越大，代表信息越混乱，类别越多。基尼增益的计算和信息增益相同，假设某列只有一类值，这列基尼系数为0。

信息增益率

在上图中，如果将“记录ID”也作为分类条件的话，由于“记录ID”对于“是否贷款”列的条件熵为0，可以得到“是否贷款”在“记录ID”这个分类条件下信息增益最大。如果选择“记录ID”作为分类条件，可以将样本完全分开，分类后的信息熵为0，分类结果完全正确，信息增益最大，这种方式我们得到了一颗庞大的树，这种分类方式是不合理的。
使用信息增益来筛选分类条件，更倾向于更混杂的属性，容易出现你过拟合的问题，可以使用信息增益率来解决这个问题。

例如在“记录ID”条件下，“是否贷款”的信息增益最大，信息熵H（记录ID）也比较大，两者相除就是在“记录ID”条件下的增益率，结果比较小，笑出了当某些属性比较混杂时，使用信息增益来选择分类条件的弊端。
使用信息增益率来构建决策树的算法也叫C4.5算法，一般对于信息增益来说，选择信息增益率选择分类条件比较合适。