【机器学习】机器学习的基本分类-监督学习-决策树（Decision Tree）

决策树是一种树形结构的机器学习模型，适用于分类和回归任务。它通过一系列基于特征的条件判断来将数据分割为多个子区域，从而预测目标变量的值。

---

1. 决策树的结构

1. 根节点（Root Node）

   • 决策树的起点，包含所有样本。
   • 根据某个特征的分割规则分裂。

2. 内部节点（Internal Nodes）

   • 每个节点表示一次分割（划分标准）。
   • 根据特定特征及阈值分裂为子节点。

3. 叶子节点（Leaf Nodes）

   • 决策树的终点，包含分类结果或回归预测值。

---

2. 决策树的构造

划分准则（分裂规则）

构造决策树的核心是选择最优的特征和阈值进行分裂，常用的准则包括：

1. 分类问题：

   • 信息增益（Information Gain）：

     
     • ：分裂前的熵。
     • ：分裂后每个子集的熵。

   • 基尼指数（Gini Index）：

     
     • ​：样本属于第 k 类的比例。
     • 决策树选择使基尼指数下降最多的分裂。

2. 回归问题：

   • 均方误差（Mean Squared Error, MSE）：

---

3. 决策树算法

1. ID3 算法

   • 使用信息增益作为分裂准则。
   • 适用于分类问题。

2. C4.5 算法

   • 改进 ID3，支持连续特征。
   • 使用信息增益比作为分裂准则。

3. CART（Classification and Regression Tree）

   • 适用于分类和回归。
   • 分类使用基尼指数，回归使用均方误差。

---

4. 决策树的优缺点

优点

1. 易解释：规则清晰，直观理解。
2. 无需特征缩放：对特征的分布和尺度不敏感。
3. 可处理非线性关系：通过分裂捕捉复杂的非线性关系。

缺点

1. 易过拟合：树过深会导致模型对训练数据拟合过度。
2. 对噪声敏感：数据中的异常值可能显著影响树的结构。
3. 不稳定性：小的变化可能导致树结构发生较大改变。

---

5. 决策树的剪枝

为了防止过拟合，决策树通常需要剪枝：

1. 预剪枝（Pre-Pruning）：

   • 在构造时提前停止分裂。
   • 条件：达到最大深度、节点样本数小于阈值、分裂带来的增益不足。

2. 后剪枝（Post-Pruning）：

   • 先构造完整树，再从底部向上剪枝。
   • 剪枝条件：剪枝后误差降低或复杂度减少。

---

6. 决策树在分类与回归中的应用

分类问题

• 用于多类别或二分类任务。
• 叶子节点存储类别标签。

回归问题

• 用于预测连续值。
• 叶子节点存储预测值（通常为均值）。

---

7. 决策树的实现

分类问题

from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score# 加载数据
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.3, random_state=42)# 创建决策树分类器
clf = DecisionTreeClassifier(criterion="gini", max_depth=3, random_state=42)
clf.fit(X_train, y_train)# 预测
y_pred = clf.predict(X_test)
print("Accuracy:", accuracy_score(y_test, y_pred))

输出结果

Accuracy: 1.0

回归问题

from sklearn.tree import DecisionTreeRegressor
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error# 生成数据
X, y = make_regression(n_samples=100, n_features=1, noise=0.1, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)# 创建决策树回归器
reg = DecisionTreeRegressor(criterion="squared_error", max_depth=3, random_state=42)
reg.fit(X_train, y_train)# 预测
y_pred = reg.predict(X_test)
print("MSE:", mean_squared_error(y_test, y_pred))

输出结果

MSE: 36.28620386292295

---

8. 决策树的可视化

代码示例

import numpy as np
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier, plot_tree
import matplotlib.pyplot as pltiris = load_iris()
clf = DecisionTreeClassifier(random_state=1234)
model = clf.fit(iris.data, iris.target)# 将 iris.target_names 转换为列表
class_names_list = list(iris.target_names)plot_tree(clf, feature_names=iris.feature_names, class_names=class_names_list, filled=True)
plt.show()

可视化结果

• 决策树图中显示特征的分裂规则、样本数量、类别比例等信息。
• 有助于理解模型决策逻辑。

---

9. 决策树的扩展

1. 随机森林（Random Forest）

   • 使用多棵决策树，结合集成学习（Bagging）。
   • 提升泛化性能，减少过拟合。

2. 梯度提升树（Gradient Boosted Trees）

   • 以决策树为弱学习器，通过梯度提升优化。

3. XGBoost / LightGBM / CatBoost

   • 各种基于决策树的高效梯度提升框架。

---

决策树作为经典的机器学习模型，易于理解且功能强大，适合小规模数据集或需解释性强的任务。在实际应用中，可以结合剪枝和集成学习来提升模型性能。