Scikit-Learn决策树

1、决策树分类

2、Scikit-Learn决策树分类

2.1、Scikit-Learn决策树API

官方文档：https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html#sklearn.tree.DecisionTreeClassifier

中文官方文档：https://scikit-learn.org.cn/view/784.html

2.2、Scikit-Learn决策树初体验

下面我们使用Scikit-Learn提供的API制作两个交错的半圆形状数据集来演示Scikit-Learn决策树

1）制作数据集

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets# 生成两个交错的半圆形状数据集
X, y = datasets.make_moons(noise=0.25, random_state=666)
plt.scatter(X[y == 0, 0], X[y == 0, 1])
plt.scatter(X[y == 1, 0], X[y == 1, 1])
plt.show()

2）训练决策树分类模型

from sklearn.tree import DecisionTreeClassifier      # 决策树分类器# 使用CART分类树的默认参数
dt_clf = DecisionTreeClassifier()
# dt_clf = DecisionTreeClassifier(max_depth=2, max_leaf_nodes=4)
# 训练拟合
dt_clf.fit(X, y)

3）绘制决策边界

# 绘制决策边界
decision_boundary_fill(dt_clf, axis=[-1.5, 2.5, -1.0, 1.5])
plt.scatter(X[y == 0, 0], X[y == 0, 1])
plt.scatter(X[y == 1, 0], X[y == 1, 1])
plt.show()

其中，使用到的绘制函数详见文章：传送门

当使用CART分类树的默认参数时，其决策边界如图所示：

由图可见，在不加限制的情况下，一棵决策树会生长到所有的叶子都是纯净的或者或者没有更多的特征可用为止。这样的决策树往往会过拟合，也就是说，它在训练集上表现的很好，而在测试集上却表现的很糟糕

当我们限制决策树的最大深度max_depth=2，并且最大叶子节点数max_leaf_nodes=4时，其决策边界如下图所示：

通过限制一些参数，对决策树进行剪枝，可以让我们的决策树具有更好的泛化性

2.3、Scikit-Learn决策树实践（葡萄酒分类）

2.3.1、葡萄酒数据集

葡萄酒（Wine）数据集是来自加州大学欧文分校（UCI）的公开数据集，这些数据是对意大利同一地区种植的葡萄酒进行化学分析的结果。数据集共178个样本，包括三个不同品种，每个品种的葡萄酒中含有13种成分（特征）、一个类别标签，分别使是0/1/2来代表葡萄酒的三个分类

数据集的属性信息（13特征+1标签）如下：

from sklearn.datasets import load_winewine = load_wine()
data = pd.DataFrame(data=wine.data, columns=wine.feature_names)
data['class'] = wine.target
print(data.head().to_string())
'''alcohol  malic_acid   ash  alcalinity_of_ash  magnesium  total_phenols  flavanoids  nonflavanoid_phenols  proanthocyanins  color_intensity   hue  od280/od315_of_diluted_wines  proline  class
0    14.23        1.71  2.43               15.6      127.0           2.80        3.06                  0.28             2.29             5.64  1.04                          3.92   1065.0      0
1    13.20        1.78  2.14               11.2      100.0           2.65        2.76                  0.26             1.28             4.38  1.05                          3.40   1050.0      0
2    13.16        2.36  2.67               18.6      101.0           2.80        3.24                  0.30             2.81             5.68  1.03                          3.17   1185.0      0
3    14.37        1.95  2.50               16.8      113.0           3.85        3.49                  0.24             2.18             7.80  0.86                          3.45   1480.0      0
4    13.24        2.59  2.87               21.0      118.0           2.80        2.69                  0.39             1.82             4.32  1.04                          2.93    735.0      0
'''

属性/标签	说明
alcohol	酒精含量（百分比）
malic_acid	苹果酸含量（克/升）
ash	灰分含量（克/升）
alcalinity_of_ash	灰分碱度（mEq/L）
magnesium	镁含量（毫克/升）
total_phenols	总酚含量（毫克/升）
flavanoids	类黄酮含量（毫克/升）
nonflavanoid_phenols	非黄酮酚含量（毫克/升）
proanthocyanins	原花青素含量（毫克/升）
color_intensity	颜色强度（单位absorbance）
hue	色调（在1至10之间的一个数字）
od280/od315_of_diluted_wines	稀释葡萄酒样品的光密度比值，用于测量葡萄酒中各种化合物的浓度
proline	脯氨酸含量（毫克/升）
class	分类标签（class_0(59)、class_1(71)、class_2(48)）

数据集的概要信息如下：

# 数据集大小
print(wine.data.shape)      # (178, 13)
# 标签名称
print(wine.target_names)    # ['class_0' 'class_1' 'class_2']
# 分类标签
print(data.groupby('class')['class'].count())
'''
class
0    59
1    71
2    48
Name: class, dtype: int64
'''

数据集的缺失值情况：

# 缺失值：无缺失值
print(data.isnull().sum())

2.3.2、决策树实践（葡萄酒分类）

未完待续…