【机器学习】二、决策树

目录

一、决策树定义：

二、决策树特征选择

2.1 特征选择问题

 2.2 信息增益

2.2.1 熵

2.2.2 信息增益

三、决策树的生成

 3.1 ID3算法

3.1.1理论推导

3.1.2代码实现

 3.2 C4.5 算法

3.2.1理论推导

​ 3.2.2代码实现

四、决策树的剪枝

4.1 原理

4.2 算法思路：

五、CART算法

5.1 CART生成

5.1.1 回归树的生成

5.1.2 分类树的生成

 比较：

5.1.3 CART生成算法

5.2 CART剪枝

 六、代码

6.1 代码

6.2 结果

---

一、决策树定义：

分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点（node）和有向边（directed edge）组成。

结点有两种类型：内部结点（internal node）和叶结点（leaf node）。内部结点表示一个特征或属性，叶结点表示一个类。

⚪：内部结点

正方形：叶结点

二、决策树特征选择

2.1 特征选择问题

特征选择在于选取对训练数据具有分类能力的特征。这样可以提高决策树学习的效率。如果用一个特征去分类，得到的结果与随机的分类没有很大差别，那么这次分类是无意义的。因此，我们要选取有意义的特征进行分类。

举个例子吧~

 如上述表格所示，决定买房子要不要贷款的因素有年龄、有无工作、有无房子、信贷情况四个因素。那么如何选取合适的特征因素呢？

特征选择就是决定用哪个特征来划分特征空间。

       直观上来讲，如果一个特征具有更好的分类能力，或者说，按照各以特征将训练数据集分割成子集，使得各个子集在当前条件下有最好的分类，那么就应该选择这一特征。  

信息增益（information gain）就能够很好的表示这一直观准则。

 2.2 信息增益

2.2.1 熵

在统计学中，熵是表示随机变量不确定性的度量。

设X是一个取有限个值的离散随机变量，其概率分布为

 则随机变量X的熵定义为：

其中如果pi =  0，则0log0 = 0.

单位为bit或者nat。

上只依赖于X的分布，而与X的取值无关，所以也可将X的熵记作H（p）。

熵越大，随机变量的不确定性越大，从定义可以验证：

 

 信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度。

2.2.2 信息增益

 

 选择方法：

 计算方法：

输入：训练数据集D和特征值A:

输出：特征A队训练数据集D的信息增益g(D,A)，

step1：计算数据集D的经验熵H(D)：

step2：计算特征A对数据集D的经验条件熵H(D|A)：

step3：计算信息增益：

 举个栗子吧~：

用上面的表，计算每个特征的信息增益！！！！

 所以A3的信息增益值最大，选择A3做最优特征。

三、决策树的生成

 3.1 ID3算法

ID3算法的核心是在决策树上各个结点上应用信息增益准则选择特征，递归地构建决策树。

3.1.1理论推导

对上表用ID3算法建立决策树：

 

3.1.2代码实现

https://blog.csdn.net/colourful_sky/article/details/82056125

 3.2 C4.5 算法

       C4.5算法与ID3类似，C4.5算法对ID3算法进行了改进，C4.5在生产的过程中，用信息增益比来选择特征。

3.2.1理论推导

 3.2.2代码实现

https://www.cnblogs.com/wsine/p/5180315.html

四、决策树的剪枝

4.1 原理

      决策树生成算法递归地产生决策树，直到不能继续下去为止。这样产生的结果容易出现过拟合现象。因为这样生成的决策树过于复杂，所以我们需要对决策树进行简化——剪枝。

剪枝：在决策树学习中将已生成的树进行简化的过程。

本次介绍损失函数最小原则进行剪枝，即用正则化的极大似然估计进行模型选择。

公式这里参考李航老师的书：

 

4.2 算法思路：

五、CART算法

     分类与回归树模型（CART, classification and regression tree)是应用广泛的决策树学习方法。

CART由特征选择、树的生成及剪枝组成，既可以用于回归也可以用于分类。

5.1 CART生成

step1：决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大。

step2：决策树剪枝：用验证数据集对已生成的树进行剪枝并选择最优子树，这时用损失函数最小作为剪枝的标准。

5.1.1 回归树的生成

回归树用平方误差最小化准则，选择特征，生成二叉树。

 

5.1.2 分类树的生成

分类树用基尼指数最小化准则，选择特征，生成二叉树。

 比较：

5.1.3 CART生成算法

原理：

 例子：

还是用上面的的表格吧

step1：计算各个特征的基尼指数，选择最有特征以及其最优切分点。

step2：选择基尼指数最小的特征及其对应的切分点 

5.2 CART剪枝

 六、代码

sklearn中决策树都在‘tree’这个模块中，这个模块总共包含五类：

tree.DecisionTreeClassifier 分类树
tree.DecisionTreeRegressor 回归树
tree.export_graphviz 画图专用
tree.ExtraTreeClassifier 高随机版本的分类树
tree.ExtraTreeRegressor 高随机版本的回归树

这里用分类树举例子

6.1 代码

#数据准备
from sklearn.datasets import load_breast_cancer
breast_cancer = load_breast_cancer()
 
#分离数据
breast_cancer
x=breast_cancer.data
y=breast_cancer.target
 
#训练数据
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test = train_test_split(x,y,random_state=33,test_size=0.3)
 
#数据标准化
from sklearn.preprocessing import StandardScaler
breast_cancer_ss = StandardScaler()
x_train = breast_cancer_ss.fit_transform(x_train)
x_test = breast_cancer_ss.transform(x_test)
 
#分类树
from sklearn.tree import DecisionTreeClassifier
dtc = DecisionTreeClassifier()
dtc.fit(x_train,y_train)
 
dtc_y_predict = dtc.predict(x_test)
 
from sklearn.metrics import classification_report
k=0
j=0
for i in y_test:
    if i!=dtc_y_predict[j]:
k=k+1
j=j+1
print(k)
print('预测结果:\n：',dtc_y_predict)
print('真是结果:\n:',y_test)
print('Accuracy:',dtc.score(x_test,y_test))
print(classification_report(y_test,dtc_y_predict,target_names=['benign','malignant']))

6.2 结果