大数据-204 数据挖掘 机器学习理论 - 混淆矩阵 sklearn 决策树算法评价

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

• Hadoop（已更完）
• HDFS（已更完）
• MapReduce（已更完）
• Hive（已更完）
• Flume（已更完）
• Sqoop（已更完）
• Zookeeper（已更完）
• HBase（已更完）
• Redis （已更完）
• Kafka（已更完）
• Spark（已更完）
• Flink（已更完）
• ClickHouse（已更完）
• Kudu（已更完）
• Druid（已更完）
• Kylin（已更完）
• Elasticsearch（已更完）
• DataX（已更完）
• Tez（已更完）
• 数据挖掘（正在更新…）

章节内容

上节我们完成了如下的内容：

• 决策树 sklearn 剪枝参数
• 决策树 样本不均匀问题

混淆矩阵

从上一节的例子中可以看出，如果我们的目标是希望尽量捕获少数类，那准确率这个模型评估逐渐失效，所以我们需要新的模型评估指标来帮助我们。如果简单来看，其实我们只需要查看模型在少数类上的准确率就好了，只要能够将少数类尽量捕捉出来，就能够达到我们的目的。
但此时，新问题又出现了，我们对多数类判断错误后，会需要人工甄别或者更多的业务上的措施来一一排除我们判断错误的多数类，这种行为往往伴随着很高的成本。
比如银行在判断一个申请信用卡的客户是否会违约行为的时候，如果一个客户被判断为会违约，这个客户的信用卡申请就会驳回，如果为了捕捉会违约的人，大量地将不会违约的客户判断为会违约的客户，就会有许多无辜的客户的申请被驳回。
也就是说，单纯的追求捕捉少数类，就会成本太高，而不顾及少数类，又会无法达成模型的效果。所以在现实中，我们往往在寻找捕获少数类的能力和将多数判错后需要付出的成本的平衡。如果一个模型在能够尽量捕获少数类的情况下，还能够尽量对多数判断正确，则这个模型就非常优秀了。为了评估这样的能力，我们将引入新的模型评估指标：混淆矩阵可以帮助我们。

• 混淆矩阵是二分类问题的多维衡量指标体系，在样本不平衡时极其有用
• 在混淆矩阵中，我们将少数类认为时正例，多数类认为时负例
• 在决策树，随机森林这些算法里，即是说少数类是1，多数类时 0
• 在 SVM 里，就是说少数类时 1，多数类时 -1

普通的混淆里，一般使用「0，1」来表示，混淆矩阵如其名，十分容易让人混淆，在需要教材中各种各样的名称和定义让大家难以理解和记忆。

其中:

• 行代表预测情况，列则表示实际情况
• 预测值是 1，记为 P（Positive）
• 预测值是 0，记为 N（Negative）
• 预测值与真实值相同，记为 T（True）
• 预测值与真实值相反，记为 F（False）

因此矩阵中四个元素分别表示：

• TP（True Positive）真实为 1，预测为 1
• FN（False Negative）真实为 1，预测为 0
• FP（False Positive）真实为 0，预测为 1
• TN（True Negative）真实为 0，预测为 0

基于混淆矩阵，我们有一系列不同的模型评估指标，这些评估指标范围都在【0，1】之间，所以有11 和 00为分子的指标都是越来越接近 1 越好，所以 01 和 10 为分子的指标都是越来越接近 0 越好。
对于所有指标，我们用橙色表示分母，用绿色表示分子，则我们有：

准确率 Accuracy

精确度 Precision

精确度 Precision，又叫查准率，表示在所有预测结果为 1 的样例数中，实际为 1 的样例数所占比重。精确度越低，意味着 01 比重很大，则代表你的模型对多数类 0 误判率越高，误伤了过多的多数类。为了避免对多数类的误伤，需要追求高精确度。
精确度是将多数类判错后所需要付出成本的衡量

召回率 Recall

召回率 Recall，又称为敏感度（sensitivity），真正率，查全率，表示所有真实为 1 的样本中，被我们预测正确的样本所占的比例。
召回率越高，代表我们尽量捕捉出了越多的少数类。召回率越低，代表我们捕捉出足够的少数类。

我们希望不计代价，找出少数类（比如潜逃的犯罪分子），那我们会追求高召回率，相反如果我们的目标不是尽量捕获少数类，那我们就不需要在意召回率。
注意召回率和精确度的分子是相同的（都是 11），只是分母不同。
而召回率和精确度是此消彼长的，两者之间的平衡代表了捕捉少数类的需求和尽量不要误伤多数类的需要求的平衡。
究竟要偏向哪一方，取决于我们的业务需求：究竟是误伤多数类的成本更高，还是无法捕捉少数类的代表更高。

F1 Measure

为了同时兼顾精确度和召回率，我们创造了两者的调和平均数作为考量两者平衡的综合性指标，称之为F1 Measure。
两个数之间的调和平均倾向于靠近两个数中比较小的那一个数，因此我们追求尽量高的F1 Measure，能够保证我们精确度和召回率都比较高。
F1 Measure 在 [0,1]之间分布，越接近 1 越好。

假负率

从 Recall 延伸出来的另一个评估指标叫做假负率（False Negative Rate），它等于 1 - Recall，用于衡量。
所有真实为 1 的样本中，被我们错误判断为 0 的，通常用的不多。

ROC 曲线

ROC 的全称是：Receiver Operating characteristic Curve，其主要的分析方法就是画这条特征曲线。

该曲线的横坐标为假正率（False Positive Rate，FPR），N 是真实负样本的个数，FP 是N 个负样本中被分类器预测为正样本的个数。

纵坐标为召回率，真正率（True Positive Rate，TPR）：

P 是真实正样本的个数，TP 是 P 个正样本被分类器预测为正样本的个数。

sklearn 中的混淆矩阵

决策树的算法评价

决策树优点

• 易于理解和解释，因为树木可以画出来被看见
• 需要很少的数据准备，其他很多算法通常都需要数据规范化，需要创建虚拟变量并删除空值等。但请注意，sklearn 中的决策树模块不支持对缺失值的处理。
• 使用树的成本（比如说，在预测数据的时候）是用于训练树的数据点的数量的对数，相比于其他算法，这是一个很低的成本。
• 能够同时处理数字和分类数据，既可以做回归又可以做分类。其他技术通常专门用于分析仅具有一种变量类型的数据集。
• 即使其假设在某种程度上违反了生成数据的真实模型，也能够表现良好。

决策树缺点

• 使用决策树可能创建过于复杂的树，这些树不能很好的推广数据。这称为过度拟合，修剪，设置，叶节点所需要的最小样本数或设置树的最大深度等机制是避免此问题所必须的，而这些参数的整合和调整对初学者来说会比较晦涩。
• 决策树可能不稳定，数据中微小的变化可能导致生成完全不同的树，这个问题需要通过集成算法来解决。
• 决策树的学习是基于贪婪算法，它靠优化局部最优（每个节点最优）来试图达到整体的最优，但这种做法不能保证返回全局的最优，这个问题也可以由集成算法来解决，在随机森林中，特征和样本会在分支过程中被随机采样。
• 如果标签中的某些类占主导地位，决策树学习会创建偏向主导类的树。因此，建议拟合决策树之前平衡数据集。