当前位置：首页 > news >正文

《机器学习by周志华》学习笔记-决策树-02

news 2026/3/30 17:32:10

1、剪枝处理(Pruning)

1.1、背景概念

上文「决策树01」的学习中，我们了解了著名的3种决策树算法ID3、C4.5、CART。这3种决策树算法最根本的核心就是根据特征选择离散属性作为节点来搭建树结构，运用搭好的结构进行推理。

剪枝(pruning)则就是将搭好的决策树去掉一些「非叶节点」的过程。

1.2、作用

解决推理时出现「过拟合」的问题。

过拟合介绍：

为了尽可能的正确分类训练样本，节点划分过程不断重复，有时会造成决策树分支过多，这时候就是训练的「太好」了，以至于把训练集自身的一些特点，当作所有数据都具有的一般性质，导致出现了「过拟合」

所以我们可以通过「剪枝(pruning)」来降低过拟合风险。

「过拟合」一般会出现在CART算法中。

1.3、实施方法策略

1.3.1、预剪枝策略(prepruning)

1.3.1.1、概念

是指在决策树生成过程中，对每个节点在划分前进行估计：

若当前结点的划分不能带来决策树泛化性能的提升，则停止划分并将当前结点标记为叶节点。

如何判断决策树泛化性能是否提升？

我们在上文「模型评估与选择」中可以求得泛化性能的指标。本节我们使用「留出法」，即预留一部分数据用作「验证集」以进行性能评估。

例如：

西瓜数据集D
编号色泽(A1) 根蒂(A2) 敲声(A3) 纹理(A4) 脐部(A5) 触感(A6) 是否好瓜(Y)
x1 青绿 $A_{1}^{1}$ 蜷缩 $A_{2}^{1}$ 浑浊 $A_{3}^{1}$ 清晰 $A_{4}^{1}$ 凹陷 $A_{5}^{1}$ 硬滑 $A_{6}^{1}$ 是Y1
x2 乌黑 $A_{1}^{2}$ 蜷缩 $A_{2}^{1}$ 沉闷 $A_{3}^{2}$ 清晰 $A_{4}^{1}$ 凹陷 $A_{5}^{1}$ 硬滑 $A_{6}^{1}$ 是Y1
x3 乌黑 $A_{1}^{2}$ 蜷缩 $A_{2}^{1}$ 浑浊 $A_{3}^{1}$ 清晰 $A_{4}^{1}$ 凹陷 $A_{5}^{1}$ 硬滑 $A_{6}^{1}$ 是Y1
x4 青绿 $A_{1}^{1}$ 蜷缩 $A_{2}^{1}$ 沉闷 $A_{3}^{2}$ 清晰 $A_{4}^{1}$ 凹陷 $A_{5}^{1}$ 硬滑 $A_{6}^{1}$ 是Y1
x5 浅白 $A_{1}^{3}$ 蜷缩 $A_{2}^{1}$ 浑浊 $A_{3}^{1}$ 清晰 $A_{4}^{1}$ 凹陷 $A_{5}^{1}$ 硬滑 $A_{6}^{1}$ 是Y1
x6 青绿 $A_{1}^{1}$ 稍蜷 $A_{2}^{2}$ 浑浊 $A_{3}^{1}$ 清晰

西瓜数据集D
编号	色泽(A1)	根蒂(A2)	敲声(A3)	纹理(A4)	脐部(A5)	触感(A6)	是否好瓜(Y)
x1	青绿 $A_{1}^{1}$	蜷缩 $A_{2}^{1}$	浑浊 $A_{3}^{1}$	清晰 $A_{4}^{1}$	凹陷 $A_{5}^{1}$	硬滑 $A_{6}^{1}$	是Y1
x2	乌黑 $A_{1}^{2}$	蜷缩 $A_{2}^{1}$	沉闷 $A_{3}^{2}$	清晰 $A_{4}^{1}$	凹陷 $A_{5}^{1}$	硬滑 $A_{6}^{1}$	是Y1
x3	乌黑 $A_{1}^{2}$	蜷缩 $A_{2}^{1}$	浑浊 $A_{3}^{1}$	清晰 $A_{4}^{1}$	凹陷 $A_{5}^{1}$	硬滑 $A_{6}^{1}$	是Y1
x4	青绿 $A_{1}^{1}$	蜷缩 $A_{2}^{1}$	沉闷 $A_{3}^{2}$	清晰 $A_{4}^{1}$	凹陷 $A_{5}^{1}$	硬滑 $A_{6}^{1}$	是Y1
x5	浅白 $A_{1}^{3}$	蜷缩 $A_{2}^{1}$	浑浊 $A_{3}^{1}$	清晰 $A_{4}^{1}$	凹陷 $A_{5}^{1}$	硬滑 $A_{6}^{1}$	是Y1
x6	青绿 $A_{1}^{1}$	稍蜷 $A_{2}^{2}$	浑浊 $A_{3}^{1}$	清晰

《机器学习by周志华》学习笔记-决策树-02

1、剪枝处理(Pruning) 1.1、背景概念上文「决策树01」的学习中，我们了解了著名的3种决策树算法ID3、C4.5、CART。这3种决策树算法最根本的核心就是根据特征选择离散属性作为节点来搭建树结构，运用搭好的结构进行推理。剪枝(pruning)则就是将搭好的决策树去掉一些「非叶节…...

编程日记 2024/8/6 9:49:53

centos Python3.6升级3.8

CentOS系统上升级Python3.6到3.8版本。步骤 1. 更新系统在开始升级Python之前，首先需要确保系统是最新的。可以使用以下命令更新CentOS系统： sudo yum update 2. 安装依赖项升级Python之前，需要安装一些依赖项。运行以下命令安装这些依赖…...

编程日记 2024/8/6 9:47:51

文章解读与仿真程序复现思路——电网技术EI\CSCD\北大核心《基于竞价空间预测的虚拟电厂日前竞价策略》

本专栏栏目提供文章与程序复现思路，具体已有的论文与论文源程序可翻阅本博主免费的专栏栏目《论文与完整程序》论文与完整源程序_电网论文源程序的博客-CSDN博客https://blog.csdn.net/liang674027206/category_12531414.html 电网论文源程序-CSDN博客电网论文源…...

编程日记 2024/8/6 9:44:48

Simulink模型开发中的一些自动化方法

随着Simulink模型的产品化开发进程，许多模型开发人员会关心模型的建模自动化问题。比如如何对模型中的元素进行批量查找和修改；如何构建自己的建模规则对模型进行检查；如何实现测试自动化等。在这些使用场景中我们都需要了解一些Simulink函数…...

编程日记 2024/8/6 9:43:47

RabbitMQ消费者消费消息失败处理

在我们开发分布式系统的过程中，RabbitMQ这样的消息队列无疑是实现微服务间通信的利器。然而，消息处理失败在所难免。当我们面临消费消息失败的情况时，该如何应对呢？在这篇博客中，我将带你深入探讨RabbitMQ消费者的消息…...

编程日记 2024/8/6 9:42:46

Apache Kylin分布式的分析数据仓库

Apache Kylin 是一个分布式的分析数据仓库，用于大数据上的超快在线分析处理 (OLAP)。它能够在大规模数据集上提供亚秒级的查询响应时间，并支持标准的 ANSI SQL 查询接口。Kylin 最初由 eBay 开发，后来捐赠给 Apache 软件基金会，现…...

编程日记 2024/8/6 9:41:44

informer中DeltaFIFO机制的实现分析与源码解读

informer中的DeltaFIFO机制的实现分析与源码解读 DeltaFIFO作为informer中重要组件，本文从源码层面了解是如何DelatFIFO是实现的。 DeltaFIFO的定义找到delta_fifo.go的源码，位于client-go/tools/cache/delta_fifo.go 代码结构大致如下: store定义…...

编程日记 2024/8/6 9:40:43

树莓派下，centos7amr64下，搭建目标检测开发环境，java语言

在树莓派（Raspberry Pi）上使用CentOS 7 ARM64搭建基于Java的目标检测开发环境，可以按照以下步骤进行。需要注意的是，CentOS 7 ARM64的官方镜像可能不支持树莓派的某些硬件，因此你可能需要寻找第三方镜像或进行一些额外的配置。 1. 安装CentOS 7 ARM64 首先，确保你已经正…...

编程日记 2024/8/6 9:39:41

SpringBoot+Redis 发布与订阅

两个应用都引入 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artif…...

编程日记 2024/8/6 9:38:40

huggingface无法访问怎么办？一招教你解决，使用hf-mirror.com镜像站快速下载各种大模型

huggingface.co无法访问怎么办？ 请访问 https://hf-mirror.com/ hf-mirror.com是一个旨在为中国国内的人工智能开发者提供更快更稳定下载服务的镜像站点，它镜像了Hugging Face的huggingface.co网站上的模型和数据集资源。由于网络环境和地理限制&#xf…...

编程日记 2024/8/6 9:37:39

如何用密码保护你的 WordPress 管理员 (wp-admin) 目录

在维护 WordPress 网站时，确保 wp-admin 目录安全是非常重要的。为该目录添加密码保护可以有效提高网站安全性，防止未经授权的访问。这篇文章将介绍实现这一目标的两种方法。 1.为什么要为 wp-admin 目录添加密码保护 WordPress 管理员后台是网站的核心…...

编程日记 2024/8/6 9:36:38

java 程序包org.junit.jupiter.api不存在

问题描述正常启动springboot报错java 程序包org.junit.jupiter.api不存在。问题分析 pom文件中缺少junit依赖，但是添加后问题仍然没解决，后面把test部分删掉解决问题。解决方法添加junit依赖 <dependency><groupId>junit</group…...

编程日记 2024/8/6 9:35:36

简单的docker学习第4章 docker容器

第4章 Docker容器 4.1 容器基础 4.1.1 容器启动流程通过 docker run 命令可以启动运行一个容器。该命令在执行时首先会在本地查找指定的镜像，如果找到了，则直接启动，否则会到镜像中心查找。如果镜像中心存在该镜像，则会下载到…...

编程日记 2024/8/6 9:33:34

零基础入门转录组数据分析——机器学习算法之SVM-RFE（筛选特征基因）

零基础入门转录组数据分析——机器学习算法之SVM-RFE（筛选特征基因） 目录零基础入门转录组数据分析——机器学习算法之SVM-RFE（筛选特征基因）1. SVM-RFE基础知识2. SVM-RFE（Rstudio）——代码实操2. 1 数据…...

编程日记 2024/8/6 9:31:31

Python酷库之旅-第三方库Pandas(067)

目录一、用法精讲 266、pandas.Series.dt.second属性 266-1、语法 266-2、参数 266-3、功能 266-4、返回值 266-5、说明 266-6、用法 266-6-1、数据准备 266-6-2、代码示例 266-6-3、结果输出 267、pandas.Series.dt.microsecond属性 267-1、语法 267-2、参数 …...

编程日记 2024/8/6 9:29:29

Spring快速学习

目录 IOC控制反转引言 IOC案例 Bean的作用范围 Bean的实例化 bean生命周期 DI 依赖注入 setter注入构造器注入自动装配自动装配的方式注意事项; 集合注入核心容器容器的创建方式 Bean的三种获取方式 Bean和依赖注入相关总结 IOC/DI注解开发注解开发…...

编程日记 2024/8/6 9:28:28

【Web开发手礼】探索Web开发的秘密（十五）-Vue2（2）AJAX、前后端分离、前端工程化

主要介绍了AJAX、前后端分离所需的YApi、前端工程化所需要的环境安装！！！ 目录前言 AJAX 原生Ajax Axios Axios入门案例前后端分离开发 YApi 前端工程化环境准备总结前言主要介绍了AJAX、前后端分离所需的YApi、前端工…...

编程日记 2024/8/6 9:27:25

Phalco安装过程以及踩的一些坑(mac环境)

一背景公司用Phalcon框架好长时间了，中途发现了一些Phalcon使用的上的问题，于是想在本地搭建一套Phalcon的环境，方便排查问题使用。二 Mac系统下的安装看了很多说法，最终发现还是官网给力，安装Phalcon使用下列命令即可(前提条件是PHP已安装好，工具pecl也安装好了)：…...

编程日记 2024/8/6 9:25:23

1.打开grub的默认启动配置文件 sudo gedit /etc/default/grub# If you change this file, run update-grub afterwards to update # /boot/grub/grub.cfg. # For full documentation of the options in this file, see: # info -f grub -n Simple configurationGRUB_DEFAULT…...

编程日记 2024/8/6 9:22:20

高仲富：49岁搞AI，白天种菜卖菜，晚上学数学搞程序

这是《开发者说》的第13期，本期我们邀请的开发者是高仲富，曾是一位数学老师，自学成为一名程序员，在北京漂过，后逃回了成都，一边与病魔抗争，一边写代码，一写就是15年，制作…...

编程日记 2024/8/6 9:21:18

从瀑布到敏捷：手把手教你为你的小团队或毕业设计项目选对开发模型

从瀑布到敏捷：手把手教你为小团队选对开发模型当五个大学生围坐在宿舍里，盯着白板上潦草写着的"微信小程序课程设计"几个字时，最常出现的灵魂拷问是："我们到底该用哪种开发方式？"这个问题同样困扰…...

编程新知 2026/3/30 17:28:06

告别Xshell！Mac上这款免费串口工具CoolTerm，固件调试日志记录真香了

告别Xshell！Mac上这款免费串口工具CoolTerm，固件调试日志记录真香了从Windows切换到Mac平台的嵌入式开发者，最头疼的莫过于找不到趁手的串口调试工具。Xshell和SecureCRT在Windows上堪称神器，但它们的Mac版本要么收费高昂&#…...

编程新知 2026/3/30 17:07:55

别再为小Batch Size发愁了！手把手教你用Group Normalization稳定训练你的PyTorch模型

别再为小Batch Size发愁了！手把手教你用Group Normalization稳定训练你的PyTorch模型当你在训练深度学习模型时，是否遇到过这样的困境：由于GPU显存限制，只能使用较小的batch size，结果模型训练变得极不稳定&#xff…...

编程新知 2026/3/30 17:05:52

ParrelSync自定义参数功能：打造专属多人游戏测试环境的终极指南

ParrelSync自定义参数功能：打造专属多人游戏测试环境的终极指南【免费下载链接】ParrelSync (Unity3D) Test multiplayer without building 项目地址: https://gitcode.com/gh_mirrors/pa/ParrelSync ParrelSync是一款专为Unity3D开发者设计的高效多人游戏测…...

编程新知 2026/3/30 15:44:52

【数字逻辑】实战解析：从PLD到FPGA的演进与应用场景

1. 可编程逻辑器件的技术演进之路第一次接触可编程逻辑器件是在大学实验室里，当时看着老师用一个小芯片就实现了整个数字钟的功能，完全颠覆了我对传统电路板的认知。这种"魔术般"的芯片就是PLD（可编程逻辑器件）&#…...

编程新知 2026/3/30 15:06:40

YOLOE官版镜像案例分享：文本提示检测自定义物体实战

YOLOE官版镜像案例分享：文本提示检测自定义物体实战 1. 引言：开放词汇表检测的挑战与突破在传统计算机视觉应用中，目标检测模型往往受限于预定义的类别集合。当需要检测训练数据中未出现的新物体时，开发者不得不重新收集数据、…...

编程新知 2026/3/30 14:50:33

RWKV7-1.5B-g1a开源模型实战：轻量级AI助手在中小企业的落地

RWKV7-1.5B-g1a开源模型实战：轻量级AI助手在中小企业的落地 1. 模型简介 rwkv7-1.5B-g1a 是一个基于 RWKV-7 架构的多语言文本生成模型，专为中小企业设计的轻量级AI助手解决方案。这个1.5B参数的模型在保持较小体积的同时，提供了足够强大的…...

编程新知 2026/3/30 14:36:18

vLLM-v0.17.1与卷积神经网络（CNN）结合：多模态推理架构探索

vLLM-v0.17.1与卷积神经网络结合：多模态推理架构探索 1. 前沿技术融合带来的突破当视觉理解遇上语言推理，会产生怎样的化学反应？我们最近尝试将vLLM-v0.17.1大语言模型与卷积神经网络（CNN）图像编码器相结合&#xf…...

编程新知 2026/3/30 13:16:48

终极游戏画质升级指南：用OptiScaler解锁全显卡超采样自由

终极游戏画质升级指南：用OptiScaler解锁全显卡超采样自由【免费下载链接】OptiScaler DLSS replacement for AMD/Intel/Nvidia cards with multiple upscalers (XeSS/FSR2/DLSS) 项目地址: https://gitcode.com/GitHub_Trending/op/OptiScaler OptiScaler是…...

编程新知 2026/3/30 12:50:19

避坑指南：RK3588 SD卡刷机时FAT32转EXT4的完整流程（含工具包）

RK3588大容量镜像烧写实战：突破FAT32限制的EXT4全流程解决方案当你在RK3588开发板上尝试烧写超过4GB的Ubuntu或Debian镜像时，是否遇到过SD卡工具报错？这不是你的操作问题，而是FAT32文件系统的天然限制。本文将带你深入理解这一技…...

编程新知 2026/3/30 11:48:01

《机器学习by周志华》学习笔记-决策树-02

1、剪枝处理(Pruning)

1.1、背景概念

1.2、作用

1.3、实施方法策略

1.3.1、预剪枝策略(prepruning)

1.3.1.1、概念

相关文章：

《机器学习by周志华》学习笔记-决策树-02

centos Python3.6升级3.8

文章解读与仿真程序复现思路——电网技术EI\CSCD\北大核心《基于竞价空间预测的虚拟电厂日前竞价策略》

Simulink模型开发中的一些自动化方法

RabbitMQ消费者消费消息失败处理

Apache Kylin分布式的分析数据仓库

informer中DeltaFIFO机制的实现分析与源码解读

树莓派下，centos7amr64下，搭建目标检测开发环境，java语言

SpringBoot+Redis 发布与订阅

huggingface无法访问怎么办？一招教你解决，使用hf-mirror.com镜像站快速下载各种大模型

如何用密码保护你的 WordPress 管理员 (wp-admin) 目录

java 程序包org.junit.jupiter.api不存在

简单的docker学习第4章 docker容器

零基础入门转录组数据分析——机器学习算法之SVM-RFE（筛选特征基因）

Python酷库之旅-第三方库Pandas(067)

Spring快速学习

【Web开发手礼】探索Web开发的秘密（十五）-Vue2（2）AJAX、前后端分离、前端工程化

Phalco安装过程以及踩的一些坑(mac环境)

Ubuntu修改双系统默认启动顺序

高仲富：49岁搞AI，白天种菜卖菜，晚上学数学搞程序

从瀑布到敏捷：手把手教你为你的小团队或毕业设计项目选对开发模型

告别Xshell！Mac上这款免费串口工具CoolTerm，固件调试日志记录真香了

别再为小Batch Size发愁了！手把手教你用Group Normalization稳定训练你的PyTorch模型

ParrelSync自定义参数功能：打造专属多人游戏测试环境的终极指南

【数字逻辑】实战解析：从PLD到FPGA的演进与应用场景

YOLOE官版镜像案例分享：文本提示检测自定义物体实战

RWKV7-1.5B-g1a开源模型实战：轻量级AI助手在中小企业的落地

vLLM-v0.17.1与卷积神经网络（CNN）结合：多模态推理架构探索

终极游戏画质升级指南：用OptiScaler解锁全显卡超采样自由

避坑指南：RK3588 SD卡刷机时FAT32转EXT4的完整流程（含工具包）