当前位置： 首页 > news >正文

机器学习系列13：通过随机森林获取特征重要性

news 2026/5/12 22:53:02

我们已经知道通过 L1 正则化和 SBS 算法可以用来做特征选择。

我们还可以通过随机森林从数据集中选择相关的特征。随机森林里面包含了多棵决策树，我们可以通过计算特征在每棵决策树决策过程中所产生的的信息增益平均值来衡量该特征的重要性。

你可能需要参考：《机器学习系列06：决策树》

这种方法无需对特征做归一化或者标准化预处理，也不假设数据集是否线性可分。

以红酒数据集为例。我们可以直接通过 feature_importances_ 属性获取每个特征的重要性，所有特征重要性之和为 1.0。

图片

我们可以更直观地可视化观察一下。

图片

可以看到上面随机森林选出的前 3 个特征最重要的特征中有 2 也出现在了之前在
《机器学习系列12：减少过拟合——降维（特征选择）》中使用 SFS 算法选择的 3 个最重要的特征中。

图片

我们可以通过 scikit-learn 提供的 SelectFromModel 来通过 threshold 参数设定一个阈值 ，选择满足这个贡献度阈值的特征出来。

图片

可以看到选择了 5 个特征，现在我们就用这 5 个特征拟合一下 kNN 算法。

图片

可以对比一下在用 SFS 算法选择的 3 个特征拟合的 kNN 算法。

图片

选择 5 个特征时，模型在训练集和测试集上的表现和选择全部特征的表现相当！

相关文章：

机器学习系列13：通过随机森林获取特征重要性

我们已经知道通过 L1 正则化和 SBS 算法可以用来做特征选择。 我们还可以通过随机森林从数据集中选择相关的特征。随机森林里面包含了多棵决策树，我们可以通过计算特征在每棵决策树决策过程中所产生的的信息增益平均值来衡量该特征的重要性。 你可能需要参考&…...

编程日记 2023/12/31 15:44:26

flink中值得监控的几个指标

背景 为了维持flink的正常运行，对flink的日常监控就变得很重要，本文我们就来看一下flink中要监控的几个重要的指标 重要的监控指标 1.算子的处理速度的指标：numRecordsInPerSecond/numRecordsOutPerSecond,这有助于你了解到算子的是否正在…...

编程日记 2023/12/31 15:40:22

最优化方法Python计算：无约束优化应用——逻辑分类模型

逻辑回归模型更多地用于如下例所示判断或分类场景。 例1 某银行的贷款用户数据如下表： 欠款（元）收入（元）是否逾期17000800Yes220002500No350003000Yes440004000No520003800No 显然，客户是否逾期&#xff…...

编程日记 2023/12/31 15:39:21

springboot定时执行某个任务

springboot定时执行某个任务 要定时执行的方法加上Schedule注解 括号内跟 cron表达式 “ 30 15 10 * * ？” 代表秒 分 时 日 月 周几 启动类上加上EnableScheduling 注释...

编程日记 2023/12/31 15:37:19

Java EE Servlet之Servlet API详解

文章目录 1. HttpServlet1.1 核心方法 2. HttpServletRequest3. HttpServletResponse 接下来我们来学习 Servlet API 里面的详细情况 1. HttpServlet 写一个 Servlet 代码，都是要继承这个类，重写里面的方法 Servlet 这里的代码，只需要继承…...

编程日记 2023/12/31 15:32:15

neo4j运维管理

管理数据库 概念 Neo4j 5(从v4.0)，可以同时创建和使用多个活动数据库。 DBMS Neo4j是一个数据库管理系统(DBMS)，能够管理多个数据库。DBMS可以管理一个独立的服务器，也可以管理集群中的一组服务器。 实例 Neo4j实例是运行Neo4j服务器代…...

编程日记 2023/12/31 15:28:12

【MYSQL】-函数

💖作者：小树苗渴望变成参天大树🎈 🎉作者宣言：认真写好每一篇博客💤 🎊作者gitee:gitee✨ 💞作者专栏：C语言,数据结构初阶,Linux,C 动态规划算法🎄 如 果 你 …...

编程日记 2023/12/31 15:26:10

传统船检已经过时？AR智慧船检来助力！！

想象一下，在茫茫大海中，一艘巨型货轮正缓缓驶过。船上的工程师戴着一副先进的AR眼镜，他们不再需要反复翻阅厚重的手册，一切所需信息都实时显示在眼前。这不是科幻电影的场景，而是智慧船检技术带来的现实变革。那么问题…...

编程日记 2023/12/31 15:22:06

JAVA进化史: JDK11特性及说明

JDK 11（Java Development Kit 11）是Java平台的一个版本，于2018年9月发布。这个版本引入了一些新特性和改进，以下是其中一些主要特性。 HTTP Client（标准化） JDK 11引入了一个新的HTTP客户端，用…...

编程日记 2023/12/31 15:20:03

模型 安索夫矩阵

本系列文章 主要是 分享模型，涉及各个领域，重在提升认知。产品市场战略。 1 安索夫矩阵的应用 1.1 江小白的多样化经营策略 使用安索夫矩阵来分析江小白市场战略。具体如下： 根据安索夫矩阵，江小白的现有产品是其白酒产品&…...

编程日记 2023/12/31 15:18:01

性能手机新标杆，一加 Ace 3 发布会定档 1 月 4 日

12 月 27 日，一加宣布将于 1 月 4 日发布新品一加 Ace 3。一加 Ace 系列秉持「产品力优先」理念，从一加 Ace 2、一加 Ace 2V 到一加 Ace 2 Pro，款款都是现象级爆品，得到了广大用户的认可与支持。作为一加 2024 开年之作&#xff0…...

编程日记 2023/12/31 15:16:00

Vue 框架前导：详解 Ajax

Ajax Ajax 是异步的 JavaScript 和 XML。简单来说就是使用 XMLHttpRequest 对象和服务器通信。可以使用 JSON、XML、HTML 和 text 文本格式来发送和接收数据。具有异步的特性，可在不刷新页面的情况下实现和服务器的通信，交换数据或者更新页面 01. 体验 A…...

编程日记 2023/12/31 15:13:58

3分钟快速安装 ClickHouse、配置服务、设置密码和远程登录以及修改数据目录

下面是一个完整的 ClickHouse 安装和配置流程，包括安装 ClickHouse、配置服务、设置密码和远程登录以及修改数据目录。 安装 ClickHouse 安装 YUM 工具包： sudo yum install -y yum-utils添加 ClickHouse YUM 仓库： sudo yum-config-manager…...

编程日记 2023/12/31 15:11:56

PHP8使用PDO对象增删改查MySql数据库

PDO简介 PDO（PHP Data Objects）是一个PHP扩展，它提供了一个数据库访问层，允许开发人员使用统一的接口访问各种数据库。PDO 提供了一种用于执行查询和获取结果的简单而一致的API。 以下是PDO的一些主要特点： 统一接口…...

编程日记 2023/12/31 15:04:48

证明：切线垂直于半径

证明： 切线垂直于过切点的半径。 下面是网上最简单的证明方法。 证明： 利用反证法。 如下图所示，直线AB和圆O切于点A，假设OA 不垂直于 AB，而 O B ⊥ A B OB \perp AB OB⊥AB，则 ∠ O B A 90 \angle OB…...

编程日记 2023/12/31 15:02:46

普中STM32-PZ6806L开发板(STM32CubeMX创建项目并点亮LED灯)

简介 搭建一个用于驱动 STM32F103ZET6 GPIO点亮LED灯的任务;电路原理图 LED电路原理图 芯片引脚连接LED驱动引脚原理图 创建一个点亮LED灯的Keil 5项目 创建STM32CubeMX项目 New Project -> 单击 -> 芯片搜索STM32F103ZET6->双击创建 初始化时钟 调试设置 一…...

编程日记 2023/12/31 15:00:44

【Windows】共享文件夹拍照还原防火墙设置(入站，出站设置）---图文并茂详细讲解

目录 一 共享文件夹(两种形式) 1.1 普通共享与高级共享区别 1.2 使用 二 拍照还原 2.1 是什么 2.2 使用 三 防火墙设置（入栈，出站设置） 3.1 引入 3.2 入站出站设置 3.2.1入站出站含义 3.3入站设置 3.4安装jdk 3.5使用tomcat进行访…...

编程日记 2023/12/31 14:58:42

1.决策树

目录 1. 什么是决策树? 2. 决策树的原理 2.1 如何构建决策树？ 2.2 构建决策树的数据算法 2.2.1 信息熵 2.2.2 ID3算法 2.2.2.1 信息的定义 2.2.2.2 信息增益 2.2.2.3 ID3算法举例 2.2.2.4 ID3算法优缺点 2.2.3 C4.5算法 2.2.3.1 C4.5算法举例 2.2.4 CART算法 2.2.4…...

编程日记 2023/12/31 14:56:41

基于微信小程序的停车预约系统设计与实现

基于微信小程序的停车预约系统设计与实现 项目概述 本项目旨在结合微信小程序、后台Spring Boot和MySQL数据库，打造一套高效便捷的停车预约系统。用户通过微信小程序进行注册、登录、预约停车位等操作，而管理员和超级管理员则可通过后台管理系统对停车…...

编程日记 2023/12/31 14:55:40

再见2023，你好2024

再见2023，你好2024 生活1月 悲伤与治愈2~4月 运动与偏爱5月 体验与美食6月 婚礼与热爱7~8月 就医与别离9~11月 陪伴与暖房12月 体验&新生 运动追剧读书总结 生活 生活是一个修罗场，来世间一场，要经历丰腴有趣的人生。去体验各种滋味&…...

编程日记 2023/12/31 14:54:39

Atlas机器人：人形设计、液压驱动与救灾场景下的技术权衡

1. 项目概述：Atlas，一个充满争议的工程里程碑2013年，当波士顿动力公司为DARPA（美国国防高级研究计划局）打造的Atlas机器人首次公开亮相时，它在工程技术社区引发的震动，远不止于其令人惊叹的行走…...

编程新知 2026/5/12 22:31:26

高海拔环境下的硬件设计挑战与GPS定位故障分析

1. 从数据记录到真实体验：高海拔环境下的技术挑战作为一名电子工程师，我习惯了在实验室里与精密的仪器和数据打交道，一切都在可控范围内。但当你带着自己设计的设备，踏上非洲之巅乞力马扎罗的征途时，现实会给你上一堂生…...

编程新知 2026/5/12 22:27:22

Acrylic Paint风格在Midjourney中失效的5大隐性陷阱（附官方未公开的--s 700+--style raw协同调参公式）

更多请点击： https://intelliparadigm.com 第一章：Acrylic Paint风格在Midjourney中的本质定义与失效现象全景图 Acrylic Paint（丙烯画）风格在Midjourney中并非原生语义标签，而是一种通过视觉特征逆向建模的提示工程产…...

编程新知 2026/5/12 22:23:02

工程师视角：最低成本脱碳路径与气候解决方案的工程化思维

1. 项目概述：一封关于气候与经济的公开信最近在EE Times上读到一封写给埃隆马斯克的公开信，作者格伦温瑞布提出了一些关于气候变化和联邦预算赤字的想法，挺有意思的。这封信的核心不是空谈环保理念，而是从一个工程师和务实主义者的…...

编程新知 2026/5/12 22:18:05

告别答辩PPT焦虑：百考通AI如何帮你高效搞定毕业答辩

简洁专业的PPT模板，精准的AI内容生成，在线编辑与一键美化——让毕业答辩的最后一步走得更从容。 又到了一年毕业季，当论文终于定稿，你是否发现自己又面临一座新的大山——毕业答辩PPT？面对几十页的论文文档&#xff0c…...

编程新知 2026/5/12 22:13:42

AI智能体通过MCP协议连接Figma：实现设计稿自动化操作与代码生成

1. 项目概述：当AI智能体学会“看”设计稿最近在折腾一个挺有意思的东西：让AI智能体（比如Cursor、Claude Code）能直接和Figma对话。听起来有点科幻？其实原理不复杂，就是通过一个叫Model Context Protocol&am…...

编程新知 2026/5/12 21:58:34

基于React与Tailwind CSS的轻量级ChatGPT Web界面部署与定制指南

1. 项目概述与核心价值最近在折腾AI应用开发，发现很多朋友都想自己部署一个轻量级的ChatGPT对话服务，但面对动辄几个G的模型和复杂的部署流程就望而却步。直到我发现了blrchen/chatgpt-lite这个项目，它完美地解决了这个问题——一个真正轻量、…...

编程新知 2026/5/12 20:50:39

AI技能包实战：用cc-skills打造专业级AI编程助手

1. 项目概述：为你的AI助手装上“专业工具箱”如果你和我一样，每天都在和Claude、Cursor、Copilot这类AI编程助手打交道，那你肯定遇到过这样的场景：想让AI帮你写一篇符合公司技术博客规范的PR稿，或者生成一段精准的Prom…...

编程新知 2026/5/12 20:41:14

对比官方价格体验Taotoken活动价带来的直接成本节省

🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度 对比官方价格体验 Taotoken 活动价带来的直接成本节省 在开发与使用大模型 API 的过程中，成本是每个开发者与团队都需要…...

编程新知 2026/5/12 20:07:29

基于OpenClaw的GitHub趋势智能监控器：自动化追踪与AI摘要推送

1. 项目概述：一个为开发者打造的GitHub趋势智能监控器 作为一名长期泡在GitHub上的开发者，我深知每天手动刷“Trending”页面有多低效。热门项目层出不穷，但真正值得关注的往往就那么几个，而且很容易被淹没在信息流里。直到我遇到…...

编程新知 2026/5/12 19:50:00