当前位置： 首页 > article >正文

decison tree 决策树

article 2026/5/9 21:45:07

熵

信息增益

信息增益描述的是在分叉过程中获得的熵减，信息增益即熵减。

熵减可以用来决定什么时候停止分叉，当熵减很小的时候你只是在不必要的增加树的深度，并且冒着过拟合的风险

决策树训练(构建)过程

离散值特征处理：One-Hot编码

一个具有 N 个取值的离散特征可以转换为 N 个二进制特征，每个二进制特征对应一个可能的取值。

连续值特征处理：

计算不同阈值的熵减，选取熵减最大的阈值作为分叉阈值

回归树

回归树用来预测一个连续值，训练时跟决策树的区别是训练时最小化方差，而决策树是最大化熵减

集成树

单个决策树的一个缺点是对数据的变化比较敏感，我们需要尝试降低树的敏感度提高鲁棒性，此时我们可以构建集成树，即一组决策树

有放回抽样(sample with replacement)

从训练集中随机取出一个之后放回，确保它在后续抽取中仍有可能被再次抽到。

随机森林

利用有放回抽样，我们可以连续抽样并组成新的训练集，使用新的训练集训练一棵新的树。重复该行为可以生成多棵树，称为随机森林。

如果有 n 个特征，一般要生成  k = \sqrt{n} 棵树

XGBoost

对随机森林的提升：从第二次迭代开始，不是等概率随机抽样，而是让上一轮预测错误的样本有更大的概率被抽样到，以类似错误修正的方式训练树。

决策树与神经网络的选择

决策树在结构化数据下可用，非结构化数据不推荐；可解释

相关文章：

decison tree 决策树

熵 信息增益 信息增益描述的是在分叉过程中获得的熵减，信息增益即熵减。 熵减可以用来决定什么时候停止分叉，当熵减很小的时候你只是在不必要的增加树的深度，并且冒着过拟合的风险 决策树训练(构建)过程 离散值特征处理：One-Hot…...

编程日记 2026/5/5 5:07:11

Spring Data JPA 实战：构建高性能数据访问层

1 简介 1.1 Spring Data JPA 概述 1.1.1 什么是 Spring Data JPA？ Spring Data JPA 是 Spring Data 项目的一部分，旨在简化对基于 JPA 的数据库访问操作。它通过提供一致的编程模型和接口，使得开发者可以更轻松地与关系型数据库进行交互，同时减少了样板代码的编写。Spri…...

编程日记 2026/5/7 19:31:33

11 Spark面试真题

11 Spark大厂面试真题 1. 通常来说，Spark与MapReduce相比，Spark运行效率更高。请说明效率更高来源于Spark内置的哪些机制？2. hadoop和spark使用场景？3. spark如何保证宕机迅速恢复?4. hadoop和spark的相同点和不同点？…...

编程日记 2026/4/30 21:05:44

【AI论文】VideoAuteur：迈向长叙事视频

摘要：近期的视频生成模型在制作持续数秒的高质量视频片段方面已展现出令人鼓舞的成果。然而，这些模型在生成能传达清晰且富有信息量的长序列时面临挑战，限制了它们支持连贯叙事的能力。在本文中，我们提出了一个大规模烹饪视频数据…...

编程日记 2026/5/7 4:23:35

循环神经网络（RNN）+pytorch实现情感分析

目录 一、背景引入 二、网络介绍 2.1 输入层 2.2 循环层 2.3 输出层 2.4 举例 2.5 深层网络 三、网络的训练 3.1 训练过程举例 1）输出层 2）循环层 3.2 BPTT 算法 1）输出层 2）循环层 3）算法流程 四、循…...

编程日记 2026/5/8 18:14:30

css-background-color（transparent）

1.前言 在 CSS 中，background-color 属性用于设置元素的背景颜色。除了基本的颜色值（如 red、blue 等）和十六进制颜色值（如 #FF0000、#0000FF 等），还有一些特殊的属性值可以用来设置背景颜色。 2.backgrou…...

编程日记 2026/3/17 6:10:37

【Leetcode 热题 100】32. 最长有效括号

问题背景 给你一个只包含 ‘(’ 和 ‘)’ 的字符串，找出最长有效（格式正确且连续）括号 子串 的长度。 数据约束 0 ≤ s . l e n g t h ≤ 3 1 0 4 0 \le s.length \le 3 \times 10 ^ 4 0≤s.length≤3104 s [ i ] s[i] s[i] 为 ‘(’ 或 ‘…...

编程日记 2026/3/26 1:38:12

Linux网络 | 网络层IP报文解析、认识网段划分与IP地址

前言：本节内容为网络层。 主要讲解IP协议报文字段以及分离有效载荷。 另外， 本节也会带领友友认识一下IP地址的划分。 那么现在废话不多说， 开始我们的学习吧！！ ps：本节正式进入网络层喽， 友友们…...

编程日记 2026/5/7 21:24:15

Google 和 Meta 携手 FHE 应对隐私挑战

1. 引言 为什么世界上最大的广告商，如谷歌和 Meta 这样的超大规模公司都选择全同态加密 (FHE)。 2. 定向广告 谷歌和 Meta 是搜索引擎和社交网络领域的两大巨头，它们本质上从事的是同一业务——广告。它们最近公布的年度广告收入数据显示，…...

编程日记 2026/2/17 1:22:50

将markdown文件转为word文件

通义千问等大模型生成的回答多数是markdown类型的，需要将他们转为Word文件 一 pypandoc 介绍 1. 项目介绍 pypandoc 是一个用于 pandoc 的轻量级 Python 包装器。pandoc 是一个通用的文档转换工具，支持多种格式的文档转换，如 Markdown、HTM…...

编程日记 2026/2/19 13:12:41

arkts bridge使用示例

接上一篇：arkui-x跨平台与android java联合开发-CSDN博客 本篇讲前端arkui如何与后端其他平台进行数据交互，接上一篇，后端os平台为Android java。 arkui-x框架提供了一个独特的机制：bridge。 1、前端接口定义实现 定义一个bri…...

编程日记 2026/3/15 3:53:32

2025年大年初一篇，C#调用GPU并行计算推荐

C#调用GPU库的主要目的是利用GPU的并行计算能力，加速计算密集型任务，提高程序性能，支持大规模数据处理，优化资源利用，满足特定应用场景的需求，并提升用户体验。在需要处理大量并行数据或进行复杂计算的场景…...

编程日记 2026/5/4 14:54:59

python算法和数据结构刷题[2]：链表、队列、栈

链表 链表的节点定义： class Node():def __init__(self,item,nextNone):self.itemitemself.nextNone 删除节点： 删除节点前的节点的next指针指向删除节点的后一个节点 添加节点： 单链表 class Node():"""单链表的结点&quo…...

编程日记 2026/4/24 22:05:36

Baklib解析内容中台与人工智能技术带来的价值与机遇

内容概要 在数字化转型的浪潮中，内容中台与人工智能技术的结合为企业提供了前所未有的发展机遇。内容中台作为一种新的内容管理和生产模式，通过统一管理和协调各种内容资源，帮助企业更高效地整合内外部数据。而人工智能技术则以其强大的数据…...

编程日记 2026/4/23 2:08:25

Flask框架基础入门教程_ezflaskapp

pip install flaskFlask 快速入门小应用 学东西，得先知道我们用这个东西，能做出来一个什么东西。 一个最小的基于flask 的应用可能看上去像下面这个样子： from flask import Flask app Flask(__name__)app.route(/) def hello_world():ret…...

编程日记 2026/5/9 6:53:52

黑马点评 - 商铺类型缓存练习题（Redis List实现）

首先明确返回值是一个 List<ShopType> 类型那么我们修改此函数并在 TypeService 中声明 queryTypeList 方法&#xff0c;并在其实现类中实现此方法 GetMapping("list")public Result queryTypeList() {return typeService.queryTypeList();}实现此方法首先需要…...

编程日记 2026/4/24 3:36:55

AI学习指南Ollama篇-使用Ollama构建自己的私有化知识库

一、引言 （一）背景介绍 随着企业对数据隐私和效率的重视，私有化知识库的需求日益增长。私有化知识库不仅可以保护企业数据的安全性，还能提供高效的知识管理和问答系统，提升企业内部的工作效率和创新能力。 （二）Ollama和AnythingLLM的结合 Ollama和AnythingLLM的结合…...

编程日记 2026/2/25 11:54:04

洛谷P4057 [Code+#1] 晨跑

题目链接&#xff1a;P4057 [Code#1] 晨跑 - 洛谷 | 计算机科学教育新生态 题目难度&#xff1a;普及一 题目分析&#xff1a;这道题很明显是求最大公倍数&#xff0c;写题解是为了帮助自己复习。 下面用两种方法介绍如何求最大公倍数&#xff1a; 暴力破解 #include<bits…...

编程日记 2026/4/23 19:42:18

嵌入式经典面试题之操作系统（一）

文章目录 1 请你说说常用的Linux命令有哪些&#xff1f;2 在linux中如何创建一个新的目录&#xff1f;3 Linux中查看进程运行状态的指令、tar解压文件的参数。4 在linux中&#xff0c;文件权限如何修改&#xff1f;5 怎样以root权限运行某个程序&#xff1f;6 在linux里如何查看…...

编程日记 2026/2/25 8:43:14

讯飞绘镜（ai生成视频）技术浅析（四）：图像生成

1. 技术架构概述 讯飞绘镜的图像生成技术可以分为以下几个核心模块： 文本理解与视觉元素提取：解析脚本中的场景描述，提取关键视觉元素（如人物、场景、物体等）。 视觉元素生成：根据文本描述生成具体的视觉元素（如人物、场景、物体等）。 分镜画面生成：将视觉元素组合成…...

编程日记 2026/4/30 17:06:27

搜索引擎快速收录：关键词布局的艺术

本文来自&#xff1a;百万收录网 原文链接&#xff1a;https://www.baiwanshoulu.com/21.html 搜索引擎快速收录中的关键词布局&#xff0c;是一项既精细又富有策略性的工作。以下是对关键词布局艺术的详细阐述&#xff1a; 一、关键词布局的重要性 关键词布局影响着后期页面…...

编程日记 2026/2/24 3:36:50

[Effective C++]条款53-55 杂项讨论

本文初发于 “天目中云的小站”&#xff0c;同步转载于此。’ 学到这里, Effective C至此也算是告一段落了, 还剩下一些杂七杂八的讨论, 我们将在本文逐一列举. 条款53 : 不要忽视编译器的警告 我们应严肃对待编译器发出的警告信息, 努力在你的编译器最高警告级别下争取无警告…...

编程日记 2026/5/3 15:38:58

FreeRTOS从入门到精通 第十五章（事件标志组）

参考教程&#xff1a;【正点原子】手把手教你学FreeRTOS实时系统_哔哩哔哩_bilibili 一、事件标志组简介 1、概述 &#xff08;1&#xff09;事件标志位是一个“位”&#xff0c;用来表示事件是否发生。 &#xff08;2&#xff09;事件标志组是一组事件标志位的集合&#x…...

编程日记 2026/4/29 6:49:37

5 长度和距离计算模块（length.rs）

这段代码定义了一个泛型结构体 Length<T, Unit>&#xff0c;用于表示一维长度&#xff0c;其中 T 表示长度的数值类型&#xff0c;而 Unit 是一个编译时检查单位一致性的占位符类型&#xff0c;不会用于运行时表示长度的值。这个设计允许开发者在编译阶段确保不同单位之间…...

编程日记 2026/4/3 2:30:14

使用Pygame制作“俄罗斯方块”游戏

1. 前言 俄罗斯方块&#xff08;Tetris&#xff09; 是一款由方块下落、行消除等核心规则构成的经典益智游戏&#xff1a; 每次从屏幕顶部出现一个随机的方块&#xff08;由若干小方格组成&#xff09;&#xff0c;玩家可以左右移动或旋转该方块&#xff0c;让它合适地堆叠在…...

编程日记 2026/4/20 13:26:53

deepseek大模型本机部署

2024年1月20日晚&#xff0c;中国DeepSeek发布了最新推理模型DeepSeek-R1&#xff0c;引发广泛关注。这款模型不仅在性能上与OpenAI的GPT-4相媲美&#xff0c;更以开源和创新训练方法&#xff0c;为AI发展带来了新的可能性。 本文讲解如何在本地部署deepseek r1模型。deepseek官…...

编程日记 2026/4/23 7:07:03

常见“栈“相关题目

找往期文章包括但不限于本期文章中不懂的知识点&#xff1a; 个人主页&#xff1a;我要学编程(ಥ_ಥ)-CSDN博客 所属专栏&#xff1a; 优选算法专题 目录 1047.删除字符串中的所有相邻重复项 844.比较含退格的字符串 227.基本计算器 II 394.字符串解码 946.验证栈序列 104…...

编程日记 2026/5/8 1:58:45

QT实现有限元软件操作界面

本系列文章致力于实现“手搓有限元&#xff0c;干翻Ansys的目标”&#xff0c;基本框架为前端显示使用QT实现交互&#xff0c;后端计算采用Visual Studio C。 本篇将二维矩形截面梁单元&#xff08;Rect_Beam2D2Node&#xff09;组成的钢结构桥作为案例来展示软件功能。 也可以…...

编程日记 2026/5/8 2:10:53

软件工程经济学-日常作业+大作业

目录 一、作业1 作业内容 解答 二、作业2 作业内容 解答 三、作业3 作业内容 解答 四、大作业 作业内容 解答 1.建立层次结构模型 (1)目标层 (2)准则层 (3)方案层 2.构造判断矩阵 (1)准则层判断矩阵 (2)方案层判断矩阵 3.层次单排序及其一致性检验 代码 …...

编程日记 2026/4/20 13:26:42

深度学习篇---深度学习框架

文章目录 前言第一部分&#xff1a;框架简介1. PyTorch简介特点动态计算图易于上手强大的社区支持与Python的集成度高 核心组件 2. TensorFlow简介特点静态计算图跨平台强大的生态系统Keras集成 核心组件 3. PaddlePaddle简介特点易于使用高性能工业级应用丰富的预训练模型 核心…...

编程日记 2026/5/5 23:12:51