当前位置： 首页 > news >正文

十大机器学习算法深入浅出

news 2025/7/4 20:35:02

本栏目涉及对于回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机等十大机器学习算法的笔记
下面是笔记大纲，具体内容可查看**“十大机器学习算法深入浅出”**专栏，内容持续更新，欢迎订阅专栏和专注我！

1. 线性回归

  • 第一章：线性回归原理推导
    • 1-回归问题概述
    • 2-误差项定义
    • 3-独立同分布的意义
    • 4-似然函数的作用
    • 5-参数求解
    • 6-梯度下降通俗解释
    • 7-参数更新方法
    • 8-优化参数设置
  • 第二章：线性回归代码实现
    • 1-线性回归整体模块概述
    • 2-初始化步骤
    • 3-实现梯度下降优化模块
    • 4-损失与预测模块
    • 5-数据与标签定义
    • 6-训练线性回归模型
    • 7-得到线性回归方程
    • 8-整体流程debug解读
    • 9-多特征回归模型
    • 10-非线性回归
  • 第四章：线性回归实验分析
    • 1-实验目标分析
    • 2-参数直接求解方法
    • 3-预处理对结果的影响
    • 4-梯度下降模块
    • 5-学习率对结果的影响
    • 6-随机梯度下降得到的效果
    • 7-MiniBatch方法
    • 8-不同策略效果对比
    • 9-多项式回归
    • 10-模型复杂度
    • 11-样本数量对结果的影响
    • 12-正则化的作用
    • 13-岭回归与lasso
    • 14-实验总结

2. 模型评估

  • 第三章：模型评估方法
    • 1-Sklearn工具包简介
    • 2-数据集切分
    • 3-交叉验证的作用
    • 4-交叉验证实验分析
    • 5-混淆矩阵
    • 6-评估指标对比分析
    • 7-阈值对结果的影响
    • 8-ROC曲线

3. 逻辑回归

  • 第五章：逻辑回归原理推导
    • 1-逻辑回归算法原理
    • 2-化简与求解
  • 第六章：逻辑回归代码实现
    • 1-多分类逻辑回归整体思路
    • 2-训练模块功能
    • 3-完成预测模块
    • 4-优化目标定义
    • 5-迭代优化参数
    • 6-梯度计算
    • 7-得出最终结果
    • 8-鸢尾花数据集多分类任务
    • 9-训练多分类模型
    • 10-准备测试数据
    • 11-决策边界绘制
    • 12-非线性决策边界
  • 第七章：逻辑回归实验分析

4. 聚类算法

  • 第八章：聚类算法-Kmeans&Dbscan原理
    • 1-KMEANS算法概述
    • 2-KMEANS工作流程
    • 3-KMEANS迭代可视化展示
    • 4-DBSCAN聚类算法
    • 5-DBSCAN工作流程
    • 6-DBSCAN可视化展示
  • 第九章：Kmeans代码实现
    • 1-Kmeans算法模块概述
    • 2-计算得到簇中心点
    • 3-样本点归属划分
    • 4-算法迭代更新
    • 5-鸢尾花数据集聚类任务
    • 6-聚类效果展示
  • 第十章：聚类算法实验分析

5. 决策树

  • 第十一章：决策树原理
    • 1-决策树算法概述
    • 2-熵的作用
    • 3-信息增益原理
    • 4-决策树构造实例
    • 5-信息增益率与gini系数
    • 6-预剪枝方法
    • 7-后剪枝方法
    • 8-回归问题解决
  • 第十二章：决策树代码实现
    • 1-整体模块概述
    • 2-递归生成树节点
    • 3-整体框架逻辑
    • 4-熵值计算
    • 5-数据集切分
    • 6-完成树模型构建
    • 7-测试算法效果
  • 第十三章：决策树实验分析

6. 集成算法

  • 第十四章：集成算法原理
    • 1-随机森林算法原理
    • 2-随机森林优势与特征重要性指标
    • 3-提升算法概述
    • 4-stacking堆叠模型
  • 第十五章：集成算法实验分析

7. 支持向量机

  • 第十六章：支持向量机原理推导
    • 1-支持向量机要解决的问题
    • 2-距离与数据定义
    • 3-目标函数推导
    • 4-拉格朗日乘子法求解
    • 5-化简最终目标函数
    • 6-求解决策方程
    • 7-软间隔优化
    • 8-核函数的作用
    • 9-知识点总结
  • 第十七章：支持向量机实验分析

8. 神经网络

  • 第十八章：神经网络算法原理
    • 1-深度学习要解决的问题
    • 2-深度学习应用领域
    • 3-计算机视觉任务
    • 4-视觉任务中遇到的问题
    • 5-得分函数
    • 6-损失函数的作用
    • 7-前向传播整体流程
    • 8-返向传播计算方法
    • 9-神经网络整体架构
    • 10-神经网络架构细节
    • 11-神经元个数对结果的影响
    • 12-正则化与激活函数
    • 13-神经网络过拟合解决方法
  • 第十九章：神经网络代码实现

9. 贝叶斯算法

  • 第二十章：贝叶斯算法原理
    • 1-贝叶斯要解决的问题
    • 2-贝叶斯公式推导
    • 3-拼写纠错实例
    • 4-垃圾邮件过滤实例
  • 第二十一章：贝叶斯代码实现

10. 关联规则

  • 第二十二章：关联规则实战分析
  • 第二十三章：关联规则代码实现

11. 词向量word2vec

  • 第二十四章：词向量word2vec通俗解读
  • 第二十五章：代码实现word2vec词向量模型

参考资料：

  1. 机器学习导论 Ethem Alpaydin（机械工业出版社）
  2. 这也太全了！回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机等十大机器学习算法一口气学完！

相关文章：

十大机器学习算法深入浅出

本栏目涉及对于回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机等十大机器学习算法的笔记 下面是笔记大纲，具体内容可查看**“十大机器学习算法深入浅出”**专栏，内容持续更新，欢迎订阅专栏和专注我！ 1…...

编程日记 2024/6/21 7:34:30

【论文笔记】Parameter-Effificient Transfer Learning for NLP

题目:Parameter-Effificient Transfer Learning for NLP 阅读 文章目录 0.摘要1.引言2 Adapter tuning for NLP3 实验3.1 参数/性能平衡3.2 讨论 4.相关工作 0.摘要 克服微调训练不高效的问题，增加一些adapter模块，思想就是固定原始的网络中的参数&…...

编程日记 2024/6/21 7:33:29

Qt异常处理

初步警告:异常安全功能不完整!一般情况下应该可以工作，但类仍然可能泄漏甚至崩溃。 Qt本身不会抛出异常。而是使用错误码, 但是C可能会抛出异常。此外，有些类有用户可见的错误消息，例如QIODevice::errorString()或QSqlQuery::lastError()。这…...

编程日记 2024/6/21 7:32:27

【ElasticSearch】ElasticSearch实战

初步检索 检索 ES 信息 1）、GET /_cat/nodes：查看所有节点 127.0.0.1 44 83 1 0.01 0.01 0.00 dilm * 1b06a843b8e3 *代表主节点 2）、GET /_cat/health：查看健康状况 1718265331 07:55:31 elasticsearch yellow 1 1 4 4 0 0…...

编程日记 2024/6/21 7:30:24

48-3 内网渗透 - 令牌操纵

访问令牌操纵 Windows 操作系统的访问控制模型是其安全性的重要组成部分，主要由访问令牌（Access Token）和安全描述符（Security Descriptor）构成。访问令牌是访问者持有的，而安全描述符则由被访问对象持有。通过对比访问令牌和安全描述符的内容，Windows 可以判断访问者是…...

编程日记 2024/6/21 7:29:23

架构师之 Kafka 核心概念入门

Kafka 核心概念 作为架构师，理解 Kafka 的核心概念至关重要。这些概念是构建高效、可靠的 Kafka 系统的基础。 以下是需要掌握的 Kafka 核心概念及其详细说明： 1. Topic 定义：Topic 是 Kafka 中用于存储和分类消息的逻辑命名空间。每个 Topic 代表一类数据流， 例如日志、…...

编程日记 2024/6/21 7:28:21

Redis通用命令详解

文章目录 一、Redis概述1.1 KEYS：查看符合模板的所有 key1.2 DEL：删除一个指定的 key1.3 EXISTS：判断 key 是否存在1.4 EXPIRE：给一个 key 设置有效期，有效期到期时该 key 会被自动删除1.5 TTL：查看一个 ke…...

编程日记 2024/6/21 7:27:19

物联网设备安装相关知识整理

拓扑图 对于ADAM-4150先接设备的整体的供电。 ADAM-4150就涉及到几个电子元器件的连接，一个是485-232的转换器，一个是将RS-232转换为USB的转接口，因为现在的计算机很多都去掉了RS-232接口而使用USB接口。 4150右侧有个拨码，分别两…...

编程日记 2024/6/21 7:26:17

React实现H5手势密码

监测应用进入前后台 在JavaScript中，监听H5页面是否在前台或后台运行，主要依赖于Page Visibility API。这个API在大多数现代浏览器中都是支持的，包括苹果的Safari和谷歌的Chrome（也就基本覆盖了Android和iOS平台）。下…...

编程日记 2024/6/21 7:25:16

[leetcode hot 150]第十五题，三数之和

题目： 给你一个整数数组 nums ，判断是否存在三元组 [nums[i], nums[j], nums[k]] 满足 i ! j、i ! k 且 j ! k ，同时还满足 nums[i] nums[j] nums[k] 0 。请 你返回所有和为 0 且不重复的三元组。 注意：答案中不可以包含重复…...

编程日记 2024/6/21 7:23:13

视频AI分析定时任务思路解析

序言： 最近项目中用到视频ai分析，由于sdk涉及保密，不便透露，仅对定时任务分析的思路作出分享，仅供参考。 1、定时任务 由于ai服务器的性能上限，只能同时对64个rtsp流分析一种算法，或者对8个rts…...

编程日记 2024/6/21 7:22:12

tcp 粘包和拆包 及 解决粘包方案

什么是粘包和拆包 .TCP 是面向连接的，面向流的，提供高可靠性服务。收发两端（客户端和服务器端）都要有一一成对的 socket，因此，发送端为了将多个发给接收端的包，更有效的发给对方，使…...

编程日记 2024/6/21 7:21:10

【2024泰迪杯】B 题：基于多模态特征融合的图像文本检索20页论文及Python代码

【2024泰迪杯】B 题：基于多模态特征融合的图像文本检索20页论文及Python代码 相关链接 【2024泰迪杯】A 题：生产线的故障自动识别与人员配置 Python代码实现 【2024泰迪杯】B 题：基于多模态特征融合的图像文本检索Python代码实现 【2024泰迪…...

编程日记 2024/6/21 7:20:09

华为设备telnet 远程访问配置实验简述

一、实验需求: 1、AR1模拟电脑telnet 访问AR2路由器。 二、实验步骤： 1、AR1和AR2接口配置IP，实现链路通信。 2、AR2配置AAA模式 配置用户及密码 配置用户访问级别 配置用户telnet 访问服务 AR2配置远程服务数量 配置用户远程访问模式为AAA 配置允许登录…...

编程日记 2024/6/21 7:18:06

在HTML中，如何正确使用语义化标签？

在HTML中&#xff0c;使用语义化标签可以使得网页结构更加清晰和易于理解。以下是一些正确使用语义化标签的方法&#xff1a; 使用合适的标题标签&#xff08;h1-h6&#xff09;来标识网页的标题&#xff0c;以及页面中的各个区块的标题。 <h1>网页标题</h1> <…...

编程日记 2024/6/21 7:17:05

WHAT - 高性能和内存安全的 Rust（一）

目录 一、介绍1.1 示例代码1.2 关键特性内存安全零成本抽象&#xff1a;高效性能示例代码&#xff1a;使用迭代器的零成本抽象示例代码&#xff1a;泛型和单态化总结 并发编程&#xff1a;防止数据竞争Rust 并发编程示例Rust 的所有权系统防止数据竞争总结 丰富的类型系统包管理…...

编程日记 2024/6/21 7:16:02

八、C#运算符

C#运算符 晕杜甫是一种告诉编辑器执行特定的数学或逻辑操作的符号。C#有丰富的内置运算符&#xff0c;分类如下&#xff1a; 算术运算符关系运算符逻辑运算符位运算符赋值运算符其他运算符 算术运算符 下表显示了 C# 支持的所有算术运算符。假设变量 A 的值为 10&#xff0c…...

编程日记 2024/6/21 7:15:00

【HiveSQL】join关联on和where的区别及效率对比

测试环境&#xff1a;hive on spark spark版本&#xff1a;3.3.1 一、执行时机二、对结果集的影响三、效率对比1.内连接1&#xff09;on2&#xff09;where 2.外连接1&#xff09;on2&#xff09;where 四、总结PS 一、执行时机 sql连接中&#xff0c;where属于过滤条件&#…...

编程日记 2024/6/21 7:13:59

如何解决windows自动更新，释放C盘更新内存

第一步&#xff1a;首先关闭windows自动更新组件 没有更新windows需求&#xff0c;为了防止windows自动更新&#xff0c;挤占C盘空间&#xff0c;所以我们要采取停止Windows Update服务。按下WinR打开运行对话框&#xff0c;输入services.msc&#xff0c; 然后按Enter。在服务…...

编程日记 2024/6/21 7:12:57

初学51单片机之PWM实例呼吸灯以及遇到的问题（已解答）

PWM全名Pulse Width Modulation中文称呼脉冲宽度调制 如图 这是一个周期10ms、频率是100HZ的波形&#xff0c;但是每个周期内&#xff0c;高低电平宽度各不相同&#xff0c;这就是PWM的本质。 占空比是指高电平占整个周期的比列,上图第一个波形的占空比是40%&#xff0c;第二个…...

编程日记 2024/6/21 7:11:56

使用分级同态加密防御梯度泄漏

抽象 联邦学习 &#xff08;FL&#xff09; 支持跨分布式客户端进行协作模型训练&#xff0c;而无需共享原始数据&#xff0c;这使其成为在互联和自动驾驶汽车 &#xff08;CAV&#xff09; 等领域保护隐私的机器学习的一种很有前途的方法。然而&#xff0c;最近的研究表明&…...

编程新知 2025/7/2 12:22:47

Auto-Coder使用GPT-4o完成：在用TabPFN这个模型构建一个预测未来3天涨跌的分类任务

通过akshare库&#xff0c;获取股票数据&#xff0c;并生成TabPFN这个模型 可以识别、处理的格式&#xff0c;写一个完整的预处理示例&#xff0c;并构建一个预测未来 3 天股价涨跌的分类任务 用TabPFN这个模型构建一个预测未来 3 天股价涨跌的分类任务&#xff0c;进行预测并输…...

编程新知 2025/6/26 20:21:28

2.Vue编写一个app

1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template> <!--html--> </template>…...

编程新知 2025/7/4 14:04:03

工程地质软件市场：发展现状、趋势与策略建议

一、引言 在工程建设领域&#xff0c;准确把握地质条件是确保项目顺利推进和安全运营的关键。工程地质软件作为处理、分析、模拟和展示工程地质数据的重要工具&#xff0c;正发挥着日益重要的作用。它凭借强大的数据处理能力、三维建模功能、空间分析工具和可视化展示手段&…...

编程新知 2025/6/17 23:10:20

页面渲染流程与性能优化

页面渲染流程与性能优化详解&#xff08;完整版&#xff09; 一、现代浏览器渲染流程&#xff08;详细说明&#xff09; 1. 构建DOM树 浏览器接收到HTML文档后&#xff0c;会逐步解析并构建DOM&#xff08;Document Object Model&#xff09;树。具体过程如下&#xff1a; (…...

编程新知 2025/6/26 7:14:46

ServerTrust 并非唯一

NSURLAuthenticationMethodServerTrust 只是 authenticationMethod 的冰山一角 要理解 NSURLAuthenticationMethodServerTrust, 首先要明白它只是 authenticationMethod 的选项之一, 并非唯一 1 先厘清概念 点说明authenticationMethodURLAuthenticationChallenge.protectionS…...

编程新知 2025/6/19 14:22:44

Python如何给视频添加音频和字幕

在Python中&#xff0c;给视频添加音频和字幕可以使用电影文件处理库MoviePy和字幕处理库Subtitles。下面将详细介绍如何使用这些库来实现视频的音频和字幕添加&#xff0c;包括必要的代码示例和详细解释。 环境准备 在开始之前&#xff0c;需要安装以下Python库&#xff1a;…...

编程新知 2025/6/20 22:43:59

HDFS分布式存储 zookeeper

hadoop介绍 狭义上hadoop是指apache的一款开源软件 用java语言实现开源框架&#xff0c;允许使用简单的变成模型跨计算机对大型集群进行分布式处理&#xff08;1.海量的数据存储 2.海量数据的计算&#xff09;Hadoop核心组件 hdfs&#xff08;分布式文件存储系统&#xff09;&a…...

编程新知 2025/6/26 0:04:04

在QWebEngineView上实现鼠标、触摸等事件捕获的解决方案

这个问题我看其他博主也写了&#xff0c;要么要会员、要么写的乱七八糟。这里我整理一下&#xff0c;把问题说清楚并且给出代码&#xff0c;拿去用就行&#xff0c;照着葫芦画瓢。 问题 在继承QWebEngineView后&#xff0c;重写mousePressEvent或event函数无法捕获鼠标按下事…...

编程新知 2025/6/11 3:07:32

Spring AI Chat Memory 实战指南：Local 与 JDBC 存储集成

一个面向 Java 开发者的 Sring-Ai 示例工程项目&#xff0c;该项目是一个 Spring AI 快速入门的样例工程项目&#xff0c;旨在通过一些小的案例展示 Spring AI 框架的核心功能和使用方法。 项目采用模块化设计&#xff0c;每个模块都专注于特定的功能领域&#xff0c;便于学习和…...

编程新知 2025/6/20 11:58:47