当前位置： 首页 > news >正文

十大机器学习算法深入浅出

news 文章来源：https://blog.csdn.net/weixin_45312236/article/details/139840103 2025/5/8 18:28:15

本栏目涉及对于回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机等十大机器学习算法的笔记
下面是笔记大纲，具体内容可查看**“十大机器学习算法深入浅出”**专栏，内容持续更新，欢迎订阅专栏和专注我！

1. 线性回归

  • 第一章：线性回归原理推导
    • 1-回归问题概述
    • 2-误差项定义
    • 3-独立同分布的意义
    • 4-似然函数的作用
    • 5-参数求解
    • 6-梯度下降通俗解释
    • 7-参数更新方法
    • 8-优化参数设置
  • 第二章：线性回归代码实现
    • 1-线性回归整体模块概述
    • 2-初始化步骤
    • 3-实现梯度下降优化模块
    • 4-损失与预测模块
    • 5-数据与标签定义
    • 6-训练线性回归模型
    • 7-得到线性回归方程
    • 8-整体流程debug解读
    • 9-多特征回归模型
    • 10-非线性回归
  • 第四章：线性回归实验分析
    • 1-实验目标分析
    • 2-参数直接求解方法
    • 3-预处理对结果的影响
    • 4-梯度下降模块
    • 5-学习率对结果的影响
    • 6-随机梯度下降得到的效果
    • 7-MiniBatch方法
    • 8-不同策略效果对比
    • 9-多项式回归
    • 10-模型复杂度
    • 11-样本数量对结果的影响
    • 12-正则化的作用
    • 13-岭回归与lasso
    • 14-实验总结

2. 模型评估

  • 第三章：模型评估方法
    • 1-Sklearn工具包简介
    • 2-数据集切分
    • 3-交叉验证的作用
    • 4-交叉验证实验分析
    • 5-混淆矩阵
    • 6-评估指标对比分析
    • 7-阈值对结果的影响
    • 8-ROC曲线

3. 逻辑回归

  • 第五章：逻辑回归原理推导
    • 1-逻辑回归算法原理
    • 2-化简与求解
  • 第六章：逻辑回归代码实现
    • 1-多分类逻辑回归整体思路
    • 2-训练模块功能
    • 3-完成预测模块
    • 4-优化目标定义
    • 5-迭代优化参数
    • 6-梯度计算
    • 7-得出最终结果
    • 8-鸢尾花数据集多分类任务
    • 9-训练多分类模型
    • 10-准备测试数据
    • 11-决策边界绘制
    • 12-非线性决策边界
  • 第七章：逻辑回归实验分析

4. 聚类算法

  • 第八章：聚类算法-Kmeans&Dbscan原理
    • 1-KMEANS算法概述
    • 2-KMEANS工作流程
    • 3-KMEANS迭代可视化展示
    • 4-DBSCAN聚类算法
    • 5-DBSCAN工作流程
    • 6-DBSCAN可视化展示
  • 第九章：Kmeans代码实现
    • 1-Kmeans算法模块概述
    • 2-计算得到簇中心点
    • 3-样本点归属划分
    • 4-算法迭代更新
    • 5-鸢尾花数据集聚类任务
    • 6-聚类效果展示
  • 第十章：聚类算法实验分析

5. 决策树

  • 第十一章：决策树原理
    • 1-决策树算法概述
    • 2-熵的作用
    • 3-信息增益原理
    • 4-决策树构造实例
    • 5-信息增益率与gini系数
    • 6-预剪枝方法
    • 7-后剪枝方法
    • 8-回归问题解决
  • 第十二章：决策树代码实现
    • 1-整体模块概述
    • 2-递归生成树节点
    • 3-整体框架逻辑
    • 4-熵值计算
    • 5-数据集切分
    • 6-完成树模型构建
    • 7-测试算法效果
  • 第十三章：决策树实验分析

6. 集成算法

  • 第十四章：集成算法原理
    • 1-随机森林算法原理
    • 2-随机森林优势与特征重要性指标
    • 3-提升算法概述
    • 4-stacking堆叠模型
  • 第十五章：集成算法实验分析

7. 支持向量机

  • 第十六章：支持向量机原理推导
    • 1-支持向量机要解决的问题
    • 2-距离与数据定义
    • 3-目标函数推导
    • 4-拉格朗日乘子法求解
    • 5-化简最终目标函数
    • 6-求解决策方程
    • 7-软间隔优化
    • 8-核函数的作用
    • 9-知识点总结
  • 第十七章：支持向量机实验分析

8. 神经网络

  • 第十八章：神经网络算法原理
    • 1-深度学习要解决的问题
    • 2-深度学习应用领域
    • 3-计算机视觉任务
    • 4-视觉任务中遇到的问题
    • 5-得分函数
    • 6-损失函数的作用
    • 7-前向传播整体流程
    • 8-返向传播计算方法
    • 9-神经网络整体架构
    • 10-神经网络架构细节
    • 11-神经元个数对结果的影响
    • 12-正则化与激活函数
    • 13-神经网络过拟合解决方法
  • 第十九章：神经网络代码实现

9. 贝叶斯算法

  • 第二十章：贝叶斯算法原理
    • 1-贝叶斯要解决的问题
    • 2-贝叶斯公式推导
    • 3-拼写纠错实例
    • 4-垃圾邮件过滤实例
  • 第二十一章：贝叶斯代码实现

10. 关联规则

  • 第二十二章：关联规则实战分析
  • 第二十三章：关联规则代码实现

11. 词向量word2vec

  • 第二十四章：词向量word2vec通俗解读
  • 第二十五章：代码实现word2vec词向量模型

参考资料：

  1. 机器学习导论 Ethem Alpaydin（机械工业出版社）
  2. 这也太全了！回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机等十大机器学习算法一口气学完！

相关文章：

十大机器学习算法深入浅出

本栏目涉及对于回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机等十大机器学习算法的笔记 下面是笔记大纲，具体内容可查看**“十大机器学习算法深入浅出”**专栏，内容持续更新，欢迎订阅专栏和专注我！ 1…...

编程日记 2024/6/21 7:34:30

【论文笔记】Parameter-Effificient Transfer Learning for NLP

题目:Parameter-Effificient Transfer Learning for NLP 阅读 文章目录 0.摘要1.引言2 Adapter tuning for NLP3 实验3.1 参数/性能平衡3.2 讨论 4.相关工作 0.摘要 克服微调训练不高效的问题，增加一些adapter模块，思想就是固定原始的网络中的参数&…...

编程日记 2024/6/21 7:33:29

Qt异常处理

初步警告:异常安全功能不完整!一般情况下应该可以工作，但类仍然可能泄漏甚至崩溃。 Qt本身不会抛出异常。而是使用错误码, 但是C可能会抛出异常。此外，有些类有用户可见的错误消息，例如QIODevice::errorString()或QSqlQuery::lastError()。这…...

编程日记 2024/6/21 7:32:27

【ElasticSearch】ElasticSearch实战

初步检索 检索 ES 信息 1）、GET /_cat/nodes：查看所有节点 127.0.0.1 44 83 1 0.01 0.01 0.00 dilm * 1b06a843b8e3 *代表主节点 2）、GET /_cat/health：查看健康状况 1718265331 07:55:31 elasticsearch yellow 1 1 4 4 0 0…...

编程日记 2024/6/21 7:30:24

48-3 内网渗透 - 令牌操纵

访问令牌操纵 Windows 操作系统的访问控制模型是其安全性的重要组成部分，主要由访问令牌（Access Token）和安全描述符（Security Descriptor）构成。访问令牌是访问者持有的，而安全描述符则由被访问对象持有。通过对比访问令牌和安全描述符的内容，Windows 可以判断访问者是…...

编程日记 2024/6/21 7:29:23

架构师之 Kafka 核心概念入门

Kafka 核心概念 作为架构师，理解 Kafka 的核心概念至关重要。这些概念是构建高效、可靠的 Kafka 系统的基础。 以下是需要掌握的 Kafka 核心概念及其详细说明： 1. Topic 定义：Topic 是 Kafka 中用于存储和分类消息的逻辑命名空间。每个 Topic 代表一类数据流， 例如日志、…...

编程日记 2024/6/21 7:28:21

Redis通用命令详解

文章目录 一、Redis概述1.1 KEYS：查看符合模板的所有 key1.2 DEL：删除一个指定的 key1.3 EXISTS：判断 key 是否存在1.4 EXPIRE：给一个 key 设置有效期，有效期到期时该 key 会被自动删除1.5 TTL：查看一个 ke…...

编程日记 2024/6/21 7:27:19

物联网设备安装相关知识整理

拓扑图 对于ADAM-4150先接设备的整体的供电。 ADAM-4150就涉及到几个电子元器件的连接，一个是485-232的转换器，一个是将RS-232转换为USB的转接口，因为现在的计算机很多都去掉了RS-232接口而使用USB接口。 4150右侧有个拨码，分别两…...

编程日记 2024/6/21 7:26:17

React实现H5手势密码

监测应用进入前后台 在JavaScript中，监听H5页面是否在前台或后台运行，主要依赖于Page Visibility API。这个API在大多数现代浏览器中都是支持的，包括苹果的Safari和谷歌的Chrome（也就基本覆盖了Android和iOS平台）。下…...

编程日记 2024/6/21 7:25:16

[leetcode hot 150]第十五题，三数之和

题目： 给你一个整数数组 nums ，判断是否存在三元组 [nums[i], nums[j], nums[k]] 满足 i ! j、i ! k 且 j ! k ，同时还满足 nums[i] nums[j] nums[k] 0 。请 你返回所有和为 0 且不重复的三元组。 注意：答案中不可以包含重复…...

编程日记 2024/6/21 7:23:13

视频AI分析定时任务思路解析

序言： 最近项目中用到视频ai分析，由于sdk涉及保密，不便透露，仅对定时任务分析的思路作出分享，仅供参考。 1、定时任务 由于ai服务器的性能上限，只能同时对64个rtsp流分析一种算法，或者对8个rts…...

编程日记 2024/6/21 7:22:12

tcp 粘包和拆包 及 解决粘包方案

什么是粘包和拆包 .TCP 是面向连接的，面向流的，提供高可靠性服务。收发两端（客户端和服务器端）都要有一一成对的 socket，因此，发送端为了将多个发给接收端的包，更有效的发给对方，使…...

编程日记 2024/6/21 7:21:10

【2024泰迪杯】B 题：基于多模态特征融合的图像文本检索20页论文及Python代码

【2024泰迪杯】B 题：基于多模态特征融合的图像文本检索20页论文及Python代码 相关链接 【2024泰迪杯】A 题：生产线的故障自动识别与人员配置 Python代码实现 【2024泰迪杯】B 题：基于多模态特征融合的图像文本检索Python代码实现 【2024泰迪…...

编程日记 2024/6/21 7:20:09

华为设备telnet 远程访问配置实验简述

一、实验需求: 1、AR1模拟电脑telnet 访问AR2路由器。 二、实验步骤： 1、AR1和AR2接口配置IP，实现链路通信。 2、AR2配置AAA模式 配置用户及密码 配置用户访问级别 配置用户telnet 访问服务 AR2配置远程服务数量 配置用户远程访问模式为AAA 配置允许登录…...

编程日记 2024/6/21 7:18:06

在HTML中，如何正确使用语义化标签？

在HTML中&#xff0c;使用语义化标签可以使得网页结构更加清晰和易于理解。以下是一些正确使用语义化标签的方法&#xff1a; 使用合适的标题标签&#xff08;h1-h6&#xff09;来标识网页的标题&#xff0c;以及页面中的各个区块的标题。 <h1>网页标题</h1> <…...

编程日记 2024/6/21 7:17:05

WHAT - 高性能和内存安全的 Rust（一）

目录 一、介绍1.1 示例代码1.2 关键特性内存安全零成本抽象&#xff1a;高效性能示例代码&#xff1a;使用迭代器的零成本抽象示例代码&#xff1a;泛型和单态化总结 并发编程&#xff1a;防止数据竞争Rust 并发编程示例Rust 的所有权系统防止数据竞争总结 丰富的类型系统包管理…...

编程日记 2024/6/21 7:16:02

八、C#运算符

C#运算符 晕杜甫是一种告诉编辑器执行特定的数学或逻辑操作的符号。C#有丰富的内置运算符&#xff0c;分类如下&#xff1a; 算术运算符关系运算符逻辑运算符位运算符赋值运算符其他运算符 算术运算符 下表显示了 C# 支持的所有算术运算符。假设变量 A 的值为 10&#xff0c…...

编程日记 2024/6/21 7:15:00

【HiveSQL】join关联on和where的区别及效率对比

测试环境&#xff1a;hive on spark spark版本&#xff1a;3.3.1 一、执行时机二、对结果集的影响三、效率对比1.内连接1&#xff09;on2&#xff09;where 2.外连接1&#xff09;on2&#xff09;where 四、总结PS 一、执行时机 sql连接中&#xff0c;where属于过滤条件&#…...

编程日记 2024/6/21 7:13:59

如何解决windows自动更新，释放C盘更新内存

第一步&#xff1a;首先关闭windows自动更新组件 没有更新windows需求&#xff0c;为了防止windows自动更新&#xff0c;挤占C盘空间&#xff0c;所以我们要采取停止Windows Update服务。按下WinR打开运行对话框&#xff0c;输入services.msc&#xff0c; 然后按Enter。在服务…...

编程日记 2024/6/21 7:12:57

初学51单片机之PWM实例呼吸灯以及遇到的问题（已解答）

PWM全名Pulse Width Modulation中文称呼脉冲宽度调制 如图 这是一个周期10ms、频率是100HZ的波形&#xff0c;但是每个周期内&#xff0c;高低电平宽度各不相同&#xff0c;这就是PWM的本质。 占空比是指高电平占整个周期的比列,上图第一个波形的占空比是40%&#xff0c;第二个…...

编程日记 2024/6/21 7:11:56

手机天线都去哪里了？

在手机的演变历程中&#xff0c;天线的设计和位置一直是工程师们不断探索和创新的领域。你是否好奇&#xff0c;现在的手机为什么看不到那些曾经显眼的天线了呢&#xff1f; 让我们一起揭开这个谜题。 首先&#xff0c;让我们从基础开始&#xff1a;手机是如何发出电磁波的&…...

编程日记 2024/6/21 7:10:54

计算机网络 —— 应用层（电子邮件）

计算机网络 —— 应用层&#xff08;电子邮件&#xff09; 电子邮件发送电子邮件的过程SMTP特性工作流程 电子邮件格式MIME关键组件工作方式 POP/IMAPPOP&#xff08;邮局协议&#xff09;IMAP&#xff08;因特网邮件访问协议&#xff09; 基于万维网的电子邮箱特点优势常见的基…...

编程日记 2024/6/21 7:09:53

Java18新特性(极简)

一、引言 自1995年Java语言首次亮相以来&#xff0c;它已经成为企业级应用、移动应用和游戏开发等领域不可或缺的一部分。随着技术的不断进步&#xff0c;Java也在持续演化&#xff0c;每个新版本都带来了诸多新特性和性能优化&#xff0c;旨在提升开发者的编程效率和应用程序的…...

编程日记 2024/6/21 7:08:51

vscode连接ssh远程服务器

当使用Visual Studio Code (VSCode) 连接SSH远程服务器时&#xff0c;可以遵循以下步骤。这些步骤将帮助你设置并连接到远程服务器&#xff0c;包括免密登录的设置&#xff08;如果需要&#xff09;。 一、安装并配置Remote-SSH插件 下载并安装VSCode&#xff1a;确保你已经下…...

编程日记 2024/6/21 7:07:50

【趣味测试】

编程过程中遇到的趣味知识 1 Cpp 1.1 浮点数计算 if (0.1 0.2 0.3) {std::cout << "0.1 0.2 0.3 true" << std::endl;} else {std::cout << "0.1 0.2 0.3 false" << std::endl;}if (0.1 0.3 0.4) {std::cout << &…...

编程日记 2024/6/21 7:06:49

数据结构经典面试之数组——C#和C++篇

文章目录 1. 数组的基本概念与功能2. C#数组创建数组访问数组元素修改数组元素数组排序 3. C数组创建数组访问数组元素修改数组元素数组排序 4. 数组的实际应用与性能优化5. C#数组示例6. C数组示例总结 数组是编程中常用的数据结构之一&#xff0c;它用于存储一系列相同类型的…...

编程日记 2024/6/21 7:05:48

docker的基本知识

文章目录 前言docker的基本知识1. docker 的底层逻辑2. docker 的核心要素2.1. 镜像的基本概念:2.2. 容器的基本概念:2.3. 仓库的基本概念: 前言 如果您觉得有用的话&#xff0c;记得给博主点个赞&#xff0c;评论&#xff0c;收藏一键三连啊&#xff0c;写作不易啊^ _ ^。   …...

编程日记 2024/6/21 7:04:46

React Native性能优化红宝书

一、React Native介绍 React Native 是Facebook在React.js Conf2015 推出的开源框架&#xff0c;使用React和应用平台的原生功能来构建 Android 和 iOS 应用。通过 React Native&#xff0c;可以使用 JavaScript 来访问移动平台的 API&#xff0c;使用 React 组件来描述 UI 的…...

编程日记 2024/6/21 7:03:45

后端不提供文件流接口，前台js使用a标签实现当前表格数据(数组非blob数据)下载成Excel

前言&#xff1a;开发过程中遇到的一些业务场景&#xff0c;如果第三方不让使用&#xff0c;后端不提供接口&#xff0c;就只能拿到table数据(Array)&#xff0c;实现excel文件下载。 废话不多说&#xff0c;直接上代码&#xff0c;方法后续自行封装即可&#xff1a; functio…...

编程日记 2024/6/21 7:01:42

如何使用ChatGPT辅助设计工作

文章目录 设计师如何使用ChatGPT提升工作效率&#xff1f;25个案例告诉你&#xff01;什么是 prompt&#xff1f;咨询信息型 prompt vs 执行任务 prompt编写出色 prompt 的基本思路撰写 prompt 的案例和技巧1、将 ChatGPT 视作专业人士2、使用 ChatGPT 创建表单3、使用 ChatGPT…...

编程日记 2024/6/21 7:00:41