当前位置： 首页 > news >正文

【机器学习】线性回归算法简介 及 数学实现方法

news 2025/11/9 14:18:04

线性回归

简介

利用 回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式。
数学公式： ℎ_(w) = w_1x_1+ w_2x_2 + w_3x_3 + … + b = w^Tx+b

概念

​ 利用回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式

在这里插入图片描述

分类

一元线性回归、多元线性回归

在这里插入图片描述

在这里插入图片描述

应用场景

在这里插入图片描述

线性回归问题的求解

API简单介绍

在这里插入图片描述

损失函数

误差概念: 用预测值y – 真实值y就是误差
损失函数:衡量每个样本预测值与真实值效果的函数，也叫代价函数、成本函数、目标函数

损失函数误差最小,也就是损失函数的最优解为求解的回归方程

损失函数的种类:

在这里插入图片描述

在这里插入图片描述

求解线性回归问题流程:

数据-> 线性回归模型 -> 损失函数 -> 优化方法

正规方程法

这里用到数学知识,与程序训练无关,讲解模型求回归方程的底层数学逻辑

这里补充一个知识 范数

范数:

在这里插入图片描述

一元线性回归解析解:

在这里插入图片描述

多元线性回归-方程法

在这里插入图片描述

在这里插入图片描述

梯度下降法

​ 沿着梯度下降的方向求解极小值

在这里插入图片描述

梯度:

在这里插入图片描述

梯度下降公式:

在这里插入图片描述

  • α: 学习率(步长) 不能太大, 也不能太小. 机器学习中：0.001 ~ 0.01
  • 梯度是上升最快的方向, 我们需要是下降最快的方向, 所以需要加负号

在这里插入图片描述

梯度下降法分类:

在这里插入图片描述

​ 随机选择一个样本，假设选择 D 样本，计算其梯度值并存储到列表：[D]，然后使用列表中的梯度值均值，更新模型参数。
​ 随机再选择一个样本，假设选择 G 样本，计算其梯度值并存储到列表：[D, G]，然后使用列表中的梯度值均值，更新模型参数。
​ 随机再选择一个样本，假设又选择了 D 样本, 重新计算该样本梯度值，并更新列表中 D 样本的梯度值，使用列表中梯度值均值，更新模型参数。
​ …以此类推，直到算法收敛。

正规方程和梯度下降的对比

在这里插入图片描述

回归模型评估方法

线性模型评估的三个指标

平均绝对误差 MAE

在这里插入图片描述

均方误差 MSE

在这里插入图片描述

均方根误差

在这里插入图片描述

三种指标对比

在这里插入图片描述

相关文章：

【机器学习】线性回归算法简介 及 数学实现方法

线性回归 简介 利用 回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式。 数学公式： ℎ_(w) w_1x_1 w_2x_2 w_3x_3 … b w^Txb 概念 ​ 利用回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关…...

编程日记 2024/10/9 12:25:17

设计模式的学习

OO:Object-Oriented 面向对象 --- 《Head First设计模式》 这本书是用java写的，我是写C的，用C来写相关的代码 --- p2（第二页） #ifndef DUCK_H #define DUCK_H/*** brief The Duck class 鸭子类*/ class Duck { public:D…...

编程日记 2024/10/9 12:24:16

wordpress发邮件SMTP服务器配置步骤指南？

wordpress发邮件功能如何优化？怎么用wordpress发信？ 由于WordPress默认的邮件发送功能可能不够稳定，配置SMTP服务器成为了许多网站管理员的选择。AokSend将详细介绍如何在WordPress中配置SMTP服务器，以确保邮件能够顺利发送。 w…...

编程日记 2024/10/9 12:17:08

胤娲科技：机械臂「叛逃」记——自由游走，再悄然合体

夜深人静，你正沉浸在梦乡的前奏，突然意识到房间的灯还亮着。此刻的你，是否幻想过有一只无形的手，轻盈地飘过，帮你熄灭那盏碍眼的灯？ 又或者，你正窝在沙发上，享受电视剧的紧张刺激&am…...

编程日记 2024/10/9 12:15:06

分布式事务讲解 - 2PC、3PC、TCC

分布式事务讲解 - 2PC、3PC、TCC 前置知识 BASE理论： BASE是Basically Availbale(基本可用)、Soft state(软状态)、Eventually consistent(最终一致性)三个词语的缩写。BASE理论是对CAP理论中AP的一个扩展，通过牺牲强一致性来获得可用性，当…...

编程日记 2024/10/9 12:10:00

前端基础面试题·第四篇——Vue（其二）

1.Vue中路由传参 1.params传参 params 传参是通过URL路径来传递参数，这种方式传递的参数是必选的。这种传参方式需要在路由配置时在路由路径位置提前指定参数。 路由配置 const router new VueRouter({routes: [{path: /user/:id, // 这里的:id就是参数name: u…...

编程日记 2024/10/9 12:08:58

PHP反射

文章目录 介绍基本用法基本的反射示例1. 反射类2. 反射方法3. 反射属性4.反射全局函数5.反射函数的参数 优势和注意事项优势：注意事项： 介绍 PHP反射是一种强大的机制，允许在运行时检查类、接口、方法、属性等的结构和元数据。它可以用于许多…...

编程日记 2024/10/9 12:06:56

Gated Transformer Networks for Multivariate Time Series Classification

博客贡献人 徐宁 作者 Minghao Liu , Shengqi Ren , Siyuan Ma , Jiahui Jiao , Yizhou Chen , Zhiguang Wang(Facebook AI) and Wei Song∗ 标签 多元时间序列分类，Transformer，门控 摘要 用于时间序列分类的深度学习模型（主要是卷积网…...

编程日记 2024/10/9 12:05:54

这一次，AI真的能帮你实现职场跃迁

你有没有想过： AI不仅能帮你实现工作提效 还能帮你实现职场跃迁！ 根据行业报告，近年来**AIGC（AI Generated Content）**领域岗位数量井喷式增长，AI大模型产品经理作为连接技术与市场的桥梁，正扮…...

编程日记 2024/10/9 12:04:53

Python绘制--绘制心形曲线

今天，我们将通过Python代码来绘制一个心形曲线，这是一个经典的数学表达。 一、心形曲线的数学原理 心形曲线，也被称为心脏曲线，是一个代数曲线，可以通过参数方程定义。其数学表达式如下： x16sin⁡3(t)x16…...

编程日记 2024/10/9 12:01:47

初识Linux · 自主Shell编写

目录 前言： 1 命令行解释器部分 2 获取用户命令行参数 3 命令行参数进行分割 4 执行命令 5 判断命令是否为内建命令 前言： 本文介绍是自主Shell编写，对于shell，即外壳解释程序，我们目前接触到的命令行解释器&am…...

编程日记 2024/10/9 12:00:46

海报设计模板免费的好用吗？活动海报排版技巧轻松get

虽然今年所有的法定节假日已经过完了，但对于电商打工族来说，需要制作活动海报的节日，还有很多吧...... 刚听到小道消息，说是今年的双十一，从十月十四号就开始预热了！ 怎么样，大家的预热活动海…...

编程日记 2024/10/9 11:59:45

【Linux基础】03 Linux环境基础开发工具使用

1. yum ——软件包管理器 yum 是我们 Linux 预装的一个指令，搜索、下载、、安装对应的软件 yum 相当于 Linux 的应用商店！ 安装与卸载 yum list | grep command 通过 yum list 命令可以罗列出当前一共有哪些软件包. 由于包的数目可能非常之多, 这里我…...

编程日记 2024/10/9 11:58:44

【CSS】flex: 1； 的意思

在 Flexbox 布局中，flex: 1; 是一个简写属性，它表示弹性容器中的子元素如何分配可用空间。flex: 1 意味着该元素可以根据剩余的空间进行扩展，占据相应的比例。具体来说，flex: 1; 是 flex-grow、flex-shrink 和 flex-basis 这三个属…...

编程日记 2024/10/9 11:56:42

C++ 3D冒险游戏开发案例

3D冒险游戏的C开发案例，包括游戏设计、实现细节、图形渲染、音效处理等内容。 3D冒险游戏开发案例 一、游戏设计 游戏概述 游戏名称：“探索者的传奇”类型：3D冒险游戏目标：玩家控制角色在一个开放的世界中探索、解谜、战斗并完成…...

编程日记 2024/10/9 11:54:39

【AIGC】Exa AI 要做 AI 领域的 Google

又一个AI搜索引擎诞生：Exa AI。 与其他旨在取代谷歌的AI驱动搜索引擎不同，Exa的目标是创建一个专门为AI设计的搜索工具。 Exa的使命: 互联网包含人类的集体知识，但目前的搜索体验更像在垃圾场中导航，而非在知识图书馆中漫游。核…...

编程日记 2024/10/9 11:52:37

YOLOv8 基于MGD的知识蒸馏

YOLOv8 基于MGD的知识蒸馏 接着上一篇我们介绍了YOLOv8的剪枝方案和代码，本篇文章将剪枝后的模型作为学生模型，剪枝前的模型作为教师模型对剪枝模型进行蒸馏，从而进一步提到轻量模型的性能。 Channel-wise Distillation (CWD) 问题和方法 …...

编程日记 2024/10/9 11:50:34

全国消防知识竞赛活动方案哪家强

关键词：消防安全、预防火灾、消防意识、消防员、防火安全 适合行业：所有行业 推荐功能：答题、投票、H5 宣传角度 1.从日常生活场景出发，指导大家如何检查家庭中的火灾隐患。例如检查电线是否老化、插座是否过载、是否在楼梯间…...

编程日记 2024/10/9 11:49:33

JavaEE学习一条龙服务————概述

鉴于之前的笔记较乱，没有逻辑关系，，博主决定从JacaEE整个学习的阶段出发，整理一系列博客，供大家学习交流，提升自己。 此文章已绑定一篇我为大家梳理的JavaEE一条龙学习知识点的文档，大家可下载…...

编程日记 2024/10/9 11:48:32

分支预测器BPU

分支预测器BPU 0 Intro0.1 CPU执行过程0.2 分支预测0.2.1 TAGE预测器0.2.2 跳转地址 分支预测器BPU是深入研究一个高性能处理器的一个很好的开始项目； 0 Intro 条件分支是指后续具有两路可执行的分支。可以分为跳转分支(taken branch)和不跳转分支(not-taken branc…...

编程日记 2024/10/9 11:44:28

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …...

编程新知 2025/11/9 2:35:45

Python爬虫实战：研究MechanicalSoup库相关技术

一、MechanicalSoup 库概述 1.1 库简介 MechanicalSoup 是一个 Python 库，专为自动化交互网站而设计。它结合了 requests 的 HTTP 请求能力和 BeautifulSoup 的 HTML 解析能力，提供了直观的 API，让我们可以像人类用户一样浏览网页、填写表单和提交请求。 1.2 主要功能特点…...

编程新知 2025/10/10 18:13:55

PPT|230页| 制造集团企业供应链端到端的数字化解决方案：从需求到结算的全链路业务闭环构建

制造业采购供应链管理是企业运营的核心环节&#xff0c;供应链协同管理在供应链上下游企业之间建立紧密的合作关系&#xff0c;通过信息共享、资源整合、业务协同等方式&#xff0c;实现供应链的全面管理和优化&#xff0c;提高供应链的效率和透明度&#xff0c;降低供应链的成…...

编程新知 2025/11/7 20:36:16

Docker 运行 Kafka 带 SASL 认证教程

Docker 运行 Kafka 带 SASL 认证教程 Docker 运行 Kafka 带 SASL 认证教程一、说明二、环境准备三、编写 Docker Compose 和 jaas文件docker-compose.yml代码说明&#xff1a;server_jaas.conf 四、启动服务五、验证服务六、连接kafka服务七、总结 Docker 运行 Kafka 带 SASL 认…...

编程新知 2025/11/7 21:07:40

vscode（仍待补充）

写于2025 6.9 主包将加入vscode这个更权威的圈子 vscode的基本使用 侧边栏 vscode还能连接ssh&#xff1f; debug时使用的launch文件 1.task.json {"tasks": [{"type": "cppbuild","label": "C/C: gcc.exe 生成活动文件"…...

编程新知 2025/11/7 21:04:12

（二）TensorRT-LLM | 模型导出（v0.20.0rc3）

0. 概述 上一节 对安装和使用有个基本介绍。根据这个 issue 的描述&#xff0c;后续 TensorRT-LLM 团队可能更专注于更新和维护 pytorch backend。但 tensorrt backend 作为先前一直开发的工作&#xff0c;其中包含了大量可以学习的地方。本文主要看看它导出模型的部分&#x…...

编程新知 2025/11/7 21:03:40

Python爬虫实战：研究feedparser库相关技术

1. 引言 1.1 研究背景与意义 在当今信息爆炸的时代，互联网上存在着海量的信息资源。RSS（Really Simple Syndication）作为一种标准化的信息聚合技术，被广泛用于网站内容的发布和订阅。通过 RSS，用户可以方便地获取网站更新的内容，而无需频繁访问各个网站。 然而，互联网…...

编程新知 2025/8/18 9:54:31

Go 语言接口详解

Go 语言接口详解 核心概念 接口定义 在 Go 语言中&#xff0c;接口是一种抽象类型&#xff0c;它定义了一组方法的集合&#xff1a; // 定义接口 type Shape interface {Area() float64Perimeter() float64 } 接口实现 Go 接口的实现是隐式的&#xff1a; // 矩形结构体…...

编程新知 2025/10/23 18:29:35

学习STC51单片机31（芯片为STC89C52RCRC）OLED显示屏1

每日一言 生活的美好&#xff0c;总是藏在那些你咬牙坚持的日子里。 硬件&#xff1a;OLED 以后要用到OLED的时候找到这个文件 OLED的设备地址 SSD1306"SSD" 是品牌缩写&#xff0c;"1306" 是产品编号。 驱动 OLED 屏幕的 IIC 总线数据传输格式 示意图 …...

编程新知 2025/11/8 3:29:27

Caliper 配置文件解析：config.yaml

Caliper 是一个区块链性能基准测试工具，用于评估不同区块链平台的性能。下面我将详细解释你提供的 fisco-bcos.json 文件结构，并说明它与 config.yaml 文件的关系。 fisco-bcos.json 文件解析 这个文件是针对 FISCO-BCOS 区块链网络的 Caliper 配置文件，主要包含以下几个部…...

编程新知 2025/8/13 13:40:18