当前位置： 首页 > news >正文

【机器学习】线性回归算法简介 及 数学实现方法

news 2026/5/20 21:42:45

线性回归

简介

利用 回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式。
数学公式： ℎ_(w) = w_1x_1+ w_2x_2 + w_3x_3 + … + b = w^Tx+b

概念

​ 利用回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式

在这里插入图片描述

分类

一元线性回归、多元线性回归

在这里插入图片描述

在这里插入图片描述

应用场景

在这里插入图片描述

线性回归问题的求解

API简单介绍

在这里插入图片描述

损失函数

误差概念: 用预测值y – 真实值y就是误差
损失函数:衡量每个样本预测值与真实值效果的函数，也叫代价函数、成本函数、目标函数

损失函数误差最小,也就是损失函数的最优解为求解的回归方程

损失函数的种类:

在这里插入图片描述

在这里插入图片描述

求解线性回归问题流程:

数据-> 线性回归模型 -> 损失函数 -> 优化方法

正规方程法

这里用到数学知识,与程序训练无关,讲解模型求回归方程的底层数学逻辑

这里补充一个知识 范数

范数:

在这里插入图片描述

一元线性回归解析解:

在这里插入图片描述

多元线性回归-方程法

在这里插入图片描述

在这里插入图片描述

梯度下降法

​ 沿着梯度下降的方向求解极小值

在这里插入图片描述

梯度:

在这里插入图片描述

梯度下降公式:

在这里插入图片描述

  • α: 学习率(步长) 不能太大, 也不能太小. 机器学习中：0.001 ~ 0.01
  • 梯度是上升最快的方向, 我们需要是下降最快的方向, 所以需要加负号

在这里插入图片描述

梯度下降法分类:

在这里插入图片描述

​ 随机选择一个样本，假设选择 D 样本，计算其梯度值并存储到列表：[D]，然后使用列表中的梯度值均值，更新模型参数。
​ 随机再选择一个样本，假设选择 G 样本，计算其梯度值并存储到列表：[D, G]，然后使用列表中的梯度值均值，更新模型参数。
​ 随机再选择一个样本，假设又选择了 D 样本, 重新计算该样本梯度值，并更新列表中 D 样本的梯度值，使用列表中梯度值均值，更新模型参数。
​ …以此类推，直到算法收敛。

正规方程和梯度下降的对比

在这里插入图片描述

回归模型评估方法

线性模型评估的三个指标

平均绝对误差 MAE

在这里插入图片描述

均方误差 MSE

在这里插入图片描述

均方根误差

在这里插入图片描述

三种指标对比

在这里插入图片描述

相关文章：

【机器学习】线性回归算法简介 及 数学实现方法

线性回归 简介 利用 回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式。 数学公式： ℎ_(w) w_1x_1 w_2x_2 w_3x_3 … b w^Txb 概念 ​ 利用回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关…...

编程日记 2024/10/9 12:25:17

设计模式的学习

OO:Object-Oriented 面向对象 --- 《Head First设计模式》 这本书是用java写的，我是写C的，用C来写相关的代码 --- p2（第二页） #ifndef DUCK_H #define DUCK_H/*** brief The Duck class 鸭子类*/ class Duck { public:D…...

编程日记 2024/10/9 12:24:16

wordpress发邮件SMTP服务器配置步骤指南？

wordpress发邮件功能如何优化？怎么用wordpress发信？ 由于WordPress默认的邮件发送功能可能不够稳定，配置SMTP服务器成为了许多网站管理员的选择。AokSend将详细介绍如何在WordPress中配置SMTP服务器，以确保邮件能够顺利发送。 w…...

编程日记 2024/10/9 12:17:08

胤娲科技：机械臂「叛逃」记——自由游走，再悄然合体

夜深人静，你正沉浸在梦乡的前奏，突然意识到房间的灯还亮着。此刻的你，是否幻想过有一只无形的手，轻盈地飘过，帮你熄灭那盏碍眼的灯？ 又或者，你正窝在沙发上，享受电视剧的紧张刺激&am…...

编程日记 2024/10/9 12:15:06

分布式事务讲解 - 2PC、3PC、TCC

分布式事务讲解 - 2PC、3PC、TCC 前置知识 BASE理论： BASE是Basically Availbale(基本可用)、Soft state(软状态)、Eventually consistent(最终一致性)三个词语的缩写。BASE理论是对CAP理论中AP的一个扩展，通过牺牲强一致性来获得可用性，当…...

编程日记 2024/10/9 12:10:00

前端基础面试题·第四篇——Vue（其二）

1.Vue中路由传参 1.params传参 params 传参是通过URL路径来传递参数，这种方式传递的参数是必选的。这种传参方式需要在路由配置时在路由路径位置提前指定参数。 路由配置 const router new VueRouter({routes: [{path: /user/:id, // 这里的:id就是参数name: u…...

编程日记 2024/10/9 12:08:58

PHP反射

文章目录 介绍基本用法基本的反射示例1. 反射类2. 反射方法3. 反射属性4.反射全局函数5.反射函数的参数 优势和注意事项优势：注意事项： 介绍 PHP反射是一种强大的机制，允许在运行时检查类、接口、方法、属性等的结构和元数据。它可以用于许多…...

编程日记 2024/10/9 12:06:56

Gated Transformer Networks for Multivariate Time Series Classification

博客贡献人 徐宁 作者 Minghao Liu , Shengqi Ren , Siyuan Ma , Jiahui Jiao , Yizhou Chen , Zhiguang Wang(Facebook AI) and Wei Song∗ 标签 多元时间序列分类，Transformer，门控 摘要 用于时间序列分类的深度学习模型（主要是卷积网…...

编程日记 2024/10/9 12:05:54

这一次，AI真的能帮你实现职场跃迁

你有没有想过： AI不仅能帮你实现工作提效 还能帮你实现职场跃迁！ 根据行业报告，近年来**AIGC（AI Generated Content）**领域岗位数量井喷式增长，AI大模型产品经理作为连接技术与市场的桥梁，正扮…...

编程日记 2024/10/9 12:04:53

Python绘制--绘制心形曲线

今天，我们将通过Python代码来绘制一个心形曲线，这是一个经典的数学表达。 一、心形曲线的数学原理 心形曲线，也被称为心脏曲线，是一个代数曲线，可以通过参数方程定义。其数学表达式如下： x16sin⁡3(t)x16…...

编程日记 2024/10/9 12:01:47

初识Linux · 自主Shell编写

目录 前言： 1 命令行解释器部分 2 获取用户命令行参数 3 命令行参数进行分割 4 执行命令 5 判断命令是否为内建命令 前言： 本文介绍是自主Shell编写，对于shell，即外壳解释程序，我们目前接触到的命令行解释器&am…...

编程日记 2024/10/9 12:00:46

海报设计模板免费的好用吗？活动海报排版技巧轻松get

虽然今年所有的法定节假日已经过完了，但对于电商打工族来说，需要制作活动海报的节日，还有很多吧...... 刚听到小道消息，说是今年的双十一，从十月十四号就开始预热了！ 怎么样，大家的预热活动海…...

编程日记 2024/10/9 11:59:45

【Linux基础】03 Linux环境基础开发工具使用

1. yum ——软件包管理器 yum 是我们 Linux 预装的一个指令，搜索、下载、、安装对应的软件 yum 相当于 Linux 的应用商店！ 安装与卸载 yum list | grep command 通过 yum list 命令可以罗列出当前一共有哪些软件包. 由于包的数目可能非常之多, 这里我…...

编程日记 2024/10/9 11:58:44

【CSS】flex: 1； 的意思

在 Flexbox 布局中，flex: 1; 是一个简写属性，它表示弹性容器中的子元素如何分配可用空间。flex: 1 意味着该元素可以根据剩余的空间进行扩展，占据相应的比例。具体来说，flex: 1; 是 flex-grow、flex-shrink 和 flex-basis 这三个属…...

编程日记 2024/10/9 11:56:42

C++ 3D冒险游戏开发案例

3D冒险游戏的C开发案例，包括游戏设计、实现细节、图形渲染、音效处理等内容。 3D冒险游戏开发案例 一、游戏设计 游戏概述 游戏名称：“探索者的传奇”类型：3D冒险游戏目标：玩家控制角色在一个开放的世界中探索、解谜、战斗并完成…...

编程日记 2024/10/9 11:54:39

【AIGC】Exa AI 要做 AI 领域的 Google

又一个AI搜索引擎诞生：Exa AI。 与其他旨在取代谷歌的AI驱动搜索引擎不同，Exa的目标是创建一个专门为AI设计的搜索工具。 Exa的使命: 互联网包含人类的集体知识，但目前的搜索体验更像在垃圾场中导航，而非在知识图书馆中漫游。核…...

编程日记 2024/10/9 11:52:37

YOLOv8 基于MGD的知识蒸馏

YOLOv8 基于MGD的知识蒸馏 接着上一篇我们介绍了YOLOv8的剪枝方案和代码，本篇文章将剪枝后的模型作为学生模型，剪枝前的模型作为教师模型对剪枝模型进行蒸馏，从而进一步提到轻量模型的性能。 Channel-wise Distillation (CWD) 问题和方法 …...

编程日记 2024/10/9 11:50:34

全国消防知识竞赛活动方案哪家强

关键词：消防安全、预防火灾、消防意识、消防员、防火安全 适合行业：所有行业 推荐功能：答题、投票、H5 宣传角度 1.从日常生活场景出发，指导大家如何检查家庭中的火灾隐患。例如检查电线是否老化、插座是否过载、是否在楼梯间…...

编程日记 2024/10/9 11:49:33

JavaEE学习一条龙服务————概述

鉴于之前的笔记较乱，没有逻辑关系，，博主决定从JacaEE整个学习的阶段出发，整理一系列博客，供大家学习交流，提升自己。 此文章已绑定一篇我为大家梳理的JavaEE一条龙学习知识点的文档，大家可下载…...

编程日记 2024/10/9 11:48:32

分支预测器BPU

分支预测器BPU 0 Intro0.1 CPU执行过程0.2 分支预测0.2.1 TAGE预测器0.2.2 跳转地址 分支预测器BPU是深入研究一个高性能处理器的一个很好的开始项目； 0 Intro 条件分支是指后续具有两路可执行的分支。可以分为跳转分支(taken branch)和不跳转分支(not-taken branc…...

编程日记 2024/10/9 11:44:28

Tomcat 超精简总结

1. 定位轻量级 Java Web 服务器 / Servlet 容器只跑 Java 项目（jsp、servlet、springboot 内嵌）处理 动态请求，不擅长静态资源2. 核心作用解析 Servlet、JSP监听端口，接收浏览器请求调用 Java 代码执行业务返回页面 / 数据给客户端…...

编程新知 2026/5/20 20:26:57

DepHell与Docker集成：容器化Python应用开发的终极指南

DepHell与Docker集成：容器化Python应用开发的终极指南 【免费下载链接】dephell :package: :fire: Python project management. Manage packages: convert between formats, lock, install, resolve, isolate, test, build graph, show outdated, audit. Manage ven…...

编程新知 2026/5/20 19:20:15

CXPatcher：让Mac上的CrossOver性能飞升的终极指南

CXPatcher：让Mac上的CrossOver性能飞升的终极指南 【免费下载链接】CXPatcher A patcher to upgrade Crossover dependencies and improve compatibility 项目地址: https://gitcode.com/gh_mirrors/cx/CXPatcher 你是否曾经在Mac上尝试运行Windows游戏时感到…...

编程新知 2026/5/20 18:48:06

从无人机云台到机械臂关节：聊聊FOC力矩控制在机器人里的那些实战坑

从无人机云台到机械臂关节：FOC力矩控制在机器人中的实战精要 当无人机云台在强风中依然保持画面稳定，当机械臂关节能够感知鸡蛋壳的脆弱并精准施力——这些看似简单的动作背后，都离不开一项关键技术：磁场定向控制（FOC&…...

编程新知 2026/5/20 17:25:30

怎么远程操作另一台手机 手机能远程控制别的手机吗

想远程操作另一台手机应急？不管是忘带工作机需回复客户消息，还是手游玩家用备用机远程控制主力机挂机领福利，都需要好用的工具。市面上能远程操作另一台手机的软件不少，但是却多有短板，难以适配需求。推荐无界趣连2.0&…...

编程新知 2026/5/20 17:10:57

别再纠结IO口了！手把手教你用三极管实现RS485自动收发（附电路图与阻值计算）

三极管驱动RS485自动收发电路设计实战指南 在嵌入式系统开发中，RS485通信因其抗干扰能力强、传输距离远等优势被广泛应用。然而传统RS485电路需要额外GPIO控制收发方向，当面临IO资源紧张或底层驱动不可控时，硬件工程师常陷入两难境地。本文将…...

编程新知 2026/5/20 16:30:50

Folcolor：让你的Windows文件夹告别“黄脸婆“，用色彩提升3倍工作效率

Folcolor：让你的Windows文件夹告别"黄脸婆"，用色彩提升3倍工作效率 【免费下载链接】Folcolor Windows explorer folder coloring utility 项目地址: https://gitcode.com/gh_mirrors/fo/Folcolor 想象一下这样的场景：你的电…...

编程新知 2026/5/20 14:06:56

Adobe-GenP 3.0终极指南：5分钟解锁Adobe CC全系列软件完整功能

Adobe-GenP 3.0终极指南：5分钟解锁Adobe CC全系列软件完整功能 【免费下载链接】Adobe-GenP Adobe CC 2019/2020/2021/2022/2023 GenP Universal Patch 3.0 项目地址: https://gitcode.com/gh_mirrors/ad/Adobe-GenP Adobe-GenP 3.0是一款功能强大的Adobe Cr…...

编程新知 2026/5/20 13:56:18

CANN/hccl参数面建链阶段故障诊断

参数面建链阶段 【免费下载链接】hccl 集合通信库（Huawei Collective Communication Library，简称HCCL）是基于昇腾AI处理器的高性能集合通信库，为计算集群提供高性能、高可靠的通信方案 项目地址: https://gitcode.com/cann/hcc…...

编程新知 2026/5/20 12:31:12

Perplexity环境新闻检索失效真相（2024最新API响应延迟根因分析）

更多请点击： https://kaifayun.com 第一章：Perplexity环境新闻搜索 Perplexity 是一款基于大语言模型的实时信息检索工具，其核心优势在于融合权威信源与上下文感知能力，特别适用于需要高时效性与高可信度的新闻类查询场景。在该环…...

编程新知 2026/5/20 12:20:50