当前位置： 首页 > news >正文

【机器学习】线性回归算法简介 及 数学实现方法

news 文章来源：https://blog.csdn.net/weixin_57336987/article/details/142769423 2025/5/10 22:19:45

线性回归

简介

利用 回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式。
数学公式： ℎ_(w) = w_1x_1+ w_2x_2 + w_3x_3 + … + b = w^Tx+b

概念

​ 利用回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式

在这里插入图片描述

分类

一元线性回归、多元线性回归

在这里插入图片描述

在这里插入图片描述

应用场景

在这里插入图片描述

线性回归问题的求解

API简单介绍

在这里插入图片描述

损失函数

误差概念: 用预测值y – 真实值y就是误差
损失函数:衡量每个样本预测值与真实值效果的函数，也叫代价函数、成本函数、目标函数

损失函数误差最小,也就是损失函数的最优解为求解的回归方程

损失函数的种类:

在这里插入图片描述

在这里插入图片描述

求解线性回归问题流程:

数据-> 线性回归模型 -> 损失函数 -> 优化方法

正规方程法

这里用到数学知识,与程序训练无关,讲解模型求回归方程的底层数学逻辑

这里补充一个知识 范数

范数:

在这里插入图片描述

一元线性回归解析解:

在这里插入图片描述

多元线性回归-方程法

在这里插入图片描述

在这里插入图片描述

梯度下降法

​ 沿着梯度下降的方向求解极小值

在这里插入图片描述

梯度:

在这里插入图片描述

梯度下降公式:

在这里插入图片描述

  • α: 学习率(步长) 不能太大, 也不能太小. 机器学习中：0.001 ~ 0.01
  • 梯度是上升最快的方向, 我们需要是下降最快的方向, 所以需要加负号

在这里插入图片描述

梯度下降法分类:

在这里插入图片描述

​ 随机选择一个样本，假设选择 D 样本，计算其梯度值并存储到列表：[D]，然后使用列表中的梯度值均值，更新模型参数。
​ 随机再选择一个样本，假设选择 G 样本，计算其梯度值并存储到列表：[D, G]，然后使用列表中的梯度值均值，更新模型参数。
​ 随机再选择一个样本，假设又选择了 D 样本, 重新计算该样本梯度值，并更新列表中 D 样本的梯度值，使用列表中梯度值均值，更新模型参数。
​ …以此类推，直到算法收敛。

正规方程和梯度下降的对比

在这里插入图片描述

回归模型评估方法

线性模型评估的三个指标

平均绝对误差 MAE

在这里插入图片描述

均方误差 MSE

在这里插入图片描述

均方根误差

在这里插入图片描述

三种指标对比

在这里插入图片描述

相关文章：

【机器学习】线性回归算法简介 及 数学实现方法

线性回归 简介 利用 回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式。 数学公式： ℎ_(w) w_1x_1 w_2x_2 w_3x_3 … b w^Txb 概念 ​ 利用回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关…...

编程日记 2024/10/9 12:25:17

设计模式的学习

OO:Object-Oriented 面向对象 --- 《Head First设计模式》 这本书是用java写的，我是写C的，用C来写相关的代码 --- p2（第二页） #ifndef DUCK_H #define DUCK_H/*** brief The Duck class 鸭子类*/ class Duck { public:D…...

编程日记 2024/10/9 12:24:16

wordpress发邮件SMTP服务器配置步骤指南？

wordpress发邮件功能如何优化？怎么用wordpress发信？ 由于WordPress默认的邮件发送功能可能不够稳定，配置SMTP服务器成为了许多网站管理员的选择。AokSend将详细介绍如何在WordPress中配置SMTP服务器，以确保邮件能够顺利发送。 w…...

编程日记 2024/10/9 12:17:08

胤娲科技：机械臂「叛逃」记——自由游走，再悄然合体

夜深人静，你正沉浸在梦乡的前奏，突然意识到房间的灯还亮着。此刻的你，是否幻想过有一只无形的手，轻盈地飘过，帮你熄灭那盏碍眼的灯？ 又或者，你正窝在沙发上，享受电视剧的紧张刺激&am…...

编程日记 2024/10/9 12:15:06

分布式事务讲解 - 2PC、3PC、TCC

分布式事务讲解 - 2PC、3PC、TCC 前置知识 BASE理论： BASE是Basically Availbale(基本可用)、Soft state(软状态)、Eventually consistent(最终一致性)三个词语的缩写。BASE理论是对CAP理论中AP的一个扩展，通过牺牲强一致性来获得可用性，当…...

编程日记 2024/10/9 12:10:00

前端基础面试题·第四篇——Vue（其二）

1.Vue中路由传参 1.params传参 params 传参是通过URL路径来传递参数，这种方式传递的参数是必选的。这种传参方式需要在路由配置时在路由路径位置提前指定参数。 路由配置 const router new VueRouter({routes: [{path: /user/:id, // 这里的:id就是参数name: u…...

编程日记 2024/10/9 12:08:58

PHP反射

文章目录 介绍基本用法基本的反射示例1. 反射类2. 反射方法3. 反射属性4.反射全局函数5.反射函数的参数 优势和注意事项优势：注意事项： 介绍 PHP反射是一种强大的机制，允许在运行时检查类、接口、方法、属性等的结构和元数据。它可以用于许多…...

编程日记 2024/10/9 12:06:56

Gated Transformer Networks for Multivariate Time Series Classification

博客贡献人 徐宁 作者 Minghao Liu , Shengqi Ren , Siyuan Ma , Jiahui Jiao , Yizhou Chen , Zhiguang Wang(Facebook AI) and Wei Song∗ 标签 多元时间序列分类，Transformer，门控 摘要 用于时间序列分类的深度学习模型（主要是卷积网…...

编程日记 2024/10/9 12:05:54

这一次，AI真的能帮你实现职场跃迁

你有没有想过： AI不仅能帮你实现工作提效 还能帮你实现职场跃迁！ 根据行业报告，近年来**AIGC（AI Generated Content）**领域岗位数量井喷式增长，AI大模型产品经理作为连接技术与市场的桥梁，正扮…...

编程日记 2024/10/9 12:04:53

Python绘制--绘制心形曲线

今天，我们将通过Python代码来绘制一个心形曲线，这是一个经典的数学表达。 一、心形曲线的数学原理 心形曲线，也被称为心脏曲线，是一个代数曲线，可以通过参数方程定义。其数学表达式如下： x16sin⁡3(t)x16…...

编程日记 2024/10/9 12:01:47

初识Linux · 自主Shell编写

目录 前言： 1 命令行解释器部分 2 获取用户命令行参数 3 命令行参数进行分割 4 执行命令 5 判断命令是否为内建命令 前言： 本文介绍是自主Shell编写，对于shell，即外壳解释程序，我们目前接触到的命令行解释器&am…...

编程日记 2024/10/9 12:00:46

海报设计模板免费的好用吗？活动海报排版技巧轻松get

虽然今年所有的法定节假日已经过完了，但对于电商打工族来说，需要制作活动海报的节日，还有很多吧...... 刚听到小道消息，说是今年的双十一，从十月十四号就开始预热了！ 怎么样，大家的预热活动海…...

编程日记 2024/10/9 11:59:45

【Linux基础】03 Linux环境基础开发工具使用

1. yum ——软件包管理器 yum 是我们 Linux 预装的一个指令，搜索、下载、、安装对应的软件 yum 相当于 Linux 的应用商店！ 安装与卸载 yum list | grep command 通过 yum list 命令可以罗列出当前一共有哪些软件包. 由于包的数目可能非常之多, 这里我…...

编程日记 2024/10/9 11:58:44

【CSS】flex: 1； 的意思

在 Flexbox 布局中，flex: 1; 是一个简写属性，它表示弹性容器中的子元素如何分配可用空间。flex: 1 意味着该元素可以根据剩余的空间进行扩展，占据相应的比例。具体来说，flex: 1; 是 flex-grow、flex-shrink 和 flex-basis 这三个属…...

编程日记 2024/10/9 11:56:42

C++ 3D冒险游戏开发案例

3D冒险游戏的C开发案例，包括游戏设计、实现细节、图形渲染、音效处理等内容。 3D冒险游戏开发案例 一、游戏设计 游戏概述 游戏名称：“探索者的传奇”类型：3D冒险游戏目标：玩家控制角色在一个开放的世界中探索、解谜、战斗并完成…...

编程日记 2024/10/9 11:54:39

【AIGC】Exa AI 要做 AI 领域的 Google

又一个AI搜索引擎诞生：Exa AI。 与其他旨在取代谷歌的AI驱动搜索引擎不同，Exa的目标是创建一个专门为AI设计的搜索工具。 Exa的使命: 互联网包含人类的集体知识，但目前的搜索体验更像在垃圾场中导航，而非在知识图书馆中漫游。核…...

编程日记 2024/10/9 11:52:37

YOLOv8 基于MGD的知识蒸馏

YOLOv8 基于MGD的知识蒸馏 接着上一篇我们介绍了YOLOv8的剪枝方案和代码，本篇文章将剪枝后的模型作为学生模型，剪枝前的模型作为教师模型对剪枝模型进行蒸馏，从而进一步提到轻量模型的性能。 Channel-wise Distillation (CWD) 问题和方法 …...

编程日记 2024/10/9 11:50:34

全国消防知识竞赛活动方案哪家强

关键词：消防安全、预防火灾、消防意识、消防员、防火安全 适合行业：所有行业 推荐功能：答题、投票、H5 宣传角度 1.从日常生活场景出发，指导大家如何检查家庭中的火灾隐患。例如检查电线是否老化、插座是否过载、是否在楼梯间…...

编程日记 2024/10/9 11:49:33

JavaEE学习一条龙服务————概述

鉴于之前的笔记较乱，没有逻辑关系，，博主决定从JacaEE整个学习的阶段出发，整理一系列博客，供大家学习交流，提升自己。 此文章已绑定一篇我为大家梳理的JavaEE一条龙学习知识点的文档，大家可下载…...

编程日记 2024/10/9 11:48:32

分支预测器BPU

分支预测器BPU 0 Intro0.1 CPU执行过程0.2 分支预测0.2.1 TAGE预测器0.2.2 跳转地址 分支预测器BPU是深入研究一个高性能处理器的一个很好的开始项目； 0 Intro 条件分支是指后续具有两路可执行的分支。可以分为跳转分支(taken branch)和不跳转分支(not-taken branc…...

编程日记 2024/10/9 11:44:28

Go 系列教程 —— 数组和切片

数组 数组是同一类型元素的集合。例如，整数集合 5,8,9,79,76 形成一个数组。Go 语言中不允许混合不同类型的元素，例如包含字符串和整数的数组。（译者注：当然，如果是 interface{} 类型数组，可以包含任意类型…...

编程日记 2024/10/9 11:42:25

适配器模式【对象适配器模式和类适配器模式，以及具体使用场景】

2.1-适配器模式 ​ 类的适配器模式是把适配者类的API转换成为目标类的API，适配器模式使得原来由于接口不兼容而不能一起工作的那些类可以一起工作，其实在具体的开发中，对于自己系统一开始的设计不会优先考虑适配器模式，通常会将接…...

编程日记 2024/10/9 11:41:24

【EXCEL数据处理】保姆级教程 000016案例 EXCEL的vlookup函数。

【EXCEL数据处理】000016案例 vlookup函数。 前言：哈喽，大家好，今天给大家分享一篇文章！创作不易，如果能帮助到大家或者给大家一些灵感和启发，欢迎收藏关注哦 💕 目录 【EXCEL数据处理】保姆级教…...

编程日记 2024/10/9 11:40:23

【软件推荐】通过Rufus制作信创操作系统U盘安装盘 _ 统信 _ 麒麟 _ 方德

原文链接：【软件推荐】通过Rufus制作信创操作系统U盘安装盘 | 统信 | 麒麟 | 方德 Hello，大家好啊！今天给大家带来一篇关于如何使用Rufus制作信创操作系统（如统信UOS、麒麟KOS、中科方德等）的U盘启动安装盘的文章。Ruf…...

编程日记 2024/10/9 11:39:22

MySql 多表设计

项目开发中，在进行数据库表结构设计时，会根据业务需求及业务模块之间的关系，分析并设计表结构，由于业务之间相互关联，所以各个表结构之间也存在着各种联系，基本分为：一对多，多对多&a…...

编程日记 2024/10/9 11:38:21

wpf实现新用户页面引导

第一步 第二部 部分代码: private void show(int xh, FrameworkElement fe, string con, Visibility vis Visibility.Visible) {Point point fe.TransformToAncestor(Window.GetWindow(fe)).Transform(new Point(0, 0));//获取控件坐标点RectangleGeometry rg new Rectangl…...

编程日记 2024/10/9 11:34:14

【小白向】机器人入门之ROS系统的学习（Ubuntu24.04+ROS2）

目录 一.复杂的机器人系统 二.ROS机器人系统 1.简介 1.节点 2.话题 2.安装 3.测试 4.可视化 RQT： RVIZ： 显示属性： 显示状态： 一.复杂的机器人系统 依照我们现在的技术来看，机器人系统仍是极其复杂的，往…...

编程日记 2024/10/9 11:33:13

SNAP-MS策略：可溶性水凝胶微珠，高效表征蛋白质复合物

大家好！今天来了解一种高效的蛋白质复合物纯化和表征策略的文章——《Biofunctionalized dissolvable hydrogel microbeads enable efficient characterization of native protein complexes》发表于《Nature Communications》。蛋白质复合物在生命过程中起着关键作…...

编程日记 2024/10/9 11:29:08

java对象序列化Serializable的应用场景

目录 Java对象序列化的应用场景 网络通信： 对象持久化： 分布式计算： 缓存存储： 远程方法调用（RMI）： 基于JMS的消息传递： Java集合类中的对象需要被存储： 对象深…...

编程日记 2024/10/9 11:24:03

springboot-网站开发-linux服务器部署jar格式图片存档路径问题

springboot-网站开发-linux服务器部署jar格式图片存档路径问题！近期在部署自己的网站源码，使用的是jar格式的编码格式。发布到远程服务器后，发现客户捐款的证书图片存在异常。 经过排查代码，找到了原因。下面分享给大家。 1&…...

编程日记 2024/10/9 11:23:01