当前位置： 首页 > news >正文

【机器学习】线性回归算法简介 及 数学实现方法

news 2026/2/10 23:25:23

线性回归

简介

利用 回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式。
数学公式： ℎ_(w) = w_1x_1+ w_2x_2 + w_3x_3 + … + b = w^Tx+b

概念

​ 利用回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式

在这里插入图片描述

分类

一元线性回归、多元线性回归

在这里插入图片描述

在这里插入图片描述

应用场景

在这里插入图片描述

线性回归问题的求解

API简单介绍

在这里插入图片描述

损失函数

误差概念: 用预测值y – 真实值y就是误差
损失函数:衡量每个样本预测值与真实值效果的函数，也叫代价函数、成本函数、目标函数

损失函数误差最小,也就是损失函数的最优解为求解的回归方程

损失函数的种类:

在这里插入图片描述

在这里插入图片描述

求解线性回归问题流程:

数据-> 线性回归模型 -> 损失函数 -> 优化方法

正规方程法

这里用到数学知识,与程序训练无关,讲解模型求回归方程的底层数学逻辑

这里补充一个知识 范数

范数:

在这里插入图片描述

一元线性回归解析解:

在这里插入图片描述

多元线性回归-方程法

在这里插入图片描述

在这里插入图片描述

梯度下降法

​ 沿着梯度下降的方向求解极小值

在这里插入图片描述

梯度:

在这里插入图片描述

梯度下降公式:

在这里插入图片描述

  • α: 学习率(步长) 不能太大, 也不能太小. 机器学习中：0.001 ~ 0.01
  • 梯度是上升最快的方向, 我们需要是下降最快的方向, 所以需要加负号

在这里插入图片描述

梯度下降法分类:

在这里插入图片描述

​ 随机选择一个样本，假设选择 D 样本，计算其梯度值并存储到列表：[D]，然后使用列表中的梯度值均值，更新模型参数。
​ 随机再选择一个样本，假设选择 G 样本，计算其梯度值并存储到列表：[D, G]，然后使用列表中的梯度值均值，更新模型参数。
​ 随机再选择一个样本，假设又选择了 D 样本, 重新计算该样本梯度值，并更新列表中 D 样本的梯度值，使用列表中梯度值均值，更新模型参数。
​ …以此类推，直到算法收敛。

正规方程和梯度下降的对比

在这里插入图片描述

回归模型评估方法

线性模型评估的三个指标

平均绝对误差 MAE

在这里插入图片描述

均方误差 MSE

在这里插入图片描述

均方根误差

在这里插入图片描述

三种指标对比

在这里插入图片描述

相关文章：

【机器学习】线性回归算法简介 及 数学实现方法

线性回归 简介 利用 回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式。 数学公式： ℎ_(w) w_1x_1 w_2x_2 w_3x_3 … b w^Txb 概念 ​ 利用回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关…...

编程日记 2024/10/9 12:25:17

设计模式的学习

OO:Object-Oriented 面向对象 --- 《Head First设计模式》 这本书是用java写的，我是写C的，用C来写相关的代码 --- p2（第二页） #ifndef DUCK_H #define DUCK_H/*** brief The Duck class 鸭子类*/ class Duck { public:D…...

编程日记 2024/10/9 12:24:16

wordpress发邮件SMTP服务器配置步骤指南？

wordpress发邮件功能如何优化？怎么用wordpress发信？ 由于WordPress默认的邮件发送功能可能不够稳定，配置SMTP服务器成为了许多网站管理员的选择。AokSend将详细介绍如何在WordPress中配置SMTP服务器，以确保邮件能够顺利发送。 w…...

编程日记 2024/10/9 12:17:08

胤娲科技：机械臂「叛逃」记——自由游走，再悄然合体

夜深人静，你正沉浸在梦乡的前奏，突然意识到房间的灯还亮着。此刻的你，是否幻想过有一只无形的手，轻盈地飘过，帮你熄灭那盏碍眼的灯？ 又或者，你正窝在沙发上，享受电视剧的紧张刺激&am…...

编程日记 2024/10/9 12:15:06

分布式事务讲解 - 2PC、3PC、TCC

分布式事务讲解 - 2PC、3PC、TCC 前置知识 BASE理论： BASE是Basically Availbale(基本可用)、Soft state(软状态)、Eventually consistent(最终一致性)三个词语的缩写。BASE理论是对CAP理论中AP的一个扩展，通过牺牲强一致性来获得可用性，当…...

编程日记 2024/10/9 12:10:00

前端基础面试题·第四篇——Vue（其二）

1.Vue中路由传参 1.params传参 params 传参是通过URL路径来传递参数，这种方式传递的参数是必选的。这种传参方式需要在路由配置时在路由路径位置提前指定参数。 路由配置 const router new VueRouter({routes: [{path: /user/:id, // 这里的:id就是参数name: u…...

编程日记 2024/10/9 12:08:58

PHP反射

文章目录 介绍基本用法基本的反射示例1. 反射类2. 反射方法3. 反射属性4.反射全局函数5.反射函数的参数 优势和注意事项优势：注意事项： 介绍 PHP反射是一种强大的机制，允许在运行时检查类、接口、方法、属性等的结构和元数据。它可以用于许多…...

编程日记 2024/10/9 12:06:56

Gated Transformer Networks for Multivariate Time Series Classification

博客贡献人 徐宁 作者 Minghao Liu , Shengqi Ren , Siyuan Ma , Jiahui Jiao , Yizhou Chen , Zhiguang Wang(Facebook AI) and Wei Song∗ 标签 多元时间序列分类，Transformer，门控 摘要 用于时间序列分类的深度学习模型（主要是卷积网…...

编程日记 2024/10/9 12:05:54

这一次，AI真的能帮你实现职场跃迁

你有没有想过： AI不仅能帮你实现工作提效 还能帮你实现职场跃迁！ 根据行业报告，近年来**AIGC（AI Generated Content）**领域岗位数量井喷式增长，AI大模型产品经理作为连接技术与市场的桥梁，正扮…...

编程日记 2024/10/9 12:04:53

Python绘制--绘制心形曲线

今天，我们将通过Python代码来绘制一个心形曲线，这是一个经典的数学表达。 一、心形曲线的数学原理 心形曲线，也被称为心脏曲线，是一个代数曲线，可以通过参数方程定义。其数学表达式如下： x16sin⁡3(t)x16…...

编程日记 2024/10/9 12:01:47

初识Linux · 自主Shell编写

目录 前言： 1 命令行解释器部分 2 获取用户命令行参数 3 命令行参数进行分割 4 执行命令 5 判断命令是否为内建命令 前言： 本文介绍是自主Shell编写，对于shell，即外壳解释程序，我们目前接触到的命令行解释器&am…...

编程日记 2024/10/9 12:00:46

海报设计模板免费的好用吗？活动海报排版技巧轻松get

虽然今年所有的法定节假日已经过完了，但对于电商打工族来说，需要制作活动海报的节日，还有很多吧...... 刚听到小道消息，说是今年的双十一，从十月十四号就开始预热了！ 怎么样，大家的预热活动海…...

编程日记 2024/10/9 11:59:45

【Linux基础】03 Linux环境基础开发工具使用

1. yum ——软件包管理器 yum 是我们 Linux 预装的一个指令，搜索、下载、、安装对应的软件 yum 相当于 Linux 的应用商店！ 安装与卸载 yum list | grep command 通过 yum list 命令可以罗列出当前一共有哪些软件包. 由于包的数目可能非常之多, 这里我…...

编程日记 2024/10/9 11:58:44

【CSS】flex: 1； 的意思

在 Flexbox 布局中，flex: 1; 是一个简写属性，它表示弹性容器中的子元素如何分配可用空间。flex: 1 意味着该元素可以根据剩余的空间进行扩展，占据相应的比例。具体来说，flex: 1; 是 flex-grow、flex-shrink 和 flex-basis 这三个属…...

编程日记 2024/10/9 11:56:42

C++ 3D冒险游戏开发案例

3D冒险游戏的C开发案例，包括游戏设计、实现细节、图形渲染、音效处理等内容。 3D冒险游戏开发案例 一、游戏设计 游戏概述 游戏名称：“探索者的传奇”类型：3D冒险游戏目标：玩家控制角色在一个开放的世界中探索、解谜、战斗并完成…...

编程日记 2024/10/9 11:54:39

【AIGC】Exa AI 要做 AI 领域的 Google

又一个AI搜索引擎诞生：Exa AI。 与其他旨在取代谷歌的AI驱动搜索引擎不同，Exa的目标是创建一个专门为AI设计的搜索工具。 Exa的使命: 互联网包含人类的集体知识，但目前的搜索体验更像在垃圾场中导航，而非在知识图书馆中漫游。核…...

编程日记 2024/10/9 11:52:37

YOLOv8 基于MGD的知识蒸馏

YOLOv8 基于MGD的知识蒸馏 接着上一篇我们介绍了YOLOv8的剪枝方案和代码，本篇文章将剪枝后的模型作为学生模型，剪枝前的模型作为教师模型对剪枝模型进行蒸馏，从而进一步提到轻量模型的性能。 Channel-wise Distillation (CWD) 问题和方法 …...

编程日记 2024/10/9 11:50:34

全国消防知识竞赛活动方案哪家强

关键词：消防安全、预防火灾、消防意识、消防员、防火安全 适合行业：所有行业 推荐功能：答题、投票、H5 宣传角度 1.从日常生活场景出发，指导大家如何检查家庭中的火灾隐患。例如检查电线是否老化、插座是否过载、是否在楼梯间…...

编程日记 2024/10/9 11:49:33

JavaEE学习一条龙服务————概述

鉴于之前的笔记较乱，没有逻辑关系，，博主决定从JacaEE整个学习的阶段出发，整理一系列博客，供大家学习交流，提升自己。 此文章已绑定一篇我为大家梳理的JavaEE一条龙学习知识点的文档，大家可下载…...

编程日记 2024/10/9 11:48:32

分支预测器BPU

分支预测器BPU 0 Intro0.1 CPU执行过程0.2 分支预测0.2.1 TAGE预测器0.2.2 跳转地址 分支预测器BPU是深入研究一个高性能处理器的一个很好的开始项目； 0 Intro 条件分支是指后续具有两路可执行的分支。可以分为跳转分支(taken branch)和不跳转分支(not-taken branc…...

编程日记 2024/10/9 11:44:28

XCTF-web-easyupload

试了试php，php7，pht，phtml等，都没有用 尝试.user.ini 抓包修改将.user.ini修改为jpg图片 在上传一个123.jpg 用蚁剑连接，得到flag...

编程新知 2026/2/8 3:54:15

Java 8 Stream API 入门到实践详解

一、告别 for 循环&#xff01; 传统痛点&#xff1a; Java 8 之前&#xff0c;集合操作离不开冗长的 for 循环和匿名类。例如&#xff0c;过滤列表中的偶数&#xff1a; List<Integer> list Arrays.asList(1, 2, 3, 4, 5); List<Integer> evens new ArrayList…...

编程新知 2026/1/12 10:41:22

Redis相关知识总结（缓存雪崩，缓存穿透，缓存击穿，Redis实现分布式锁，如何保持数据库和缓存一致）

文章目录 1.什么是Redis&#xff1f;2.为什么要使用redis作为mysql的缓存&#xff1f;3.什么是缓存雪崩、缓存穿透、缓存击穿&#xff1f;3.1缓存雪崩3.1.1 大量缓存同时过期3.1.2 Redis宕机 3.2 缓存击穿3.3 缓存穿透3.4 总结 4. 数据库和缓存如何保持一致性5. Redis实现分布式…...

编程新知 2026/2/8 12:24:34

基于uniapp+WebSocket实现聊天对话、消息监听、消息推送、聊天室等功能，多端兼容

基于 ​UniApp + WebSocket​实现多端兼容的实时通讯系统，涵盖WebSocket连接建立、消息收发机制、多端兼容性配置、消息实时监听等功能，适配​微信小程序、H5、Android、iOS等终端 目录 技术选型分析WebSocket协议优势UniApp跨平台特性WebSocket 基础实现连接管理消息收发连接…...

编程新知 2026/1/22 16:15:42

汽车生产虚拟实训中的技能提升与生产优化​

在制造业蓬勃发展的大背景下&#xff0c;虚拟教学实训宛如一颗璀璨的新星&#xff0c;正发挥着不可或缺且日益凸显的关键作用&#xff0c;源源不断地为企业的稳健前行与创新发展注入磅礴强大的动力。就以汽车制造企业这一极具代表性的行业主体为例&#xff0c;汽车生产线上各类…...

编程新知 2026/1/27 7:46:36

对WWDC 2025 Keynote 内容的预测

借助我们以往对苹果公司发展路径的深入研究经验&#xff0c;以及大语言模型的分析能力&#xff0c;我们系统梳理了多年来苹果 WWDC 主题演讲的规律。在 WWDC 2025 即将揭幕之际&#xff0c;我们让 ChatGPT 对今年的 Keynote 内容进行了一个初步预测&#xff0c;聊作存档。等到明…...

编程新知 2026/2/6 23:56:39

如何在看板中有效管理突发紧急任务

在看板中有效管理突发紧急任务需要&#xff1a;设立专门的紧急任务通道、重新调整任务优先级、保持适度的WIP&#xff08;Work-in-Progress&#xff09;弹性、优化任务处理流程、提高团队应对突发情况的敏捷性。其中&#xff0c;设立专门的紧急任务通道尤为重要&#xff0c;这能…...

编程新知 2026/2/3 22:50:06

Frozen-Flask ：将 Flask 应用“冻结”为静态文件

Frozen-Flask 是一个用于将 Flask 应用“冻结”为静态文件的 Python 扩展。它的核心用途是&#xff1a;将一个 Flask Web 应用生成成纯静态 HTML 文件&#xff0c;从而可以部署到静态网站托管服务上&#xff0c;如 GitHub Pages、Netlify 或任何支持静态文件的网站服务器。 &am…...

编程新知 2025/12/5 20:57:13

【C语言练习】080. 使用C语言实现简单的数据库操作

080. 使用C语言实现简单的数据库操作 080. 使用C语言实现简单的数据库操作使用原生APIODBC接口第三方库ORM框架文件模拟1. 安装SQLite2. 示例代码：使用SQLite创建数据库、表和插入数据3. 编译和运行4. 示例运行输出：5. 注意事项6. 总结080. 使用C语言实现简单的数据库操作 在…...

编程新知 2025/9/22 21:37:01

Caliper 配置文件解析：fisco-bcos.json

config.yaml 文件 config.yaml 是 Caliper 的主配置文件，通常包含以下内容： test:name: fisco-bcos-test # 测试名称description: Performance test of FISCO-BCOS # 测试描述workers:type: local # 工作进程类型number: 5 # 工作进程数量monitor:type: - docker- pro…...

编程新知 2025/10/24 15:14:02