当前位置： 首页 > news >正文

数学建模学习（116）：全面解析梯度下降算法及其在机器学习中的应用与优化

news 2025/9/14 17:46:36

文章目录

    • 1.梯度下降简介
      • 1.1 梯度下降的数学原理
      • 1.2 学习率的选择
    • 2 梯度下降变体
    • 3.梯度下降优化器
      • 3.1 动量法（Momentum）
      • 3.2 AdaGrad
      • 3.3 RMSprop
      • 3.4 Adam
      • 3.5 Python 使用不同优化器训练线性回归模型
    • 4.案例：使用梯度下降优化加利福尼亚房价预测模型
      • 4.1. 数据准备
      • 4.2. 模型训练与优化
      • 4.3. 实验结果对比
      • 4.4. 结果分析
      • 4.5. 总结

1.梯度下降简介

一种为机器学习模型奠定基础的优化算法是梯度下降法（Gradient Descent，简称GD）。梯度下降是一种简单而有效的工具，适用于训练此类模型。正如其名称所示，梯度下降涉及“向下移动”。我们在一个景观中选择一个方向，并沿着该方向采取每一步，让我们“向下走”。步长的大小取决于坡度（即梯度）的陡峭程度。在机器学习（ML）模型中，梯度下降估计误差的梯度，帮助最小化成本函数。很少有优化方法能够像梯度下降一样计算效率高。GD 还为深度学习模型的优化奠定了基础。

在参数无法通过线性代数方法解析计算的情况下，必须通过优化来搜索时，梯度下降法找到了它最好的用武之地。该算法通过沿着最陡下降方向迭代地移动来工作。在每次迭代中，模型参数（如线性回归中的系数和神经网络中的权重）都会更新。模型将持续更新其参数，直到成本函数收敛或达到最小值（即图1.1a中坡度的底部）。

在这里插入图片描述

1.1 梯度下降的数学原理

梯度下降法的目标是通过迭代的方法最小化目标函数 J ( θ

相关文章：

数学建模学习（116）：全面解析梯度下降算法及其在机器学习中的应用与优化

文章目录 1.梯度下降简介1.1 梯度下降的数学原理1.2 学习率的选择2 梯度下降变体3.梯度下降优化器3.1 动量法（Momentum）3.2 AdaGrad3.3 RMSprop3.4 Adam3.5 Python 使用不同优化器训练线性回归模型4.案例：使用梯度下降优化加利福尼亚房价预测模型4.1. 数据准备4.2. 模型训练…...

编程日记 2024/8/23 1:46:20

[mysql][sql]mysql查询表大小

select table_schema as 数据库, table_name as 表名, table_rows as 记录数, truncate(data_length/1024/1024, 2) as 数据容量(MB), truncate(index_length/1024/1024, 2) as 索引容量(MB) from information_schema.tables where 11 and table_schemadb001 order by table_ro…...

编程日记 2024/8/23 1:44:15

8.16 mysql主从数据库（5.7版本）与python的交互及mycat

mysql数据库基本操作： [rootm ~]# tar -xf mysql-5.7.44-linux-glibc2.12-x86_64.tar.gz 解压压缩包 [rootm ~]# ls anaconda-ks.cfg mysql-5.7.44-linux-glibc2.12-x86_64 mysql-5.7.44-linux-glibc2.12-x86_64.tar.gz [rootm ~]# cp -r mysql-5.7.44-lin…...

编程日记 2024/8/23 1:43:14

项目问题 | CentOS 7停止维护导致yum失效的解决办法

目录 centos停止维护意味着yum相关源伴随失效。 报错： 解决方案：将图中四个文件替换掉/etc/yum.repos.d/目录下同名文件 资源提交在博客头部，博客结尾也提供文件源码内容 CentOS-Base.repo CentOS-SCLo-scl.repo CentOS-SCLo-scl-rh.rep…...

编程日记 2024/8/23 1:42:13

【Docker】Docker Compose（容器编排）

一、什么是 Docker Compose docker-compose 是 Docker 官方的开源项目，使用 python 编写，实现上调用了 Docker 服务的 API 进行容器管理及编排，其官方定义为定义和运行多个 Docker 容器的应用。 docker-compose 中有两个非常重要的概念&…...

编程日记 2024/8/23 1:39:08

嵌入式初学-C语言-二九

C语言编译步骤 预处理编译汇编链接 什么是预处理 预处理就是在源文件（如.c文件）编译之前，所进行的一部分预备操作，这部分操作是由预处理程序自动完成，当源文件在编译时，编译器会自动调用预处理指令的解析…...

编程日记 2024/8/23 1:38:07

0x03 ShowDoc 文件上传漏洞（CNVD-2020-26585）复现

参考：ShowDoc文件上传漏洞（CNVD-2020-26585）_showdoc漏洞-CSDN博客 一、fofa 搜索使用该工具的网站 网络空间测绘，网络空间安全搜索引擎，网络空间搜索引擎，安全态势感知 - FOFA网络空间测绘系统 "S…...

编程日记 2024/8/23 1:37:05

【大模型从入门到精通34】开源库框架LangChain 利用LangChain构建聊天机器人1

这里写目录标题 利用LangChain构建聊天机器人介绍介绍对话型聊天机器人构建环境环境变量和平台设置 加载文档和创建向量存储高级检索技术对话上下文和记忆纳入聊天历史会话缓冲内存 构建对话检索链环境设置与API密钥配置选择合适的语言模型版本Q&A系统设置 利用LangChain构…...

编程日记 2024/8/23 1:32:58

魔法糖果工厂

LYA 是一家魔法糖果工厂的新任管理员。工厂生产的魔法糖果有七种颜色，分别用字母 a、b、c、d、e、f、g 表示。这些糖果被排列在一条传送带上，准备进行包装。为了提高效率，工厂引进了一台智能包装机器人。这个机器人可以按照预设的指令序列来包…...

编程日记 2024/8/23 1:31:57

NVM安装管理node.js版本（简单易懂）

一、前言 1.1 简介 NVM（Node Version Manager）是 node.js 的版本管理器，用 shell 脚本切换机器中不同版本的 nodejs。 Nodejs为什么需要多个版本？ 有经验的开发者可能遇到过，某个依赖包明确nodejs是某个版本&#…...

编程日记 2024/8/23 1:29:55

第1章-04-Chrome及Chrome Driver安装及测试

🏆作者简介，黑夜开发者，CSDN领军人物，全栈领域优质创作者✌，CSDN博客专家，阿里云社区专家博主，2023年CSDN全站百大博主。 🏆数年电商行业从业经验，历任核心研发工程师&am…...

编程日记 2024/8/23 1:28:54

【Linux】SSH 隧道转发场景搭建

ssh建立隧道转发 A设备：没有公网IP地址的本地设备，如本地内网服务器（需要能通公网） B设备：有公网IP地址的服务器，可以是云服务器 C设备：终端设备，想通过公网服务器B访问到设备A 要…...

编程日记 2024/8/23 1:27:53

前后端部署-服务器linux中安装数据库Mysql8

一、登录Xshell7 && 开放Mysql 3306端口， Redis 6379 端口 二、手动部署MySQL数据库 1.运行以下命令，更新YUM源。 sudo rpm -Uvh https://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm 2.运行以下命令，安装My…...

编程日记 2024/8/23 1:24:50

如何使用jd-gui对springboot源码进行分析

背景： 最近在学习springboot的过滤器和拦截器，想了解一下过滤器和拦截器是怎么匹配URL的，在网上搜了半天都搜不到针对源码的，网上大部分内容都是说怎么配置过滤器和拦截器，怎么使用，并没有对源码进行分析的…...

编程日记 2024/8/23 1:23:49

原来ChatGPT是这么评价《黑神话：悟空》的啊？

《黑神话：悟空》一经上线便迅速吸引了全球的目光，成为了今日微博热搜榜上的焦点话题。作为中国首款现象级的中国3A大作，它的发布无疑引发了广泛的关注与讨论。 《黑神话：悟空》，这款3A国产游戏大作，由国内游…...

编程日记 2024/8/23 1:21:47

C语言第17篇

1.在C语言中,全局变量的存储类别是_________. A) static B) extern C) void D) register 提示：extern adj.外来的 register n.登记表，v.登记 提示与本题无关 2.在一个C源程序文件中,要定义一个只允许本源文件中所有函数使用的全局变…...

编程日记 2024/8/23 1:20:46

Springboot+vue实现webScoket

需求 因为在做的项目中，有多个网站登录同一个用户，故想在某一个页面登录或者退出的时候，对其他页面进行相同的操作 跨域，跨页面，跨项目，跨标签页，https 因为一开始不像麻烦后端，所以…...

编程日记 2024/8/23 1:18:45

CSS知识点详解：display+float

display：浮动 1.block：使元素呈现为块级元素，可设置宽高 display: block; 特点：使元素呈现为块级元素，即该元素会以新行开始，占据整行的宽度，即使其宽度未满。 例子： 2.inline&a…...

编程日记 2024/8/23 1:17:44

ant design pro v6 如何做好角色管理

先上图： 整个角色管理是如何做的吗？ 首先你要处理后端，要先把角色存到用户那。 这是用户管理部分的内容： 可以看到一个用户是有多个角色的。 看到没有，存的是数组 数组的是一个 role 对象 role 对象是这样&#xf…...

编程日记 2024/8/23 1:16:42

C++ 设计模式（3. 抽象工厂模式）

抽象工厂模式也是一种创建型设计模式，提供了一个创建一系列相关或相互依赖对象的接口，而无需指定它们具体的类【引用自大话设计模式第15章】基本结构 抽象工厂模式包含多个抽象产品接口，多个具体产品类，一个抽象工厂接口和多个具体…...

编程日记 2024/8/23 1:15:41

后进先出（LIFO）详解

LIFO 是 Last In, First Out 的缩写，中文译为后进先出。这是一种数据结构的工作原则，类似于一摞盘子或一叠书本： 最后放进去的元素最先出来 -想象往筒状容器里放盘子： （1）你放进的最后一个盘子&#xff08…...

编程新知 2025/9/13 20:53:16

接口测试中缓存处理策略

在接口测试中，缓存处理策略是一个关键环节，直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性，避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明： 一、缓存处理的核…...

编程新知 2025/9/13 15:34:01

springboot 百货中心供应链管理系统小程序

一、前言 随着我国经济迅速发展，人们对手机的需求越来越大，各种手机软件也都在被广泛应用，但是对于手机进行数据信息管理，对于手机的各种软件也是备受用户的喜爱，百货中心供应链管理系统被用户普遍使用，为方…...

编程新知 2025/9/14 10:26:02

【WiFi帧结构】

文章目录 帧结构MAC头部管理帧 帧结构 Wi-Fi的帧分为三部分组成：MAC头部frame bodyFCS，其中MAC是固定格式的，frame body是可变长度。 MAC头部有frame control，duration，address1，address2，addre…...

编程新知 2025/9/9 10:11:52

Python实现prophet 理论及参数优化

文章目录 Prophet理论及模型参数介绍Python代码完整实现prophet 添加外部数据进行模型优化 之前初步学习prophet的时候，写过一篇简单实现，后期随着对该模型的深入研究，本次记录涉及到prophet 的公式以及参数调优，从公式可以更直观…...

编程新知 2025/9/11 18:47:05

【HTML-16】深入理解HTML中的块元素与行内元素

HTML元素根据其显示特性可以分为两大类：块元素(Block-level Elements)和行内元素(Inline Elements)。理解这两者的区别对于构建良好的网页布局至关重要。本文将全面解析这两种元素的特性、区别以及实际应用场景。 1. 块元素(Block-level Elements) 1.1 基本特性 …...

编程新知 2025/8/10 8:29:19

12.找到字符串中所有字母异位词

🧠 题目解析 题目描述： 给定两个字符串 s 和 p，找出 s 中所有 p 的字母异位词的起始索引。 返回的答案以数组形式表示。 字母异位词定义： 若两个字符串包含的字符种类和出现次数完全相同，顺序无所谓，则互为…...

编程新知 2025/9/12 13:41:18

2025季度云服务器排行榜

在全球云服务器市场，各厂商的排名和地位并非一成不变，而是由其独特的优势、战略布局和市场适应性共同决定的。以下是根据2025年市场趋势，对主要云服务器厂商在排行榜中占据重要位置的原因和优势进行深度分析： 一、全球“三巨头”…...

编程新知 2025/9/13 17:37:57

C++.OpenGL （14/64）多光源（Multiple Lights）

多光源（Multiple Lights） 多光源渲染技术概览 #mermaid-svg-3L5e5gGn76TNh7Lq {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-3L5e5gGn76TNh7Lq .error-icon{fill:#552222;}#mermaid-svg-3L5e5gGn76TNh7Lq .erro…...

编程新知 2025/6/11 3:15:20

CSS | transition 和 transform的用处和区别

省流总结： transform用于变换/变形，transition是动画控制器 transform 用来对元素进行变形，常见的操作如下，它是立即生效的样式变形属性。 旋转 rotate(角度deg)、平移 translateX(像素px)、缩放 scale(倍数)、倾斜 skewX(角度…...

编程新知 2025/7/11 23:09:41