当前位置： 首页 > news >正文

数学建模学习（116）：全面解析梯度下降算法及其在机器学习中的应用与优化

news 2026/1/1 20:29:15

文章目录

    • 1.梯度下降简介
      • 1.1 梯度下降的数学原理
      • 1.2 学习率的选择
    • 2 梯度下降变体
    • 3.梯度下降优化器
      • 3.1 动量法（Momentum）
      • 3.2 AdaGrad
      • 3.3 RMSprop
      • 3.4 Adam
      • 3.5 Python 使用不同优化器训练线性回归模型
    • 4.案例：使用梯度下降优化加利福尼亚房价预测模型
      • 4.1. 数据准备
      • 4.2. 模型训练与优化
      • 4.3. 实验结果对比
      • 4.4. 结果分析
      • 4.5. 总结

1.梯度下降简介

一种为机器学习模型奠定基础的优化算法是梯度下降法（Gradient Descent，简称GD）。梯度下降是一种简单而有效的工具，适用于训练此类模型。正如其名称所示，梯度下降涉及“向下移动”。我们在一个景观中选择一个方向，并沿着该方向采取每一步，让我们“向下走”。步长的大小取决于坡度（即梯度）的陡峭程度。在机器学习（ML）模型中，梯度下降估计误差的梯度，帮助最小化成本函数。很少有优化方法能够像梯度下降一样计算效率高。GD 还为深度学习模型的优化奠定了基础。

在参数无法通过线性代数方法解析计算的情况下，必须通过优化来搜索时，梯度下降法找到了它最好的用武之地。该算法通过沿着最陡下降方向迭代地移动来工作。在每次迭代中，模型参数（如线性回归中的系数和神经网络中的权重）都会更新。模型将持续更新其参数，直到成本函数收敛或达到最小值（即图1.1a中坡度的底部）。

在这里插入图片描述

1.1 梯度下降的数学原理

梯度下降法的目标是通过迭代的方法最小化目标函数 J ( θ

相关文章：

数学建模学习（116）：全面解析梯度下降算法及其在机器学习中的应用与优化

文章目录 1.梯度下降简介1.1 梯度下降的数学原理1.2 学习率的选择2 梯度下降变体3.梯度下降优化器3.1 动量法（Momentum）3.2 AdaGrad3.3 RMSprop3.4 Adam3.5 Python 使用不同优化器训练线性回归模型4.案例：使用梯度下降优化加利福尼亚房价预测模型4.1. 数据准备4.2. 模型训练…...

编程日记 2024/8/23 1:46:20

[mysql][sql]mysql查询表大小

select table_schema as 数据库, table_name as 表名, table_rows as 记录数, truncate(data_length/1024/1024, 2) as 数据容量(MB), truncate(index_length/1024/1024, 2) as 索引容量(MB) from information_schema.tables where 11 and table_schemadb001 order by table_ro…...

编程日记 2024/8/23 1:44:15

8.16 mysql主从数据库（5.7版本）与python的交互及mycat

mysql数据库基本操作： [rootm ~]# tar -xf mysql-5.7.44-linux-glibc2.12-x86_64.tar.gz 解压压缩包 [rootm ~]# ls anaconda-ks.cfg mysql-5.7.44-linux-glibc2.12-x86_64 mysql-5.7.44-linux-glibc2.12-x86_64.tar.gz [rootm ~]# cp -r mysql-5.7.44-lin…...

编程日记 2024/8/23 1:43:14

项目问题 | CentOS 7停止维护导致yum失效的解决办法

目录 centos停止维护意味着yum相关源伴随失效。 报错： 解决方案：将图中四个文件替换掉/etc/yum.repos.d/目录下同名文件 资源提交在博客头部，博客结尾也提供文件源码内容 CentOS-Base.repo CentOS-SCLo-scl.repo CentOS-SCLo-scl-rh.rep…...

编程日记 2024/8/23 1:42:13

【Docker】Docker Compose（容器编排）

一、什么是 Docker Compose docker-compose 是 Docker 官方的开源项目，使用 python 编写，实现上调用了 Docker 服务的 API 进行容器管理及编排，其官方定义为定义和运行多个 Docker 容器的应用。 docker-compose 中有两个非常重要的概念&…...

编程日记 2024/8/23 1:39:08

嵌入式初学-C语言-二九

C语言编译步骤 预处理编译汇编链接 什么是预处理 预处理就是在源文件（如.c文件）编译之前，所进行的一部分预备操作，这部分操作是由预处理程序自动完成，当源文件在编译时，编译器会自动调用预处理指令的解析…...

编程日记 2024/8/23 1:38:07

0x03 ShowDoc 文件上传漏洞（CNVD-2020-26585）复现

参考：ShowDoc文件上传漏洞（CNVD-2020-26585）_showdoc漏洞-CSDN博客 一、fofa 搜索使用该工具的网站 网络空间测绘，网络空间安全搜索引擎，网络空间搜索引擎，安全态势感知 - FOFA网络空间测绘系统 "S…...

编程日记 2024/8/23 1:37:05

【大模型从入门到精通34】开源库框架LangChain 利用LangChain构建聊天机器人1

这里写目录标题 利用LangChain构建聊天机器人介绍介绍对话型聊天机器人构建环境环境变量和平台设置 加载文档和创建向量存储高级检索技术对话上下文和记忆纳入聊天历史会话缓冲内存 构建对话检索链环境设置与API密钥配置选择合适的语言模型版本Q&A系统设置 利用LangChain构…...

编程日记 2024/8/23 1:32:58

魔法糖果工厂

LYA 是一家魔法糖果工厂的新任管理员。工厂生产的魔法糖果有七种颜色，分别用字母 a、b、c、d、e、f、g 表示。这些糖果被排列在一条传送带上，准备进行包装。为了提高效率，工厂引进了一台智能包装机器人。这个机器人可以按照预设的指令序列来包…...

编程日记 2024/8/23 1:31:57

NVM安装管理node.js版本（简单易懂）

一、前言 1.1 简介 NVM（Node Version Manager）是 node.js 的版本管理器，用 shell 脚本切换机器中不同版本的 nodejs。 Nodejs为什么需要多个版本？ 有经验的开发者可能遇到过，某个依赖包明确nodejs是某个版本&#…...

编程日记 2024/8/23 1:29:55

第1章-04-Chrome及Chrome Driver安装及测试

🏆作者简介，黑夜开发者，CSDN领军人物，全栈领域优质创作者✌，CSDN博客专家，阿里云社区专家博主，2023年CSDN全站百大博主。 🏆数年电商行业从业经验，历任核心研发工程师&am…...

编程日记 2024/8/23 1:28:54

【Linux】SSH 隧道转发场景搭建

ssh建立隧道转发 A设备：没有公网IP地址的本地设备，如本地内网服务器（需要能通公网） B设备：有公网IP地址的服务器，可以是云服务器 C设备：终端设备，想通过公网服务器B访问到设备A 要…...

编程日记 2024/8/23 1:27:53

前后端部署-服务器linux中安装数据库Mysql8

一、登录Xshell7 && 开放Mysql 3306端口， Redis 6379 端口 二、手动部署MySQL数据库 1.运行以下命令，更新YUM源。 sudo rpm -Uvh https://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm 2.运行以下命令，安装My…...

编程日记 2024/8/23 1:24:50

如何使用jd-gui对springboot源码进行分析

背景： 最近在学习springboot的过滤器和拦截器，想了解一下过滤器和拦截器是怎么匹配URL的，在网上搜了半天都搜不到针对源码的，网上大部分内容都是说怎么配置过滤器和拦截器，怎么使用，并没有对源码进行分析的…...

编程日记 2024/8/23 1:23:49

原来ChatGPT是这么评价《黑神话：悟空》的啊？

《黑神话：悟空》一经上线便迅速吸引了全球的目光，成为了今日微博热搜榜上的焦点话题。作为中国首款现象级的中国3A大作，它的发布无疑引发了广泛的关注与讨论。 《黑神话：悟空》，这款3A国产游戏大作，由国内游…...

编程日记 2024/8/23 1:21:47

C语言第17篇

1.在C语言中,全局变量的存储类别是_________. A) static B) extern C) void D) register 提示：extern adj.外来的 register n.登记表，v.登记 提示与本题无关 2.在一个C源程序文件中,要定义一个只允许本源文件中所有函数使用的全局变…...

编程日记 2024/8/23 1:20:46

Springboot+vue实现webScoket

需求 因为在做的项目中，有多个网站登录同一个用户，故想在某一个页面登录或者退出的时候，对其他页面进行相同的操作 跨域，跨页面，跨项目，跨标签页，https 因为一开始不像麻烦后端，所以…...

编程日记 2024/8/23 1:18:45

CSS知识点详解：display+float

display：浮动 1.block：使元素呈现为块级元素，可设置宽高 display: block; 特点：使元素呈现为块级元素，即该元素会以新行开始，占据整行的宽度，即使其宽度未满。 例子： 2.inline&a…...

编程日记 2024/8/23 1:17:44

ant design pro v6 如何做好角色管理

先上图： 整个角色管理是如何做的吗？ 首先你要处理后端，要先把角色存到用户那。 这是用户管理部分的内容： 可以看到一个用户是有多个角色的。 看到没有，存的是数组 数组的是一个 role 对象 role 对象是这样&#xf…...

编程日记 2024/8/23 1:16:42

C++ 设计模式（3. 抽象工厂模式）

抽象工厂模式也是一种创建型设计模式，提供了一个创建一系列相关或相互依赖对象的接口，而无需指定它们具体的类【引用自大话设计模式第15章】基本结构 抽象工厂模式包含多个抽象产品接口，多个具体产品类，一个抽象工厂接口和多个具体…...

编程日记 2024/8/23 1:15:41

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明：假设每台服务器已…...

编程新知 2025/12/31 19:37:41

（二）TensorRT-LLM | 模型导出（v0.20.0rc3）

0. 概述 上一节 对安装和使用有个基本介绍。根据这个 issue 的描述，后续 TensorRT-LLM 团队可能更专注于更新和维护 pytorch backend。但 tensorrt backend 作为先前一直开发的工作，其中包含了大量可以学习的地方。本文主要看看它导出模型的部分&#x…...

编程新知 2025/12/24 7:04:13

2024年赣州旅游投资集团社会招聘笔试真

2024年赣州旅游投资集团社会招聘笔试真 题 ( 满 分 1 0 0 分 时 间 1 2 0 分 钟 ) 一、单选题(每题只有一个正确答案，答错、不答或多答均不得分) 1.纪要的特点不包括()。 A.概括重点 B.指导传达 C. 客观纪实 D.有言必录 【答案】: D 2.1864年，()预言了电磁波的存在，并指出…...

编程新知 2025/12/10 4:08:53

【第二十一章 SDIO接口(SDIO)】

第二十一章 SDIO接口 目录 第二十一章 SDIO接口(SDIO) 1 SDIO 主要功能 2 SDIO 总线拓扑 3 SDIO 功能描述 3.1 SDIO 适配器 3.2 SDIOAHB 接口 4 卡功能描述 4.1 卡识别模式 4.2 卡复位 4.3 操作电压范围确认 4.4 卡识别过程 4.5 写数据块 4.6 读数据块 4.7 数据流…...

编程新知 2025/12/24 18:48:44

新能源汽车智慧充电桩管理方案：新能源充电桩散热问题及消防安全监管方案

随着新能源汽车的快速普及，充电桩作为核心配套设施，其安全性与可靠性备受关注。然而，在高温、高负荷运行环境下，充电桩的散热问题与消防安全隐患日益凸显，成为制约行业发展的关键瓶颈。 如何通过智慧化管理手段优化散…...

编程新知 2025/12/31 14:13:05

Axios请求超时重发机制

Axios 超时重新请求实现方案 在 Axios 中实现超时重新请求可以通过以下几种方式： 1. 使用拦截器实现自动重试 import axios from axios;// 创建axios实例 const instance axios.create();// 设置超时时间 instance.defaults.timeout 5000;// 最大重试次数 cons…...

编程新知 2025/10/13 2:26:14

数据库分批入库

今天在工作中，遇到一个问题，就是分批查询的时候，由于批次过大导致出现了一些问题，一下是问题描述和解决方案： 示例： // 假设已有数据列表 dataList 和 PreparedStatement pstmt int batchSize 1000; // …...

编程新知 2025/7/18 1:50:27

Redis：现代应用开发的高效内存数据存储利器

一、Redis的起源与发展 Redis最初由意大利程序员Salvatore Sanfilippo在2009年开发，其初衷是为了满足他自己的一个项目需求，即需要一个高性能的键值存储系统来解决传统数据库在高并发场景下的性能瓶颈。随着项目的开源，Redis凭借其简单易用、…...

编程新知 2025/11/15 1:41:43

GO协程(Goroutine)问题总结

在使用Go语言来编写代码时，遇到的一些问题总结一下 [参考文档]：https://www.topgoer.com/%E5%B9%B6%E5%8F%91%E7%BC%96%E7%A8%8B/goroutine.html 1. main()函数默认的Goroutine 场景再现： 今天在看到这个教程的时候，在自己的电…...

编程新知 2025/12/31 23:01:10

华为OD机试-最短木板长度-二分法(A卷,100分)

此题是一个最大化最小值的典型例题， 因为搜索范围是有界的，上界最大木板长度补充的全部木料长度，下界最小木板长度； 即left0,right10^6; 我们可以设置一个候选值x(mid)，将木板的长度全部都补充到x，如果成功…...

编程新知 2025/12/24 1:45:44