当前位置： 首页 > news >正文

数学建模学习（116）：全面解析梯度下降算法及其在机器学习中的应用与优化

news 2026/2/10 15:33:52

文章目录

    • 1.梯度下降简介
      • 1.1 梯度下降的数学原理
      • 1.2 学习率的选择
    • 2 梯度下降变体
    • 3.梯度下降优化器
      • 3.1 动量法（Momentum）
      • 3.2 AdaGrad
      • 3.3 RMSprop
      • 3.4 Adam
      • 3.5 Python 使用不同优化器训练线性回归模型
    • 4.案例：使用梯度下降优化加利福尼亚房价预测模型
      • 4.1. 数据准备
      • 4.2. 模型训练与优化
      • 4.3. 实验结果对比
      • 4.4. 结果分析
      • 4.5. 总结

1.梯度下降简介

一种为机器学习模型奠定基础的优化算法是梯度下降法（Gradient Descent，简称GD）。梯度下降是一种简单而有效的工具，适用于训练此类模型。正如其名称所示，梯度下降涉及“向下移动”。我们在一个景观中选择一个方向，并沿着该方向采取每一步，让我们“向下走”。步长的大小取决于坡度（即梯度）的陡峭程度。在机器学习（ML）模型中，梯度下降估计误差的梯度，帮助最小化成本函数。很少有优化方法能够像梯度下降一样计算效率高。GD 还为深度学习模型的优化奠定了基础。

在参数无法通过线性代数方法解析计算的情况下，必须通过优化来搜索时，梯度下降法找到了它最好的用武之地。该算法通过沿着最陡下降方向迭代地移动来工作。在每次迭代中，模型参数（如线性回归中的系数和神经网络中的权重）都会更新。模型将持续更新其参数，直到成本函数收敛或达到最小值（即图1.1a中坡度的底部）。

在这里插入图片描述

1.1 梯度下降的数学原理

梯度下降法的目标是通过迭代的方法最小化目标函数 J ( θ

相关文章：

数学建模学习（116）：全面解析梯度下降算法及其在机器学习中的应用与优化

文章目录 1.梯度下降简介1.1 梯度下降的数学原理1.2 学习率的选择2 梯度下降变体3.梯度下降优化器3.1 动量法（Momentum）3.2 AdaGrad3.3 RMSprop3.4 Adam3.5 Python 使用不同优化器训练线性回归模型4.案例：使用梯度下降优化加利福尼亚房价预测模型4.1. 数据准备4.2. 模型训练…...

编程日记 2024/8/23 1:46:20

[mysql][sql]mysql查询表大小

select table_schema as 数据库, table_name as 表名, table_rows as 记录数, truncate(data_length/1024/1024, 2) as 数据容量(MB), truncate(index_length/1024/1024, 2) as 索引容量(MB) from information_schema.tables where 11 and table_schemadb001 order by table_ro…...

编程日记 2024/8/23 1:44:15

8.16 mysql主从数据库（5.7版本）与python的交互及mycat

mysql数据库基本操作： [rootm ~]# tar -xf mysql-5.7.44-linux-glibc2.12-x86_64.tar.gz 解压压缩包 [rootm ~]# ls anaconda-ks.cfg mysql-5.7.44-linux-glibc2.12-x86_64 mysql-5.7.44-linux-glibc2.12-x86_64.tar.gz [rootm ~]# cp -r mysql-5.7.44-lin…...

编程日记 2024/8/23 1:43:14

项目问题 | CentOS 7停止维护导致yum失效的解决办法

目录 centos停止维护意味着yum相关源伴随失效。 报错： 解决方案：将图中四个文件替换掉/etc/yum.repos.d/目录下同名文件 资源提交在博客头部，博客结尾也提供文件源码内容 CentOS-Base.repo CentOS-SCLo-scl.repo CentOS-SCLo-scl-rh.rep…...

编程日记 2024/8/23 1:42:13

【Docker】Docker Compose（容器编排）

一、什么是 Docker Compose docker-compose 是 Docker 官方的开源项目，使用 python 编写，实现上调用了 Docker 服务的 API 进行容器管理及编排，其官方定义为定义和运行多个 Docker 容器的应用。 docker-compose 中有两个非常重要的概念&…...

编程日记 2024/8/23 1:39:08

嵌入式初学-C语言-二九

C语言编译步骤 预处理编译汇编链接 什么是预处理 预处理就是在源文件（如.c文件）编译之前，所进行的一部分预备操作，这部分操作是由预处理程序自动完成，当源文件在编译时，编译器会自动调用预处理指令的解析…...

编程日记 2024/8/23 1:38:07

0x03 ShowDoc 文件上传漏洞（CNVD-2020-26585）复现

参考：ShowDoc文件上传漏洞（CNVD-2020-26585）_showdoc漏洞-CSDN博客 一、fofa 搜索使用该工具的网站 网络空间测绘，网络空间安全搜索引擎，网络空间搜索引擎，安全态势感知 - FOFA网络空间测绘系统 "S…...

编程日记 2024/8/23 1:37:05

【大模型从入门到精通34】开源库框架LangChain 利用LangChain构建聊天机器人1

这里写目录标题 利用LangChain构建聊天机器人介绍介绍对话型聊天机器人构建环境环境变量和平台设置 加载文档和创建向量存储高级检索技术对话上下文和记忆纳入聊天历史会话缓冲内存 构建对话检索链环境设置与API密钥配置选择合适的语言模型版本Q&A系统设置 利用LangChain构…...

编程日记 2024/8/23 1:32:58

魔法糖果工厂

LYA 是一家魔法糖果工厂的新任管理员。工厂生产的魔法糖果有七种颜色，分别用字母 a、b、c、d、e、f、g 表示。这些糖果被排列在一条传送带上，准备进行包装。为了提高效率，工厂引进了一台智能包装机器人。这个机器人可以按照预设的指令序列来包…...

编程日记 2024/8/23 1:31:57

NVM安装管理node.js版本（简单易懂）

一、前言 1.1 简介 NVM（Node Version Manager）是 node.js 的版本管理器，用 shell 脚本切换机器中不同版本的 nodejs。 Nodejs为什么需要多个版本？ 有经验的开发者可能遇到过，某个依赖包明确nodejs是某个版本&#…...

编程日记 2024/8/23 1:29:55

第1章-04-Chrome及Chrome Driver安装及测试

🏆作者简介，黑夜开发者，CSDN领军人物，全栈领域优质创作者✌，CSDN博客专家，阿里云社区专家博主，2023年CSDN全站百大博主。 🏆数年电商行业从业经验，历任核心研发工程师&am…...

编程日记 2024/8/23 1:28:54

【Linux】SSH 隧道转发场景搭建

ssh建立隧道转发 A设备：没有公网IP地址的本地设备，如本地内网服务器（需要能通公网） B设备：有公网IP地址的服务器，可以是云服务器 C设备：终端设备，想通过公网服务器B访问到设备A 要…...

编程日记 2024/8/23 1:27:53

前后端部署-服务器linux中安装数据库Mysql8

一、登录Xshell7 && 开放Mysql 3306端口， Redis 6379 端口 二、手动部署MySQL数据库 1.运行以下命令，更新YUM源。 sudo rpm -Uvh https://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm 2.运行以下命令，安装My…...

编程日记 2024/8/23 1:24:50

如何使用jd-gui对springboot源码进行分析

背景： 最近在学习springboot的过滤器和拦截器，想了解一下过滤器和拦截器是怎么匹配URL的，在网上搜了半天都搜不到针对源码的，网上大部分内容都是说怎么配置过滤器和拦截器，怎么使用，并没有对源码进行分析的…...

编程日记 2024/8/23 1:23:49

原来ChatGPT是这么评价《黑神话：悟空》的啊？

《黑神话：悟空》一经上线便迅速吸引了全球的目光，成为了今日微博热搜榜上的焦点话题。作为中国首款现象级的中国3A大作，它的发布无疑引发了广泛的关注与讨论。 《黑神话：悟空》，这款3A国产游戏大作，由国内游…...

编程日记 2024/8/23 1:21:47

C语言第17篇

1.在C语言中,全局变量的存储类别是_________. A) static B) extern C) void D) register 提示：extern adj.外来的 register n.登记表，v.登记 提示与本题无关 2.在一个C源程序文件中,要定义一个只允许本源文件中所有函数使用的全局变…...

编程日记 2024/8/23 1:20:46

Springboot+vue实现webScoket

需求 因为在做的项目中，有多个网站登录同一个用户，故想在某一个页面登录或者退出的时候，对其他页面进行相同的操作 跨域，跨页面，跨项目，跨标签页，https 因为一开始不像麻烦后端，所以…...

编程日记 2024/8/23 1:18:45

CSS知识点详解：display+float

display：浮动 1.block：使元素呈现为块级元素，可设置宽高 display: block; 特点：使元素呈现为块级元素，即该元素会以新行开始，占据整行的宽度，即使其宽度未满。 例子： 2.inline&a…...

编程日记 2024/8/23 1:17:44

ant design pro v6 如何做好角色管理

先上图： 整个角色管理是如何做的吗？ 首先你要处理后端，要先把角色存到用户那。 这是用户管理部分的内容： 可以看到一个用户是有多个角色的。 看到没有，存的是数组 数组的是一个 role 对象 role 对象是这样&#xf…...

编程日记 2024/8/23 1:16:42

C++ 设计模式（3. 抽象工厂模式）

抽象工厂模式也是一种创建型设计模式，提供了一个创建一系列相关或相互依赖对象的接口，而无需指定它们具体的类【引用自大话设计模式第15章】基本结构 抽象工厂模式包含多个抽象产品接口，多个具体产品类，一个抽象工厂接口和多个具体…...

编程日记 2024/8/23 1:15:41

【WiFi帧结构】

文章目录 帧结构MAC头部管理帧 帧结构 Wi-Fi的帧分为三部分组成：MAC头部frame bodyFCS，其中MAC是固定格式的，frame body是可变长度。 MAC头部有frame control，duration，address1，address2，addre…...

编程新知 2026/2/7 17:33:19

shell脚本--常见案例

1、自动备份文件或目录 2、批量重命名文件 3、查找并删除指定名称的文件： 4、批量删除文件 5、查找并替换文件内容 6、批量创建文件 7、创建文件夹并移动文件 8、在文件夹中查找文件...

编程新知 2026/2/7 19:53:11

通过Wrangler CLI在worker中创建数据库和表

官方使用文档：Getting started Cloudflare D1 docs 创建数据库 在命令行中执行完成之后，会在本地和远程创建数据库： npx wranglerlatest d1 create prod-d1-tutorial 在cf中就可以看到数据库： 现在，您的Cloudfla…...

编程新知 2026/1/31 6:18:08

1688商品列表API与其他数据源的对接思路

将1688商品列表API与其他数据源对接时，需结合业务场景设计数据流转链路，重点关注数据格式兼容性、接口调用频率控制及数据一致性维护。以下是具体对接思路及关键技术点： 一、核心对接场景与目标 商品数据同步 场景：将1688商品信息…...

编程新知 2025/11/30 16:55:32

ffmpeg（四）：滤镜命令

FFmpeg 的滤镜命令是用于音视频处理中的强大工具，可以完成剪裁、缩放、加水印、调色、合成、旋转、模糊、叠加字幕等复杂的操作。其核心语法格式一般如下： ffmpeg -i input.mp4 -vf "滤镜参数" output.mp4或者带音频滤镜： ffmpeg…...

编程新知 2026/2/4 23:47:47

华为OD机试-食堂供餐-二分法

import java.util.Arrays; import java.util.Scanner;public class DemoTest3 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseint a in.nextIn…...

编程新知 2026/1/28 11:11:03

OpenLayers 分屏对比(地图联动)

注：当前使用的是 ol 5.3.0 版本，天地图使用的key请到天地图官网申请，并替换为自己的key 地图分屏对比在WebGIS开发中是很常见的功能，和卷帘图层不一样的是，分屏对比是在各个地图中添加相同或者不同的图层进行对比查看。…...

编程新知 2025/12/25 18:22:43

什么是Ansible Jinja2

理解 Ansible Jinja2 模板 Ansible 是一款功能强大的开源自动化工具，可让您无缝地管理和配置系统。Ansible 的一大亮点是它使用 Jinja2 模板，允许您根据变量数据动态生成文件、配置设置和脚本。本文将向您介绍 Ansible 中的 Jinja2 模板，并通…...

编程新知 2026/2/6 1:00:25

STM32---外部32.768K晶振（LSE）无法起振问题

晶振是否起振主要就检查两个1、晶振与MCU是否兼容；2、晶振的负载电容是否匹配 目录 一、判断晶振与MCU是否兼容 二、判断负载电容是否匹配 1. 晶振负载电容（CL）与匹配电容（CL1、CL2）的关系 2. 如何选择 CL1 和 CL…...

编程新知 2026/2/7 10:55:43

c++第七天 继承与派生2

这一篇文章主要内容是 派生类构造函数与析构函数 在派生类中重写基类成员 以及多继承 第一部分：派生类构造函数与析构函数 当创建一个派生类对象时，基类成员是如何初始化的？ 1.当派生类对象创建的时候，基类成员的初始化顺序 …...

编程新知 2026/2/2 21:55:02