当前位置： 首页 > news >正文

数学建模学习（116）：全面解析梯度下降算法及其在机器学习中的应用与优化

news 2026/2/10 19:13:25

文章目录

    • 1.梯度下降简介
      • 1.1 梯度下降的数学原理
      • 1.2 学习率的选择
    • 2 梯度下降变体
    • 3.梯度下降优化器
      • 3.1 动量法（Momentum）
      • 3.2 AdaGrad
      • 3.3 RMSprop
      • 3.4 Adam
      • 3.5 Python 使用不同优化器训练线性回归模型
    • 4.案例：使用梯度下降优化加利福尼亚房价预测模型
      • 4.1. 数据准备
      • 4.2. 模型训练与优化
      • 4.3. 实验结果对比
      • 4.4. 结果分析
      • 4.5. 总结

1.梯度下降简介

一种为机器学习模型奠定基础的优化算法是梯度下降法（Gradient Descent，简称GD）。梯度下降是一种简单而有效的工具，适用于训练此类模型。正如其名称所示，梯度下降涉及“向下移动”。我们在一个景观中选择一个方向，并沿着该方向采取每一步，让我们“向下走”。步长的大小取决于坡度（即梯度）的陡峭程度。在机器学习（ML）模型中，梯度下降估计误差的梯度，帮助最小化成本函数。很少有优化方法能够像梯度下降一样计算效率高。GD 还为深度学习模型的优化奠定了基础。

在参数无法通过线性代数方法解析计算的情况下，必须通过优化来搜索时，梯度下降法找到了它最好的用武之地。该算法通过沿着最陡下降方向迭代地移动来工作。在每次迭代中，模型参数（如线性回归中的系数和神经网络中的权重）都会更新。模型将持续更新其参数，直到成本函数收敛或达到最小值（即图1.1a中坡度的底部）。

在这里插入图片描述

1.1 梯度下降的数学原理

梯度下降法的目标是通过迭代的方法最小化目标函数 J ( θ

相关文章：

数学建模学习（116）：全面解析梯度下降算法及其在机器学习中的应用与优化

文章目录 1.梯度下降简介1.1 梯度下降的数学原理1.2 学习率的选择2 梯度下降变体3.梯度下降优化器3.1 动量法（Momentum）3.2 AdaGrad3.3 RMSprop3.4 Adam3.5 Python 使用不同优化器训练线性回归模型4.案例：使用梯度下降优化加利福尼亚房价预测模型4.1. 数据准备4.2. 模型训练…...

编程日记 2024/8/23 1:46:20

[mysql][sql]mysql查询表大小

select table_schema as 数据库, table_name as 表名, table_rows as 记录数, truncate(data_length/1024/1024, 2) as 数据容量(MB), truncate(index_length/1024/1024, 2) as 索引容量(MB) from information_schema.tables where 11 and table_schemadb001 order by table_ro…...

编程日记 2024/8/23 1:44:15

8.16 mysql主从数据库（5.7版本）与python的交互及mycat

mysql数据库基本操作： [rootm ~]# tar -xf mysql-5.7.44-linux-glibc2.12-x86_64.tar.gz 解压压缩包 [rootm ~]# ls anaconda-ks.cfg mysql-5.7.44-linux-glibc2.12-x86_64 mysql-5.7.44-linux-glibc2.12-x86_64.tar.gz [rootm ~]# cp -r mysql-5.7.44-lin…...

编程日记 2024/8/23 1:43:14

项目问题 | CentOS 7停止维护导致yum失效的解决办法

目录 centos停止维护意味着yum相关源伴随失效。 报错： 解决方案：将图中四个文件替换掉/etc/yum.repos.d/目录下同名文件 资源提交在博客头部，博客结尾也提供文件源码内容 CentOS-Base.repo CentOS-SCLo-scl.repo CentOS-SCLo-scl-rh.rep…...

编程日记 2024/8/23 1:42:13

【Docker】Docker Compose（容器编排）

一、什么是 Docker Compose docker-compose 是 Docker 官方的开源项目，使用 python 编写，实现上调用了 Docker 服务的 API 进行容器管理及编排，其官方定义为定义和运行多个 Docker 容器的应用。 docker-compose 中有两个非常重要的概念&…...

编程日记 2024/8/23 1:39:08

嵌入式初学-C语言-二九

C语言编译步骤 预处理编译汇编链接 什么是预处理 预处理就是在源文件（如.c文件）编译之前，所进行的一部分预备操作，这部分操作是由预处理程序自动完成，当源文件在编译时，编译器会自动调用预处理指令的解析…...

编程日记 2024/8/23 1:38:07

0x03 ShowDoc 文件上传漏洞（CNVD-2020-26585）复现

参考：ShowDoc文件上传漏洞（CNVD-2020-26585）_showdoc漏洞-CSDN博客 一、fofa 搜索使用该工具的网站 网络空间测绘，网络空间安全搜索引擎，网络空间搜索引擎，安全态势感知 - FOFA网络空间测绘系统 "S…...

编程日记 2024/8/23 1:37:05

【大模型从入门到精通34】开源库框架LangChain 利用LangChain构建聊天机器人1

这里写目录标题 利用LangChain构建聊天机器人介绍介绍对话型聊天机器人构建环境环境变量和平台设置 加载文档和创建向量存储高级检索技术对话上下文和记忆纳入聊天历史会话缓冲内存 构建对话检索链环境设置与API密钥配置选择合适的语言模型版本Q&A系统设置 利用LangChain构…...

编程日记 2024/8/23 1:32:58

魔法糖果工厂

LYA 是一家魔法糖果工厂的新任管理员。工厂生产的魔法糖果有七种颜色，分别用字母 a、b、c、d、e、f、g 表示。这些糖果被排列在一条传送带上，准备进行包装。为了提高效率，工厂引进了一台智能包装机器人。这个机器人可以按照预设的指令序列来包…...

编程日记 2024/8/23 1:31:57

NVM安装管理node.js版本（简单易懂）

一、前言 1.1 简介 NVM（Node Version Manager）是 node.js 的版本管理器，用 shell 脚本切换机器中不同版本的 nodejs。 Nodejs为什么需要多个版本？ 有经验的开发者可能遇到过，某个依赖包明确nodejs是某个版本&#…...

编程日记 2024/8/23 1:29:55

第1章-04-Chrome及Chrome Driver安装及测试

🏆作者简介，黑夜开发者，CSDN领军人物，全栈领域优质创作者✌，CSDN博客专家，阿里云社区专家博主，2023年CSDN全站百大博主。 🏆数年电商行业从业经验，历任核心研发工程师&am…...

编程日记 2024/8/23 1:28:54

【Linux】SSH 隧道转发场景搭建

ssh建立隧道转发 A设备：没有公网IP地址的本地设备，如本地内网服务器（需要能通公网） B设备：有公网IP地址的服务器，可以是云服务器 C设备：终端设备，想通过公网服务器B访问到设备A 要…...

编程日记 2024/8/23 1:27:53

前后端部署-服务器linux中安装数据库Mysql8

一、登录Xshell7 && 开放Mysql 3306端口， Redis 6379 端口 二、手动部署MySQL数据库 1.运行以下命令，更新YUM源。 sudo rpm -Uvh https://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm 2.运行以下命令，安装My…...

编程日记 2024/8/23 1:24:50

如何使用jd-gui对springboot源码进行分析

背景： 最近在学习springboot的过滤器和拦截器，想了解一下过滤器和拦截器是怎么匹配URL的，在网上搜了半天都搜不到针对源码的，网上大部分内容都是说怎么配置过滤器和拦截器，怎么使用，并没有对源码进行分析的…...

编程日记 2024/8/23 1:23:49

原来ChatGPT是这么评价《黑神话：悟空》的啊？

《黑神话：悟空》一经上线便迅速吸引了全球的目光，成为了今日微博热搜榜上的焦点话题。作为中国首款现象级的中国3A大作，它的发布无疑引发了广泛的关注与讨论。 《黑神话：悟空》，这款3A国产游戏大作，由国内游…...

编程日记 2024/8/23 1:21:47

C语言第17篇

1.在C语言中,全局变量的存储类别是_________. A) static B) extern C) void D) register 提示：extern adj.外来的 register n.登记表，v.登记 提示与本题无关 2.在一个C源程序文件中,要定义一个只允许本源文件中所有函数使用的全局变…...

编程日记 2024/8/23 1:20:46

Springboot+vue实现webScoket

需求 因为在做的项目中，有多个网站登录同一个用户，故想在某一个页面登录或者退出的时候，对其他页面进行相同的操作 跨域，跨页面，跨项目，跨标签页，https 因为一开始不像麻烦后端，所以…...

编程日记 2024/8/23 1:18:45

CSS知识点详解：display+float

display：浮动 1.block：使元素呈现为块级元素，可设置宽高 display: block; 特点：使元素呈现为块级元素，即该元素会以新行开始，占据整行的宽度，即使其宽度未满。 例子： 2.inline&a…...

编程日记 2024/8/23 1:17:44

ant design pro v6 如何做好角色管理

先上图： 整个角色管理是如何做的吗？ 首先你要处理后端，要先把角色存到用户那。 这是用户管理部分的内容： 可以看到一个用户是有多个角色的。 看到没有，存的是数组 数组的是一个 role 对象 role 对象是这样&#xf…...

编程日记 2024/8/23 1:16:42

C++ 设计模式（3. 抽象工厂模式）

抽象工厂模式也是一种创建型设计模式，提供了一个创建一系列相关或相互依赖对象的接口，而无需指定它们具体的类【引用自大话设计模式第15章】基本结构 抽象工厂模式包含多个抽象产品接口，多个具体产品类，一个抽象工厂接口和多个具体…...

编程日记 2024/8/23 1:15:41

DockerHub与私有镜像仓库在容器化中的应用与管理

哈喽，大家好，我是左手python！ Docker Hub的应用与管理 Docker Hub的基本概念与使用方法 Docker Hub是Docker官方提供的一个公共镜像仓库，用户可以在其中找到各种操作系统、软件和应用的镜像。开发者可以通过Docker Hub轻松获取所…...

编程新知 2025/10/8 10:56:25

Python：操作 Excel 折叠

💖亲爱的技术爱好者们，热烈欢迎来到 Kant2048 的博客！我是 Thomas Kant，很开心能在CSDN上与你们相遇～💖 本博客的精华专栏： 【自动化测试】 【测试经验】 【人工智能】 【Python】 Python 操作 Excel 系列 读取单元格数据按行写入设置行高和列宽自动调整行高和列宽水平…...

编程新知 2026/2/10 13:23:50

基于Uniapp开发HarmonyOS 5.0旅游应用技术实践

一、技术选型背景 1.跨平台优势 Uniapp采用Vue.js框架，支持"一次开发，多端部署"，可同步生成HarmonyOS、iOS、Android等多平台应用。 2.鸿蒙特性融合 HarmonyOS 5.0的分布式能力与原子化服务，为旅游应用带来&#xf…...

编程新知 2026/2/5 20:33:43

剑指offer20_链表中环的入口节点

链表中环的入口节点 给定一个链表，若其中包含环，则输出环的入口节点。 若其中不包含环，则输出null。 数据范围 节点 val 值取值范围 [ 1 , 1000 ] [1,1000] [1,1000]。 节点 val 值各不相同。 链表长度 [ 0 , 500 ] [0,500] [0,500]。 …...

编程新知 2026/1/31 6:09:22

Cloudflare 从 Nginx 到 Pingora：性能、效率与安全的全面升级

在互联网的快速发展中，高性能、高效率和高安全性的网络服务成为了各大互联网基础设施提供商的核心追求。Cloudflare 作为全球领先的互联网安全和基础设施公司，近期做出了一个重大技术决策：弃用长期使用的 Nginx，转而采用其内部开发…...

编程新知 2026/1/29 21:20:51

04-初识css

一、css样式引入 1.1.内部样式 <div style"width: 100px;"></div>1.2.外部样式 1.2.1.外部样式1 <style>.aa {width: 100px;} </style> <div class"aa"></div>1.2.2.外部样式2 <!-- rel内表面引入的是style样…...

编程新知 2026/1/29 17:54:05

CMake 从 GitHub 下载第三方库并使用

有时我们希望直接使用 GitHub 上的开源库，而不想手动下载、编译和安装。 可以利用 CMake 提供的 FetchContent 模块来实现自动下载、构建和链接第三方库。 FetchContent 命令官方文档✅ 示例代码 我们将以 fmt 这个流行的格式化库为例，演示如何： 使用 FetchContent 从 GitH…...

编程新知 2026/2/1 3:19:54

深入解析C++中的extern关键字：跨文件共享变量与函数的终极指南

&#x1f680; C extern 关键字深度解析&#xff1a;跨文件编程的终极指南 &#x1f4c5; 更新时间&#xff1a;2025年6月5日 &#x1f3f7;️ 标签&#xff1a;C | extern关键字 | 多文件编程 | 链接与声明 | 现代C 文章目录 前言&#x1f525;一、extern 是什么&#xff1f;&…...

编程新知 2026/2/1 6:50:07

网络编程（UDP编程）

思维导图 UDP基础编程&#xff08;单播&#xff09; 1.流程图 服务器&#xff1a;短信的接收方 创建套接字 (socket)-----------------------------------------》有手机指定网络信息-----------------------------------------------》有号码绑定套接字 (bind)--------------…...

编程新知 2026/2/4 17:31:44

AGain DB和倍数增益的关系

我在设置一款索尼CMOS芯片时&#xff0c;Again增益0db变化为6DB&#xff0c;画面的变化只有2倍DN的增益&#xff0c;比如10变为20。 这与dB和线性增益的关系以及传感器处理流程有关。以下是具体原因分析&#xff1a; 1. dB与线性增益的换算关系 6dB对应的理论线性增益应为&…...

编程新知 2025/9/30 16:23:57