2022最新版-李宏毅机器学习深度学习课程-P14 批次(batch)与动量(momentum)
一、batch
回顾epoch、shuffle
batch size大还是小？都有好处
大batchsize的好处
由于GPU有并行计算的能力，左边并不一定用时更长
反而是，batch size小的时候，要跑完一个epoch所用的update时间更长，所以时间方面的比较真不好说~
小batchsize的好处
实验表明，小的batch size拥有更好的性能（优化方面的问题）
粗略分析，可能是由于小batchsize时，噪声更多，更不容易困住。
实验表明，就算在训练集上效果差不多，在测试集上可以看出小batchsize效果更好！
原因可能是，假设测试集损失与训练集损失有一个左右的平移，小batchsize是缓慢更新接近目标的，曲线更平缓，不容易预测差别太大。但大batchsize是看完所有数据再更新的，可能会更陡峭，此时平移后会发生较大改变。
总结
所以我们就拥有了一个超参数需要调整：batchsize！下表是他们的优劣
现在需要选择合适的batchsize，兼顾两者优点
二、momentum
来源
考虑物理世界，运动的物理会有动量，有顺着速度方向运动的趋势
一般的（香草的）梯度下降方法
加入momentum 后
加上动量后，需要考虑前一步梯度的方向（矢量求和）
动量也是与g有关，可以写成如下表达方式
加上动量后，损失运动的方式：不会停留在梯度=0的地方，遇到上坡时由于惯性也会继续往前试试寻找下坡。。。
三、总结
相关文章：
2022最新版-李宏毅机器学习深度学习课程-P14 批次(batch)与动量(momentum)
一、batch 回顾epoch、shuffle batch size大还是小？都有好处 大batchsize的好处 由于GPU有并行计算的能力，左边并不一定用时更长 反而是，batch size小的时候，要跑完一个epoch所用的update时间更长，所以时间方面的比较…...
谜题（Puzzle, ACM/ICPC World Finals 1993, UVa227）rust解法
有一个5*5的网格，其中恰好有一个格子是空的，其他格子各有一个字母。一共有4种指令：A, B, L, R，分别表示把空格上、下、左、右的相邻字母移到空格中。输入初始网格和指令序列（以数字0结束），输出指…...
acwing算法基础之数据结构--双链表
目录 1 知识点2 模板 1 知识点 一般的结构体写法为， struct BiListNode {int val;BiListNode *left;BiListNode *right; };但我们不用这个，而用数组模拟双链表，此时，用编号为0的结点表示头结点，用编号为1的结点表示尾…...
将中文名格式化输出为英文名
要求： 编写Java程序，输入样式为：Zhong wen ming的人名，以 Ming,Zhong.W 的形式打印出来。其中.W是中间单词的首字母；例如输入”Willian Jefferson Clinton“,输出形式为：Clinton,Willian.J public static …...
设计模式_迭代器模式
迭代器模式 介绍 设计模式定义案例迭代器模式行为型：关注对象与行为的分离 提供了一种统一的方式来访问多个不同的集合两个集合：使用了不同的数据存储方式 学生 和 警察 查询显示出集合的内容 ，使用相同的代码 问题堆积在哪里解决办法不同…...
【数据结构】：栈的实现
1 栈 1.1栈的概念及结构 栈：一种特殊的线性表，其只允许在固定的一端进行插入和删除元素操作。进行数据插入和删除操作的一端称为栈顶，另一端称为栈底。栈中的数据元素遵守后进先出LIFO（Last In First Out）的原则 压栈…...
微前端一：技术选型
微前端是一种多个团队通过独立发布功能的方式来共同构建现代化 web 应用的技术手段及方法策略。 微前端架构具备以下几个核心价值： 1、技术栈无关 主框架不限制接入应用的技术栈，微应用具备完全自主权 2、独立开发、独立部署 微应用仓库独立࿰…...
FPGA project ： flash_continue_write
本实验学习了通过spi通信协议，驱动flash；完成连续写操作。 连续写： 本质上还是页编程指令，两种连续写的方式： 1，每次只写1byte的数据。 2，每次写满1页数据，计算剩余数据够不够写…...
论文阅读：Rethinking Range View Representation for LiDAR Segmentation
来源ICCV2023 0、摘要 LiDAR分割对于自动驾驶感知至关重要。最近的趋势有利于基于点或体素的方法，因为它们通常产生比传统的距离视图表示更好的性能。在这项工作中，我们揭示了建立强大的距离视图模型的几个关键因素。我们观察到，“多对一”…...
本地配置免费的https咋做？
大家好这里是tony4geek。 今天和公司的小伙伴对接项目，因为涉及到https的权限调用。所以在服务器本地localhost 要配置https用来测试 。现在把过程中遇到的问题记录下来。 • 因为是测试用所以生成https的证书用免费的就可以了。 openssl req -x509 -nodes -days …...
微信小程序框架---详细教程
🎬 艳艳耶✌️：个人主页 🔥 个人专栏 ：《Spring与Mybatis集成整合》《Vue.js使用》 ⛺️ 越努力 ，越幸运。 目录 1.框架 1.1响应的数据绑定 1.2.页面管理 1.3.基础组件 1.4.丰富的 API 2.视图层 View 2.1.介绍 …...
【LeetCode刷题（数组and排序）】：存在重复元素
给你一个整数数组 nums 。如果任一值在数组中出现 至少两次 ，返回 true ；如果数组中每个元素互不相同，返回 false 示例 1： 输入：nums [1,2,3,1] 输出：true 示例 2： 输入：nums [1,2…...
半导体产业链解析：晶圆厂、无晶圆厂与代工厂的比较与作用
半导体产业一直是全球科技发展的关键驱动力，在半导体产业中，晶圆厂、无晶圆厂公司和代工厂是三个重要的参与者。它们在产业环节、生产方式、经营模式和市场竞争等方面存在一些显著差异。本文将探讨半导体晶圆厂、无晶圆厂公司和代工厂之间的区别…...
Apipost一键压测已支持导入CSV文件
最近更新中Apipost对UI页面进行了一些调整，另外一键压测功能支持参数化！本篇文章将详细介绍这些改动！ API调试页面的细节改动 在请求区填入请求参数或脚本时会有相应的标识 如在Query中填入多个参数时上方会展示数量 在预、后执行脚本中写…...
RabbitMQ的5种模式——再探RabbitMQ的模式，简单、工作，发布订阅（广播），路由、主题 页面分析
前言 RabbitMQ作为一款常用的消息中间件，在微服务项目中得到大量应用，其本身是微服务中的重点和难点，有不少概念我自己的也是一知半解，本系列博客尝试结合实际应用场景阐述RabbitMQ的应用，分析其为什么使用࿰…...
初识华为云数据库GaussDB for openGauss
01 前言 GaussDB是华为自主创新研发的分布式关系型数据库。该产品具备企业级复杂事务混合负载能力，同时支持分布式事务，同城跨AZ部署，数据0丢失，支持1000的扩展能力，PB级海量存储。同时拥有云上高可用，高可…...
深圳寄包裹到德国
深圳，作为全球最发达的城市之一，以其高效的物流服务在全球范围内享有盛名。如果你正在寻找一种方式将包裹从深圳寄送到德国，那么本文将为你提供详细的步骤和建议。 第一步：了解国际邮寄的基本信息 首先，你需要了解包裹…...
Redis篇)
系统架构师备考倒计时22天(每日知识点)Redis篇
Redis篇 1.Redis与Memcache能力对比 工作MemCacheRedis数据类型简单 key/value 结构丰富的数据结构持久性不支持支持分布式存储客户端哈希分片/一致性哈希多种方式，主从、Sentinel、Cluster 等多线程支持支持支持(Redis5.0及以前版本不支持)内存管理私有内存池/内…...
，库存水平(inventory level)，库存位置(inventory position))
现有库存(on-hand inventory)，库存水平(inventory level)，库存位置(inventory position)
库存管理中，这几个名词特别容易混，干脆写一篇博客总结下。 现有库存(on-hand inventory)，是指持有的真实库存量 库存水平(inventory level)，现有库存减去延迟交付的订单 inventory level on-hand inventory − backorder quant…...
智慧空开让用电更安全、管理更智能——电脑APP远程控制开合闸
安科瑞 崔丽洁 01 什么是低压断路器？低压断路器的定义是：能够接通、承载及分断正常电路条件下的电流，也能在规定的非正常电路条件（过载、短路、特别是短路）下接通、承载一定时间和分断电流的开关电器。 断路器的分类&…...
SpringBoot-17-MyBatis动态SQL标签之常用标签
文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…...
【Java学习笔记】Arrays类
Arrays 类 1. 导入包：import java.util.Arrays 2. 常用方法一览表 方法描述Arrays.toString()返回数组的字符串形式Arrays.sort()排序（自然排序和定制排序）Arrays.binarySearch()通过二分搜索法进行查找（前提：数组是…...
前端导出带有合并单元格的列表
// 导出async function exportExcel(fileName "共识调整.xlsx") {// 所有数据const exportData await getAllMainData();// 表头内容let fitstTitleList [];const secondTitleList [];allColumns.value.forEach(column > {if (!column.children) {fitstTitleL…...
Psychopy音频的使用
Psychopy音频的使用 本文主要解决以下问题： 指定音频引擎与设备；播放音频文件 本文所使用的环境： Python3.10 numpy2.2.6 psychopy2025.1.1 psychtoolbox3.0.19.14 一、音频配置 Psychopy文档链接为Sound - for audio playback — Psy…...
CMake控制VS2022项目文件分组
我们可以通过 CMake 控制源文件的组织结构，使它们在 VS 解决方案资源管理器中以“组”（Filter）的形式进行分类展示。 🎯 目标 通过 CMake 脚本将 .cpp、.h 等源文件分组显示在 Visual Studio 2022 的解决方案资源管理器中。 ✅ 支持的方法汇总（共4种） 方法描述是否推荐…...
【碎碎念】宝可梦 Mesh GO : 基于MESH网络的口袋妖怪 宝可梦GO游戏自组网系统
目录 游戏说明《宝可梦 Mesh GO》 —— 局域宝可梦探索Pokmon GO 类游戏核心理念应用场景Mesh 特性 宝可梦玩法融合设计游戏构想要素1. 地图探索（基于物理空间 广播范围）2. 野生宝可梦生成与广播3. 对战系统4. 道具与通信5. 延伸玩法 安全性设计 技术选…...
宇树科技，改名了！
提到国内具身智能和机器人领域的代表企业，那宇树科技（Unitree）必须名列其榜。 最近，宇树科技的一项新变动消息在业界引发了不少关注和讨论，即： 宇树向其合作伙伴发布了一封公司名称变更函称，因…...
NPOI操作EXCEL文件 ——CAD C# 二次开发
缺点:dll.版本容易加载错误。CAD加载插件时，没有加载所有类库。插件运行过程中用到某个类库，会从CAD的安装目录找，找不到就报错了。 【方案2】让CAD在加载过程中把类库加载到内存 【方案3】是发现缺少了哪个库，就用插件程序加载进…...
详细解析)
Caliper 负载(Workload)详细解析
Caliper 负载(Workload)详细解析 负载(Workload)是 Caliper 性能测试的核心部分，它定义了测试期间要执行的具体合约调用行为和交易模式。下面我将全面深入地讲解负载的各个方面。 一、负载模块基本结构 一个典型的负载模块(如 workload.js)包含以下基本结构： use strict;/…...
华为OD机试-最短木板长度-二分法(A卷,100分)
此题是一个最大化最小值的典型例题， 因为搜索范围是有界的，上界最大木板长度补充的全部木料长度，下界最小木板长度； 即left0,right10^6; 我们可以设置一个候选值x(mid)，将木板的长度全部都补充到x，如果成功…...