机器学习和深度学习 -- 李宏毅（笔记与个人理解）Day 13
Day13 Error surface is rugged……
Tips for training :Adaptive Learning Rate
critical point is not the difficult
Root mean Square --used in Adagrad
这里为啥是前面的g的和而不是直接只除以当前呢?
这种方法的目的是防止学习率在训练过程中快速衰减。如果只用当前的梯度值来更新学习率，那么任何较大的梯度值都可能会导致很大的学习率变化，这可能会使得学习过程不稳定。通过使用所有过去梯度的平方的平均值，我们可以使学习率的变化更加平滑，因为这个值不会因为个别极端的梯度值而发生剧烈波动。
以及这个式子和之前讲的那个正则化是不是一样的呢？
啊！！！woc 我发现这两个是差不多的思想啊，你把上面那个正则化的东西用Gradient做出来
gi = 2xw+ ∑ \sum ∑ 2w…… 额……好吧完全不一样，但是我又不知道这个会不会对于我的……废了，乱了；稳一稳哈
- 这里为什么不是让这个梯度直接等于0 呢？-- 或许是因为有的loss function 我们无法直接求出来梯度等于0 的w？哦哦 那我就知道了md 吓死，差点以为自己的machine Learning route ending了
RMSProp
因为上一个方法只能解决 不同的 θ \theta θ 时候的学习率，但是由图我们可以知道有时候同一个参数我们也希望起有变化率的不同取值
我怎么没看出来这种思想啊
解决井喷问题
在bert里面需要用到
SUmmary of OPtimization
下节预告：
相关文章：
机器学习和深度学习 -- 李宏毅（笔记与个人理解）Day 13
Day13 Error surface is rugged…… Tips for training :Adaptive Learning Rate critical point is not the difficult Root mean Square --used in Adagrad 这里为啥是前面的g的和而不是直接只除以当前呢? 这种方法的目的是防止学习率在训练过程中快速衰减。如果只用当前的…...
[Python图像识别] 五十二.水书图像识别 (2)基于机器学习的濒危水书古文字识别研究
该系列文章是讲解Python OpenCV图像处理知识，前期主要讲解图像入门、OpenCV基础用法，中期讲解图像处理的各种算法，包括图像锐化算子、图像增强技术、图像分割等，后期结合深度学习研究图像识别、图像分类应用。目前我进入第二阶段Python图像识别，该部分主要以目标检测、图像…...
Jmeter针对多种响应断言的判断
有时候response返回的结果并非一种，有多种，需要对这几种进行判断的时候需要使用Bean Shell。 （1）首先获取响应数据 String response prev.getResponseDataAsString(); ResponseCode 响应状态码 responseHeaders 响应头信息 res…...
Harmony鸿蒙南向驱动开发-Regulator接口使用
功能简介 Regulator模块用于控制系统中某些设备的电压/电流供应。在嵌入式系统（尤其是手机）中，控制耗电量很重要，直接影响到电池的续航时间。所以，如果系统中某一个模块暂时不需要使用，就可以通过Regulato…...
【opencv】示例-grabcut.cpp 使用OpenCV库的GrabCut算法进行图像分割
left mouse button - set rectangle SHIFTleft mouse button - set GC_FGD pixels CTRLleft mouse button - set GC_BGD pixels 这段代码是一个使用OpenCV库的GrabCut算法进行图像分割的C程序。它允许用户通过交互式方式选择图像中的一个区域，并利用GrabCut算法尝试…...
GEE数据集——巴基斯坦国家级土壤侵蚀数据集（2005 年和 2015 年）
简介 巴基斯坦国家级土壤侵蚀数据集（2005 年和 2015 年） 该数据集采用修订的通用土壤流失方程 (RUSLE)，并考虑了六个关键影响因素：降雨侵蚀率 (R)、土壤可侵蚀性 (K)、坡长 (L)、坡陡 (S)、覆盖管理 (C) 和保护措施 (P)ÿ…...
服务器代理
服务器代理 配置：64G内存1 3090（24g）1P4000（8g） SSH连接 工作路径：/home/ubuntu/workspace/python Anaconda路径：/home/Ubuntu 1.在工作路径下创建自己的文件夹作为workspace 2.以用户ubunbtu登…...
【SGDR】《SGDR：Stochastic Gradient Descent with Warm Restarts》
arXiv-2016 code: https://github.com/loshchil/SGDR/blob/master/SGDR_WRNs.py 文章目录 1 Background and Motivation2 Related Work3 Advantages / Contributions4 Method5 Experiments5.1 Datasets and Metric5.2 Single-Model Results5.3 Ensemble Results5.4 Experiment…...
如何将arping以及所有依赖打包安装到另外一台离线ubuntu机器
ubuntu系统下可以使用arping命令检测局域网内一些ip是否冲突，使用方式为： arping xx.xx.xx.xx 在线情况下，可以使用下面命令下载arping，然后使用即可 apt install arping 但是有些情况下机器可能不能上网，这时就需要将…...
mac上如何安装python3
mac上如何安装python3？ 安装homebrew 在终端执行命令 /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 执行完成后，homebrew和pip等工具就自动安装好了。 接下来安装python3.在终端…...
Java 那些诗一般的 数据类型 (下篇)
本篇会加入个人的所谓鱼式疯言 ❤️❤️❤️鱼式疯言:❤️❤️❤️此疯言非彼疯言 而是理解过并总结出来通俗易懂的大白话, 小编会尽可能的在每个概念后插入鱼式疯言,帮助大家理解的. 🤭🤭🤭可能说的不是那么严谨.但小编初心是能让更多人能接…...
WEB3.0：互联网的下一阶段
随着互联网的发展，WEB3.0时代正在逐步到来。本文将深入探讨WEB3.0的定义、特点、技术应用以及未来展望，为读者带来全新的思考。 一、什么是WEB3.0？ WEB3.0可以被理解为互联网发展的下一阶段，是当前WEB2.0的升级版。相较于2.0时代…...
Fastgpt配合chatglm+m3e或ollama+m3e搭建个人知识库
概述： 人工智能大语言模型是近年来人工智能领域的一项重要技术，它的出现标志着自然语言处理领域的重大突破。这些模型利用深度学习和大规模数据训练，能够理解和生成人类语言，为各种应用场景提供了强大的文本处理能力。AI大语言模…...
如何使用选择器精确地控制网页中每一个元素的样式？
1. 基础知识 什么是 CSS 元素选择器 CSS 元素选择器是一种在网页中通过元素类型来应用样式的方法。 简单来说，它就像是一个指挥棒，告诉浏览器哪些 HTML 元素需要应用我们定义的 CSS 样式规则。 为何要使用 CSS 元素选择器 使用元素选择器可以让我们…...
各个微前端框架的优劣浅谈
各个微前端框架都有其独特的优势和劣势，下面我将针对几个主流的微前端框架进行简要的优劣分析： single-spa 优势： 轻量级：single-spa是一个非常轻量级的微前端框架，它主要提供了一个加载和管理微应用的机制，…...
自动化运维（二十二）Ansible实战 之Jenkins模块
Ansible提供了一些模块,可以用来与Jenkins进行交互,执行各种操作,如创建任务、触发构建、获取构建结果等。通过使用这些模块,我们可以将Jenkins的配置和管理集成到Ansible的自动化流程中。 以下是一些常用的Ansible Jenkins模块: 1、jenkins_job模块 jenkins_job模块用于创建…...
Python数据分析与应用 |第4章 使用pandas进行数据预处理 （实训）
表1-1healthcare-dataset-stroke.xlsx 部分中风患者的基础信息和体检数据 编号性别高血压是否结婚工作类型居住类型体重指数吸烟史中风9046男否是私人城市36.6以前吸烟是51676女否是私营企业农村N/A从不吸烟是31112男否是私人农村32.5从不吸烟...
基于双向长短期神经网络BILSTM的线损率预测，基于gru的线损率预测
目录 背影 摘要 LSTM的基本定义 LSTM实现的步骤 BILSTM神经网络 基于双向长短期神经网络BILSTM的线损率预测，基于gru的线损率预测 完整代码：基于双向长短期神经网络BILSTM的线损率预测，基于gru的线损率预测（代码完整，数据齐全）资源-CSDN文库 https://download.csdn.net/d…...
智能售货机：引领便捷生活
智能售货机：引领便捷生活 在这个科技迅速进步的时代，便捷已成为生活的必需。智能售货机作为技术与便利完美结合的产物，正逐渐改变我们的购物方式，为都市生活增添新的活力。 智能售货机的主要优势是它的极致便利性。不论是在地铁…...
正向代理和反向代理
正向代理和反向代理是网络中常见的两种代理方式，它们在网络通信中扮演着不同的角色。 正向代理： 正向代理是代理服务器位于客户端和目标服务器之间的一种代理方式。 客户端向代理服务器发送请求，然后代理服务器将请求转发给目标服务器&…...
ubuntu搭建nfs服务centos挂载访问
在Ubuntu上设置NFS服务器 在Ubuntu上，你可以使用apt包管理器来安装NFS服务器。打开终端并运行： sudo apt update sudo apt install nfs-kernel-server创建共享目录 创建一个目录用于共享，例如/shared： sudo mkdir /shared sud…...
day52 ResNet18 CBAM
在深度学习的旅程中，我们不断探索如何提升模型的性能。今天，我将分享我在 ResNet18 模型中插入 CBAM（Convolutional Block Attention Module）模块，并采用分阶段微调策略的实践过程。通过这个过程，我不仅提升…...
在HarmonyOS ArkTS ArkUI-X 5.0及以上版本中，手势开发全攻略：
在 HarmonyOS 应用开发中，手势交互是连接用户与设备的核心纽带。ArkTS 框架提供了丰富的手势处理能力，既支持点击、长按、拖拽等基础单一手势的精细控制，也能通过多种绑定策略解决父子组件的手势竞争问题。本文将结合官方开发文档，…...
Opencv中的addweighted函数
一.addweighted函数作用 addweighted（）是OpenCV库中用于图像处理的函数，主要功能是将两个输入图像（尺寸和类型相同）按照指定的权重进行加权叠加（图像融合），并添加一个标量值&#x…...
linux 错误码总结
1，错误码的概念与作用 在Linux系统中，错误码是系统调用或库函数在执行失败时返回的特定数值，用于指示具体的错误类型。这些错误码通过全局变量errno来存储和传递，errno由操作系统维护，保存最近一次发生的错误信息。值得注意的是，errno的值在每次系统调用或函数调用失败时…...
tree 树组件大数据卡顿问题优化
问题背景 项目中有用到树组件用来做文件目录，但是由于这个树组件的节点越来越多，导致页面在滚动这个树组件的时候浏览器就很容易卡死。这种问题基本上都是因为dom节点太多，导致的浏览器卡顿，这里很明显就需要用到虚拟列表的技术&…...
论文阅读笔记——Muffin: Testing Deep Learning Libraries via Neural Architecture Fuzzing
Muffin 论文 现有方法 CRADLE 和 LEMON，依赖模型推理阶段输出进行差分测试，但在训练阶段是不可行的，因为训练阶段直到最后才有固定输出，中间过程是不断变化的。API 库覆盖低，因为各个 API 都是在各种具体场景下使用。…...
TCP/IP 网络编程 | 服务端 客户端的封装
设计模式 文章目录 设计模式一、socket.h 接口（interface）二、socket.cpp 实现（implementation）三、server.cpp 使用封装（main 函数）四、client.cpp 使用封装（main 函数）五、退出方法…...
FTXUI::Dom 模块
DOM 模块定义了分层的 FTXUI::Element 树，可用于构建复杂的终端界面，支持响应终端尺寸变化。 namespace ftxui {...// 定义文档 定义布局盒子 Element document vbox({// 设置文本 设置加粗 设置文本颜色text("The window") | bold | color(…...
JavaScript 标签加载
目录 JavaScript 标签加载script 标签的 async 和 defer 属性，分别代表什么，有什么区别1. 普通 script 标签2. async 属性3. defer 属性4. type"module"5. 各种加载方式的对比6. 使用建议 JavaScript 标签加载 script 标签的 async 和 defer …...