2022最新版-李宏毅机器学习深度学习课程-P13 局部最小值与鞍点
一、优化失败的原因
局部最小值？鞍点？
二、数学推导分析
用泰勒公式展开
一项与梯度（L的一阶导）有关，一项与海赛矩阵（L的二阶导）有关
海瑟矩阵
VTHV通过海瑟矩阵的性质可以转为判断H是否是正定的 来判断
- H正定=所有特征值为正=局部最小值
- H负定=所有特征值为负=局部最大值
- 有些特征值为正，有些为负=鞍点
例子
计算导数和海瑟矩阵的特征值
如果遇到鞍点，可以通过特征值来判断减小LOSS的方向：特征值为负的方向
其实局部最小值很少见，一升维，可能你碰上的就是个鞍点！
实验验证
注意这个方法肯定不是梯度下降法做的，做不出来，自己本身儿还一堆毛病呢。
纵轴：损失大小
横轴：局部最小值的比例=负特征值/全部特征值
解决梯度太小被困住的问题。。。下一小节：动量！
相关文章：
2022最新版-李宏毅机器学习深度学习课程-P13 局部最小值与鞍点
一、优化失败的原因 局部最小值？鞍点？ 二、数学推导分析 用泰勒公式展开 一项与梯度（L的一阶导）有关，一项与海赛矩阵（L的二阶导）有关 海瑟矩阵 VTHV通过海瑟矩阵的性质可以转为判断H是否是正…...
ARM架构的基本知识
ARM两种授权 体系结构授权, 一种硬件规范, 用来约定指令集, 芯片内部体系结构(内存管理, 高速缓存管理), 只约定每一条指令的格式, 行为规范, 参数, 客户根据这个规范自行设计与之兼容的处理器处理IP授权, ARM公司根据某个版本的体系结构设计处理器, 再把处理器设计方案授权给…...
网络安全（黑客技术）——如何高效自学
前言 前几天发布了一篇 网络安全（黑客）自学 没想到收到了许多人的私信想要学习网安黑客技术！却不知道从哪里开始学起！怎么学？如何学？ 今天给大家分享一下，很多人上来就说想学习黑客，…...
云原生场景下高可用架构的最佳实践
作者：刘佳旭（花名：佳旭），阿里云容器服务技术专家 引言 随着云原生技术的快速发展以及在企业 IT 领域的深入应用，云原生场景下的高可用架构，对于企业服务的可用性、稳定性、安全性越发重要。通…...
图论-最短路径算法-弗洛伊德算法与迪杰斯特拉算法
弗洛伊德算法： 弗洛伊德算法本质是动态规划，通过添加点进如可选择的点组成的集合的同时更新所有点之间的距离，从而得到每两个点之间的最短距离。 初始化： 创建一个二维数组 dist，其中 dist[i][j] 表示从节点 i 到节点…...
[23] IPDreamer: Appearance-Controllable 3D Object Generation with Image Prompts
pdf Text-to-3D任务中，对3D模型外观的控制不强，本文提出IPDreamer来解决该问题。在NeRF Training阶段，IPDreamer根据文本用ControlNet生成参考图，并将参考图作为Zero 1-to-3的控制条件，用基于Zero 1-to-3的SDS损失生成…...
深入理解React中的useEffect钩子函数
引言： React是一种流行的JavaScript库，它通过组件化和声明式编程的方式简化了前端开发。在React中，一个核心概念是组件的生命周期，其中包含了许多钩子函数，用于管理组件的不同阶段。其中之一就是useEffect钩子函数&…...
数字化时代的财务管理：挑战与机遇
导语：随着数字化技术的不断发展，财务管理正面临着前所未有的挑战和机遇。数字化不仅改变了财务数据的收集、处理和分析方式，还为财务决策提供了更多的依据和方向。本文将探讨数字化时代财务管理的新特点，以及如何利用数字化技术提…...
网络通信协议-HTTP、WebSocket、MQTT的比较与应用
在今天的数字化世界中，各种通信协议起着关键的作用，以确保信息的传递和交换。HTTP、WebSocket 和 MQTT 是三种常用的网络通信协议，它们各自适用于不同的应用场景。本文将比较这三种协议，并探讨它们的主要应用领域。 HTTPÿ…...
【深度学习】深度学习实验四——循环神经网络（RNN）、dataloader、长短期记忆网络（LSTM）、门控循环单元（GRU）、超参数对比
一、实验内容 实验内容包含要进行什么实验，实验的目的是什么，实验用到的算法及其原理的简单介绍。 1.1 循环神经网络 （1）理解序列数据处理方法，补全面向对象编程中的缺失代码，并使用torch自带数据工具将数据封装为dataloader。 （2）分别采用手动方式以及调用接口方式…...
DB2分区表详解
一、分区表基本概念 当表中的数据量不断增大，查询数据的速度就会变慢，应用程序的性能就会下降，这时就应该考虑对表进行分区。分区后的表称为分区表。 表进行分区后，逻辑上表仍然是一张完整的表，只是将表中的数据在物理上存放到多个“表空间”(物理文件上)，这样查询数据时…...
基本地址变换机构
基本地址变换机构：用于实现逻辑地址到物理地址转换的一组硬件机构。 关于页号页表的定义，放个本人的传送门 1.页表寄存器 基本地址变换机构可以借助进程的页表将逻辑地址转换为物理地址。 1.作用 通常会在系统中设置一个页表寄存器（PTR&…...
以单颗CMOS摄像头重构三维场景，维悟光子发布单目红外3D成像模组
维悟光子近期发布全新单目红外3D成像模组，现可提供下游用户进行测试导入。通过结合微纳光学元件编码和人工智能算法解码，维悟光子单目红外3D成像模组采用单颗摄像头，通过单帧拍摄，可同时获取像素级配准的3D点云和红外图像信息，可被应用于机器人、生物识别等广阔领域。 市场…...
Jinja2模板注入 | python模板注入特殊属性 / 对象讲解
在进行模板利用的时候需要使用特殊的属性和对象进行利用，这里对这些特殊属性及方法进行讲解 以下实验输出python3版本为 3.10.4， python2版本为 2.7.13 特殊属性 __class__ 类实例上使用，它用于获取该实例对应的类__base__ 用于获取父类__mr…...
一致性公式证明
首先，假设存在两个不同的聚类假设 f 1 f^1 f1和 f 2 f^2 f2，它们在两个视角上的聚类结果分别为 y 1 ∈ { − 1 , 1 } n y^1\in\{-1,1\}^n y1∈{−1,1}n和 y 2 ∈ { − 1 , 1 } n y^2\in\{-1,1\}^n y2∈{−1,1}n。 证明一致性不等式： …...
allegro中shape的一些基本操作（一）——添加和修改shape
添加shape 简单添加shape的方式有3种，如下图所示 点击选择相应的shape模式后可以在option面板中设置相应的shape参数（这里不做过多介绍，里面可以设置shape的大小、静态或动态shape等参数），然后再用鼠标在相应的层上添…...
HBuilder创建uniapp默认项目导入uview（胎教）
1：更新HBuilder 建议更新 2：更新插件 我本人在没有更新插件的情况下报错了，找到了**这个大佬**解决问题，所以建议更新插件 先卸载uni-app（Vue2）编译 再重新安装 uni-app（Vue2）…...
C语言基础算法复习
003 斐波那契数列问题 #include<stdio.h> int main() {int i,f11,f21,f3,num;printf("%5d %5d",f1,f2);num2;for(i1; i<18; i){f3f1f2;f1f2;f2f3;num;printf("%5d",f3);if(num%40) printf("\n");}return 0; }//#输数斐波那契数列的前20…...
PyQt界面里如何加载本地视频以及调用摄像头实时检测（小白入门必看）
目录 1.PyQt介绍 2.代码实现 2.1实时调用摄像头 2.2 使用YOLOv5推理 2.3 代码中用到的主要函数 1.PyQt介绍 PyQt是一个用于创建桌面应用程序的Python绑定库，它基于Qt框架。Qt是一个跨平台的C应用程序开发框架，提供了丰富的图形界面、网络通信、数据…...
Ubuntu：VS Code IDE安装ESP-IDF【保姆级】
物联网开发学习笔记——目录索引 参考： VS Code官网：Visual Studio Code - Code Editing. Redefined 乐鑫官网：ESP-IDF 编程指南 - ESP32 VSCode ESP-ID Extension Install 一、前提条件 Visual Studio Code IDE安装ESP-IDF扩展&…...
web vue 项目 Docker化部署
Web 项目 Docker 化部署详细教程 目录 Web 项目 Docker 化部署概述Dockerfile 详解 构建阶段生产阶段 构建和运行 Docker 镜像 1. Web 项目 Docker 化部署概述 Docker 化部署的主要步骤分为以下几个阶段： 构建阶段（Build Stage）：…...
AI Agent与Agentic AI：原理、应用、挑战与未来展望
文章目录 一、引言二、AI Agent与Agentic AI的兴起2.1 技术契机与生态成熟2.2 Agent的定义与特征2.3 Agent的发展历程 三、AI Agent的核心技术栈解密3.1 感知模块代码示例：使用Python和OpenCV进行图像识别 3.2 认知与决策模块代码示例：使用OpenAI GPT-3进…...
相机Camera日志实例分析之二：相机Camx【专业模式开启直方图拍照】单帧流程日志详解
【关注我，后续持续新增专题博文，谢谢！！！】 上一篇我们讲了： 这一篇我们开始讲： 目录 一、场景操作步骤 二、日志基础关键字分级如下 三、场景日志如下： 一、场景操作步骤 操作步…...
安宝特方案丨XRSOP人员作业标准化管理平台：AR智慧点检验收套件
在选煤厂、化工厂、钢铁厂等过程生产型企业，其生产设备的运行效率和非计划停机对工业制造效益有较大影响。 随着企业自动化和智能化建设的推进，需提前预防假检、错检、漏检，推动智慧生产运维系统数据的流动和现场赋能应用。同时，…...
PPT|230页| 制造集团企业供应链端到端的数字化解决方案：从需求到结算的全链路业务闭环构建
制造业采购供应链管理是企业运营的核心环节，供应链协同管理在供应链上下游企业之间建立紧密的合作关系，通过信息共享、资源整合、业务协同等方式，实现供应链的全面管理和优化，提高供应链的效率和透明度，降低供应链的成…...
无法与IP建立连接，未能下载VSCode服务器
如题，在远程连接服务器的时候突然遇到了这个提示。 查阅了一圈，发现是VSCode版本自动更新惹的祸！！！ 在VSCode的帮助->关于这里发现前几天VSCode自动更新了，我的版本号变成了1.100.3 才导致了远程连接出…...
在 Nginx Stream 层“改写”MQTT ngx_stream_mqtt_filter_module
1、为什么要修改 CONNECT 报文？ 多租户隔离：自动为接入设备追加租户前缀，后端按 ClientID 拆分队列。零代码鉴权：将入站用户名替换为 OAuth Access-Token，后端 Broker 统一校验。灰度发布：根据 IP/地理位写…...
工程地质软件市场：发展现状、趋势与策略建议
一、引言 在工程建设领域，准确把握地质条件是确保项目顺利推进和安全运营的关键。工程地质软件作为处理、分析、模拟和展示工程地质数据的重要工具，正发挥着日益重要的作用。它凭借强大的数据处理能力、三维建模功能、空间分析工具和可视化展示手段&…...
ServerTrust 并非唯一
NSURLAuthenticationMethodServerTrust 只是 authenticationMethod 的冰山一角 要理解 NSURLAuthenticationMethodServerTrust, 首先要明白它只是 authenticationMethod 的选项之一, 并非唯一 1 先厘清概念 点说明authenticationMethodURLAuthenticationChallenge.protectionS…...
音视频——I2S 协议详解
I2S 协议详解 I2S (Inter-IC Sound) 协议是一种串行总线协议，专门用于在数字音频设备之间传输数字音频数据。它由飞利浦（Philips）公司开发，以其简单、高效和广泛的兼容性而闻名。 1. 信号线 I2S 协议通常使用三根或四根信号线&a…...