当前位置： 首页 > news >正文

计算机视觉（五）深度学习基础

news 2025/10/22 6:11:11

文章目录

  • 深度学习基础
    • 卷积神经网络与传统神经网络区别
      • 深度学习与神经网络的区别
    • 目标函数
      • 选择合适的目标函数
      • Softmax层
    • 改进的梯度下降
      • 梯度消失的直观解释
      • 激活函数
      • 学习步长
      • SGD的问题
        • Momentum动量
        • Nesterov Momentum
        • Adagrad
        • RMSprop
        • Adam
      • 各种梯度下降算法比较
      • 关于算法选择的建议
      • Batch Normalization的由来
    • 避免过适应
        • 早期停止训练
        • 权重衰减
        • Dropout
          • 测试时权重应减小
  • CNN初步介绍
    • CNN的基本组件
      • CNN卷积层
      • CNN池化层
      • CNN-Softmax层
    • 池化层的误差反向传播
      • 卷积层计算![在这里插入图片描述](https://img-blog.csdnimg.cn/be682bd439e04b999fe2448259bf47e5.png)
      • 卷积层运算的展开表示
    • 卷积层的误差反向传播

深度学习基础

卷积神经网络与传统神经网络区别

深度学习与神经网络的区别

在这里插入图片描述

目标函数

选择合适的目标函数

在这里插入图片描述
在这里插入图片描述

Softmax层

在这里插入图片描述

改进的梯度下降

梯度消失的直观解释

在这里插入图片描述

激活函数

在这里插入图片描述
在这里插入图片描述

学习步长

在这里插入图片描述

SGD的问题

在这里插入图片描述
存在马鞍面，使我们的训练卡住，于是提出下面方法：

Momentum动量

在这里插入图片描述

Nesterov Momentum

在这里插入图片描述
先利用“惯性”，“走”一步。避免一开始，就被当前梯度带偏。

Adagrad

为不同的参数设置不同的学习步长。
在这里插入图片描述

RMSprop

改进的Adagrad。使：
小的可以变大，大的可以变小。
在这里插入图片描述

Adam

在这里插入图片描述

各种梯度下降算法比较

在这里插入图片描述
在这里插入图片描述

关于算法选择的建议

在这里插入图片描述

Batch Normalization的由来

在这里插入图片描述
在这里插入图片描述
量纲不同，需要进行归一化处理。

避免过适应

在这里插入图片描述

早期停止训练

在这里插入图片描述

权重衰减

在这里插入图片描述

Dropout

在这里插入图片描述

测试时权重应减小

在这里插入图片描述

CNN初步介绍

CNN的基本组件

在这里插入图片描述

CNN卷积层

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

CNN池化层

在这里插入图片描述
通道数没变，尺度大小变了。

CNN-Softmax层

在这里插入图片描述

池化层的误差反向传播

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

卷积层计算在这里插入图片描述

卷积层运算的展开表示

在这里插入图片描述
与全连接是有区别的。

卷积层的误差反向传播

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
转了180度

在这里插入图片描述
在这里插入图片描述
下面是残差在这里插入图片描述

下面是梯度·在这里插入图片描述

相关文章：

计算机视觉（五）深度学习基础

文章目录 深度学习基础卷积神经网络与传统神经网络区别深度学习与神经网络的区别 目标函数选择合适的目标函数Softmax层 改进的梯度下降梯度消失的直观解释激活函数学习步长SGD的问题Momentum动量Nesterov MomentumAdagradRMSpropAdam 各种梯度下降算法比较关于算法选择的建议B…...

编程日记 2023/8/1 14:48:22

ES6学习-Generator

Generator 种异步编程解决方案 函数会返回一个遍历器对象语法上:Generator 函数是一个状态机，封装了多个内部状态。形式上:Generator 函数是一个普通函数;有两个特征。一是，function关键字与函数名之间有一个星号；二是，函数体内部…...

编程日记 2023/8/1 14:47:21

Flowable-服务-微服务任务

目录 定义图形标记XML内容界面操作 定义 Sc 任务不是 BPMN 2.0 规范定义的官方任务，在 Flowable 中，Sc 任务是作为一种特殊的服务 任务来实现的，主要调用springcloud的微服务使用。 图形标记 由于 Sc 任务不是 BPMN 2.0 规范的“官方”任务…...

编程日记 2023/8/1 14:46:19

opencv03-补充-vector的操作

opencv03-补充-vector的操作 参考&#xff1a;https://www.runoob.com/w3cnote/cpp-vector-container-analysis.html 构造方法(具体介绍看API文档) class Student {public:private:string name;};int main() {vector<int>();vector<int> v1;vector<Student&g…...

编程日记 2023/8/1 14:45:17

二叉树(C语言)

文章目录 1.树1.1概念1.2相关定义1.3 表示&#xff08;左孩子右兄弟&#xff09; 2.二叉树2.1概念2.2特殊的二叉树1. 满二叉树&#xff1a;2. 完全二叉树&#xff1a; 2.3二叉树的性质2.4练习 3.二叉树的存储结构1. 顺序存储2. 链式存储 4.完全二叉树的代码实现4.1堆的介绍1.堆…...

编程日记 2023/8/1 14:44:16

介绍下Django中的表单（forms）模块中的类forms.CharField

在Django中&#xff0c;forms.CharField() 是用于定义表单字段的类&#xff0c;它属于 Django 的表单&#xff08;forms&#xff09;模块。CharField 是用于处理字符型数据的表单字段类。它允许用户在表单中输入文本数据&#xff0c;并对该数据进行验证和处理。 forms.CharFie…...

编程日记 2023/8/1 14:43:15

元宇宙与数字孪生的异同？

随着数字孪生和元宇宙两个概念的爆火&#xff0c;人们对这两个“异物”也越来越好奇&#xff0c;这都是什么意思&#xff1f;听起来都差不多&#xff0c;是一样的嘛&#xff1f;本文就用最简单的话语带大家了解一下二者之间的异同。 首先来说数字孪生和元宇宙的概念 数字孪生是…...

编程日记 2023/8/1 14:42:14

智慧农业：科技赋能农村发展

智慧农业发展前景灿烂多彩&#xff0c;正为农业带来新的转型升级。随着科技的不断发展&#xff0c;数字化、自动化和智能化技术逐渐渗透进农业领域&#xff0c;为农民提供了更多高效便捷的农业管理方式。智慧农业通过物联网、大数据、人工智能等先进技术&#xff0c;实现对农田…...

编程日记 2023/8/1 14:41:13

x86架构ubuntu22下运行WILL模拟器dophin

0. 环境 i5实体机ubuntu22 1. 安装依赖 $ sudo apt install build-essential git cmake ffmpeg libavcodec-dev libavformat-dev libavutil-dev libswscale-dev libevdev-dev libusb-1.0-0-dev libxrandr-dev libxi-dev libpangocairo-1.0-0 qt6-base-private-dev libblueto…...

编程日记 2023/8/1 14:39:09

Jvm的一些技巧

反编译字节码文件 找到对应的class文件所在的目录&#xff0c;使用javap -v -p 命令 查询运行中某个Java进程的Jvm参数 【案例】查询 MethodAreaDemo 这个类运行过程中&#xff0c;初始的元空间大小 MetaspaceSize jps 查询 Java 进程的进程ID 使用jinfo查看具体的参数&…...

编程日记 2023/8/1 14:38:08

8.docker仓库

文章目录 Docker仓库本地私有仓库Docker HarborDocker harbor部署访问页面创建用户下载私有仓库镜像harbor同步 Docker仓库 本地私有仓库 ##先下载 registry 镜像docker pull registry##修改配置文件&#xff0c;在 daemon.json 文件中添加私有镜像仓库地址vim /etc/dock…...

编程日记 2023/8/1 14:37:03

价值 1k 嵌入式面试题-计算机网络 OSI

开门见山 请讲下 OSI 各层协议的主要功能&#xff1f; 常见问题 回答不系统回答不确切无法和实际网络协议做关联对应 答题思路 OSI 代表了开放互联系统中信息从一台计算机的一个软件应用流到另一个计算机的另一个软件应用的参考模型 OSI 包含 7 层&#xff0c;每一层负责特…...

编程日记 2023/8/1 14:36:00

spring boot去除get post空格

1.用ControllerAdvice处理 package com.wangzs.handler;import com.fasterxml.jackson.core.JsonParser; import com.fasterxml.jackson.databind.DeserializationContext; import com.fasterxml.jackson.databind.deser.std.StdScalarDeserializer; import org.springframewo…...

编程日记 2023/8/1 14:34:59

设计模式四：单例模式(Singleton)

单例模式&#xff0c;是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例的特殊类。 通过单例模式可以保证系统中&#xff0c;应用该模式的类一个类只有一个实例。即一个类只有一个对象实例。 单例模式是设计模式中最简单的形式之一。这一模式的目的是使得类的一…...

编程日记 2023/8/1 14:33:57

《水经注地图服务》发布的影像数据如何在OsgEarth中调用

OsgEarth 是一个用于OpenSceneGraph (OSG)的可扩展地形渲染工具包&#xff0c;它是一个开源、高性能、3D 图形工具包。 只需创建一个简单的 XML 文件&#xff0c;将其指向您的图像、高程和矢量数据&#xff0c;将其加载到您最喜欢的 OSG 应用程序中&#xff0c;然后开始&#…...

编程日记 2023/8/1 14:32:56

css滤镜：drop-shadow

一、用法 drop-shadow( offset-x offset-y blur-radius spread-radius color ) offset-x&#xff1a;此参数设置图像的水平偏移。正值将创建右侧的偏移量&#xff0c;负值将创建左侧的偏移量。offset-y&#xff1a;此参数设置图像的垂直偏移。正值创建到底部的偏移量&#xff…...

编程日记 2023/8/1 14:31:53

java ThreadLocal

private ThreadLocal threadLocal new ThreadLocal(); threadLocal.set(0); (int) threadLocal.get(); 上面三行代码分别是定义、赋值和取值。 介绍&#xff1a; 我们只需要实例化对象一次&#xff0c;并且也不需要知道它是被哪个线程实例化。虽然所有的线程都能访问到这个T…...

编程日记 2023/8/1 14:30:50

MySQL高级篇第6章（索引的数据结构）

文章目录 1、为什么使用索引2、索引及其优缺点3、InnoDB中索引的推演4、MyISAM中的索引方案5、索引的代价6、MySQL数据结构选择的合理性 1、为什么使用索引 假如给数据使用 二叉树 这样的数据结构进行存储&#xff0c;如下图所示 2、索引及其优缺点 3、InnoDB中索引的推演 4、M…...

编程日记 2023/8/1 14:29:49

Unity 性能优化三：动画模块、物理模块

目录 动画模块 Mecanim 模块 1.1 Animator active的数量 1.1.1 Culling Mode 1.1.2 Optimize Gameobject 1.1.3 Apply Root Motion 1.1.4 Compute Skinning 1.1.5 Animator Initialize 1.2 Legacy动画 物理模块 2.1 物理更新次数 2.1 减少不必要的Collision 2.5 A…...

编程日记 2023/8/1 14:28:48

延迟函数

Destory函数&#xff1a; public static void Destroy(Object obj, [DefaultValue("0.0F")] float t); Invoke函数&#xff1a; public void Invoke(string methodName, float time); 挂个空物体测试一下&#xff1a; public class DelayTest : MonoBehaviour {…...

编程日记 2023/8/1 14:27:47

Chapter03-Authentication vulnerabilities

文章目录 1. 身份验证简介1.1 What is authentication1.2 difference between authentication and authorization1.3 身份验证机制失效的原因1.4 身份验证机制失效的影响 2. 基于登录功能的漏洞2.1 密码爆破2.2 用户名枚举2.3 有缺陷的暴力破解防护2.3.1 如果用户登录尝试失败次…...

编程新知 2025/10/19 5:08:35

【Python】 -- 趣味代码 - 小恐龙游戏

文章目录 文章目录 00 小恐龙游戏程序设计框架代码结构和功能游戏流程总结01 小恐龙游戏程序设计02 百度网盘地址00 小恐龙游戏程序设计框架 这段代码是一个基于 Pygame 的简易跑酷游戏的完整实现，玩家控制一个角色（龙）躲避障碍物（仙人掌和乌鸦）。以下是代码的详细介绍：…...

编程新知 2025/10/14 11:01:31

基于FPGA的PID算法学习———实现PID比例控制算法

基于FPGA的PID算法学习 前言一、PID算法分析二、PID仿真分析1. PID代码2.PI代码3.P代码4.顶层5.测试文件6.仿真波形 总结 前言 学习内容&#xff1a;参考网站&#xff1a; PID算法控制 PID即&#xff1a;Proportional&#xff08;比例&#xff09;、Integral&#xff08;积分&…...

编程新知 2025/10/8 22:39:15

css实现圆环展示百分比，根据值动态展示所占比例

代码如下 <view class""><view class"circle-chart"><view v-if"!!num" class"pie-item" :style"{background: conic-gradient(var(--one-color) 0%,#E9E6F1 ${num}%),}"></view><view v-else …...

编程新知 2025/10/13 17:57:31

centos 7 部署awstats 网站访问检测

一、基础环境准备&#xff08;两种安装方式都要做&#xff09; bash # 安装必要依赖 yum install -y httpd perl mod_perl perl-Time-HiRes perl-DateTime systemctl enable httpd # 设置 Apache 开机自启 systemctl start httpd # 启动 Apache二、安装 AWStats&#xff0…...

编程新知 2025/10/17 15:45:03

抖音增长新引擎：品融电商，一站式全案代运营领跑者

抖音增长新引擎&#xff1a;品融电商&#xff0c;一站式全案代运营领跑者 在抖音这个日活超7亿的流量汪洋中&#xff0c;品牌如何破浪前行&#xff1f;自建团队成本高、效果难控&#xff1b;碎片化运营又难成合力——这正是许多企业面临的增长困局。品融电商以「抖音全案代运营…...

编程新知 2025/10/19 7:02:34

Frozen-Flask ：将 Flask 应用“冻结”为静态文件

Frozen-Flask 是一个用于将 Flask 应用“冻结”为静态文件的 Python 扩展。它的核心用途是&#xff1a;将一个 Flask Web 应用生成成纯静态 HTML 文件&#xff0c;从而可以部署到静态网站托管服务上&#xff0c;如 GitHub Pages、Netlify 或任何支持静态文件的网站服务器。 &am…...

编程新知 2025/7/28 21:04:40

数据链路层的主要功能是什么

数据链路层&#xff08;OSI模型第2层&#xff09;的核心功能是在相邻网络节点&#xff08;如交换机、主机&#xff09;间提供可靠的数据帧传输服务&#xff0c;主要职责包括&#xff1a; &#x1f511; 核心功能详解&#xff1a; 帧封装与解封装 封装&#xff1a; 将网络层下发…...

编程新知 2025/6/16 23:36:50

算法笔记2

1.字符串拼接最好用StringBuilder&#xff0c;不用String 2.创建List<>类型的数组并创建内存 List arr[] new ArrayList[26]; Arrays.setAll(arr, i -> new ArrayList<>()); 3.去掉首尾空格...

编程新知 2025/10/19 9:16:47

使用Spring AI和MCP协议构建图片搜索服务

目录 使用Spring AI和MCP协议构建图片搜索服务 引言 技术栈概览 项目架构设计 架构图 服务端开发 1. 创建Spring Boot项目 2. 实现图片搜索工具 3. 配置传输模式 Stdio模式&#xff08;本地调用&#xff09; SSE模式&#xff08;远程调用&#xff09; 4. 注册工具提…...

编程新知 2025/10/13 8:04:38