深度学习05 ResNet残差网络
目录
传统卷积神经网络存在的问题
如何解决
批量归一化BatchNormalization, BN
残差连接方式
残差结构
ResNet网络
ResNet 网络是在 2015年 由微软实验室中的何凯明等几位大神提出，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名。
传统卷积神经网络存在的问题
神经网络都是通过卷积层和池化层的叠加组成的。 在实际的试验中发现，随着卷积层和池化层的叠加，学习效果不会逐渐变好，反而出现2个问题： 1、梯度消失和梯度爆炸 梯度消失：若每一层的误差梯度小于1，反向传播时，网络越深，梯度越趋近于0 梯度爆炸：若每一层的误差梯度大于1，反向传播时，网络越深，梯度越来越大 2、退化问题
如何解决
-
为了解决梯度消失或梯度爆炸问题
通过数据的预处理以及在网络中使用 BN（Batch Normalization）层来解决。
-
为了解决深层网络中的退化问题
人为地让神经网络某些层跳过下一层神经元的连接，隔层相连，弱化每层之间的强联系。
如图可以看到层数越多错误率越低
批量归一化BatchNormalization, BN
Batch Normalization目的：使所有的feature map满足均值为0，方差为1的分布规律
对每个传入的图片进行归一化后，将其传入卷积神经层进行处理后得到特征图，然后再对这个特征图进行归一化处理，处理完再次进入卷积层处理，输出的特征图再次进行归一化。
残差连接方式
residual结构使用了一种shortcut的连接方式，也可理解为捷径。让特征矩阵隔层相加，注意F(X)和X形状要相同，所谓相加是特征矩阵相同位置上的数字进行相加。
残差结构
ResNet一共有5种残差网络结构，18层、34层、50层、101层、152层
相关文章：
深度学习05 ResNet残差网络
目录 传统卷积神经网络存在的问题 如何解决 批量归一化BatchNormalization, BN 残差连接方式 残差结构 ResNet网络 ResNet 网络是在 2015年 由微软实验室中的何凯明等几位大神提出，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得CO…...
卷积神经网络CNN
目录 一、CNN概述 二、图像基础知识 三、卷积层 3.1 卷积的计算 3.2 Padding 3.3 Stride 3.4 多通道卷积计算 3.5 多卷积核卷积计算 3.6 特征图大小计算 3.7 Pytorch 卷积层API 四、池化层 4.1 池化计算 4.2 Stride 4.3 Padding 4.4 多通道池化计算 4.5 Pytorc…...
Android：播放Rtsp视频流的两种方式
一.SurfaceView Mediaplayer XML中添加SurfaceView: <SurfaceViewandroid:id"id/surface_view"android:layout_width"match_parent"android:layout_height"match_parent"/> Activity代码： package com.android.rtsp;impor…...
web信息泄露 ctfshow-web入门web1-web10
01做题思路 判断做题的思路是读取，写入，还是执行判断大概的类型，有登录逻辑就尝试sql注入，有下载逻辑就尝试文件读取，有源码就做源码审计 02信息泄露及利用 robots.txt 以ctfshow的web1为例，访问robots…...
Log4j在Spring项目中的应用与实践
在现代Java开发中，日志记录是不可或缺的一部分。它不仅帮助开发者调试和监控应用程序的运行状态，还能在出现问题时快速定位原因。今天，我们就来探讨如何在Spring项目中使用Log4j进行日志管理，并通过具体的实例来展示其强大的功能。…...
docker安装mysql:8.0
1.docker源 目前docker国内的源基本上用不了了，建议去淘宝找一找，我整了一个大概是10R一个月。 2.拉取镜像 docker pull mysql:8.0 3.启动容器 命令如下： docker run \-p 3306:3306 \-e MYSQL_ROOT_PASSWORD123456 \-v /home/data/mysq…...
搭建一个 Spring Boot 项目，解决jdk与springboot版本不匹配
搭建一个 Spring Boot 项目 方式一：使用 Spring Initializr Spring Initializr 是一个基于 Web 的工具，用于快速生成 Spring Boot 项目的基础结构。 访问 Spring Initializr 网站：https://start.spring.io/配置项目信息： …...
心心相系：十颗心
心心相系：十颗心 【1】心脏；人心，热心 heart //注：h-通c-或k- warmhearted a.热心的，热心肠的；亲切的a warm-hearted person 为人古道热肠 词根cardi(o)-(heart)，例词：cardiology(…...
ChatGPT行业热门应用提示词案例-AI绘画类
AI 绘画指令是一段用于指导 AI 绘画工具（如 DALLE、Midjourney 等）生成特定图像的文本描述。它通常包含场景、主体、风格、色彩、氛围等关键信息，帮助 AI 理解创作者的意图，从而生成符合要求的绘画作品。 ChatGPT 拥有海量的知识…...
前端面试手写--虚拟列表
目录 一.问题背景 二.代码讲解 三.代码改装 四.代码发布 今天我们来学习如何手写一个虚拟列表,本文将把虚拟列表进行拆分并讲解,然后发布到npm网站上. 一.问题背景 为什么需要虚拟列表呢?这是因为在面对大量数据的时候,我们的浏览器会将所有数据都渲染到表格上面,但是渲…...
达梦数据库针对慢SQL，收集统计信息清除执行计划缓存
前言：若遇到以下场景，大概率是SQL走错了执行计划： 1、一条SQL在页面上查询特别慢，但拿到数据库终端执行特别快 2、一条SQL在某种检索条件下查询特别慢，但拿到数据库终端执行特别快 此时，可以尝试按照下述步…...
李沐--动手学深度学习 序列模型
1.使用正弦函数和可加性噪声生成序列数据 import torch from torch import nn from d2l import torch as d2l#使用正弦函数和可加性噪声生成序列数据 T 1000 #总共产生1000个点 time torch.arange(1,T1,dtypetorch.float32) x torch.sin(0.01*time) torch.normal(0,0.2,(…...
数据分析、商业智能、业务分析三者之间的关系
商业智能 (Business Intelligence, BI)、业务分析 (Business Analytics, BA) 和数据分析 (Data Analytics, DA) 三者都与数据密切相关，但在目标、方法和应用上存在差异。为了能够清晰地解释，下面将从定义入手，然后阐述它们之间的联系和区别。…...
【Spring+MyBatis】留言墙的实现
目录 1. 添加依赖 2. 配置数据库 2.1 创建数据库与数据表 2.2 创建与数据库对应的实体类 3. 后端代码 3.1 目录结构 3.2 MessageController类 3.3 MessageService类 3.4 MessageMapper接口 4. 前端代码 5. 单元测试 5.1 后端接口测试 5.2 使用前端页面测试 在Spri…...
让编程变成一种享受-明基RD320U显示器
引言 作为一名有着多年JAVA开发经验的从业者，在工作过程中，显示器的重要性不言而喻。它不仅是我们与代码交互的窗口，更是影响工作效率和体验的关键因素。在多年的编程生涯中，我遇到过各种各样的问题。比如，在进行代码…...
函数)
【嵌入式Linux应用开发基础】fork()函数
目录 一、fork 函数概述 1.1. 函数作用 1.2. 函数原型与头文件 1.3. 返回值 1.4. 核心特性 二、父子进程的区别与联系 2.1. 相同点 2.2. 不同点 三、典型应用场景 3.1. 多任务处理 3.2. 守护进程创建 3.3. 执行外部程序 3.4. 并行计算 四、fork 函数的关键注意事…...
2024 年 CSDN 博客之星年度评选：技术创作与影响力的碰撞（统计时间2025-02-17 11:06:06）
摘要：在技术的海洋里，每一位博主都像是一座独特的灯塔，用自己创作的光芒照亮他人前行的道路。2024 年 CSDN 博客之星年度评选活动，正是对这些灯塔的一次盛大检阅，让我们看到了众多优秀博主在技术创作领域的卓越表现以及…...
串的基本操作--数据结构
目录 一、串的基本概述 二、串的存储结构 2.1定义属性存储结构 串长有两种表示方法: 1、用一个额外的变量length来存放串的长度； 2、串值后面加一个不计入串长的结束标记字符“\0”，此时的串长为隐含值。 2.2堆的顺序存储结构 三、串的基本操…...
Unity 命令行设置运行在指定的显卡上
设置运行在指定的显卡上 -force-device-index...
Dest1ny漏洞库: 美团代付微信小程序系统任意文件读取漏洞
大家好，今天是Dest1ny漏洞库的专题！！ 会时不时发送新的漏洞资讯！！ 大家多多关注，多多点赞！！！ 0x01 产品简介 美团代付微信小程序系统是美团点评旗下的一款基于微信小程…...
从龙格现象到模型选择：给算法新手的防过拟合实战指南
从龙格现象到模型选择：给算法新手的防过拟合实战指南 在机器学习的世界里，我们常常被一个看似矛盾的困境所困扰：为什么在训练数据上表现近乎完美的模型，在实际应用中却频频出错？这种现象并非现代算法独有，早…...
Arm Neoverse V1定时器架构与看门狗机制详解
1. Arm Neoverse V1定时器架构深度解析在Arm Neoverse V1架构中，定时器系统采用分层设计理念，通过硬件级的时间管理单元为不同安全等级和功能域提供精准的时间基准。整个定时器网络由系统参考时钟(REFCLK)驱动，其典型频率范围在10-100MHz之间…...
NVIDIA cuOpt：GPU加速的决策优化引擎实战指南
1. 项目概述：NVIDIA cuOpt 开源决策优化引擎在商业决策的复杂世界里，每天都有成千上万的选择需要做出——从生产计划到物流配送，从资源分配到任务调度。这些决策背后往往隐藏着数学优化问题，而传统的CPU求解器在面对大规模线性规划…...
GoLLIE：基于大语言模型的零样本信息抽取实战指南
1. 项目概述：当大语言模型学会“看图说话”式的结构化信息抽取最近在信息抽取和结构化数据生成领域，一个名为GoLLIE的项目引起了我的注意。它不是一个全新的模型，而是一个基于开源大语言模型（如Code Llama）进行指令微调…...
如何快速将OFD转换为PDF：免费开源工具Ofd2Pdf完整指南
如何快速将OFD转换为PDF：免费开源工具Ofd2Pdf完整指南 【免费下载链接】Ofd2Pdf Convert OFD files to PDF files. 项目地址: https://gitcode.com/gh_mirrors/ofd/Ofd2Pdf 在当今数字化办公环境中，OFD（Open Fixed-layout Document&am…...
3分钟上手APK-Installer：Windows上最便捷的安卓应用安装方案
3分钟上手APK-Installer：Windows上最便捷的安卓应用安装方案 【免费下载链接】APK-Installer An Android Application Installer for Windows 项目地址: https://gitcode.com/GitHub_Trending/ap/APK-Installer 还在为Windows电脑无法直接运行Android应用而苦…...
Clipper2测试驱动开发：如何编写高质量的几何算法测试用例
Clipper2测试驱动开发：如何编写高质量的几何算法测试用例 【免费下载链接】Clipper2 Polygon Clipping, Offsetting & Triangulation in C, C# and Delphi 项目地址: https://gitcode.com/gh_mirrors/cl/Clipper2 Clipper2是一个强大的开源几何算法库&am…...
保姆级教程：从PyTorch到安卓App，用NCNN部署你的第一个AI模型（附完整代码）
保姆级教程：从PyTorch到安卓App，用NCNN部署你的第一个AI模型（附完整代码） 移动端AI应用开发正成为技术领域的热门方向，但许多开发者在模型部署环节常遇到各种"拦路虎"。本文将带你从零开始，手把手…...
STM32引脚资源紧张？手把手教你用“软件缓冲区”管理GPIO（以G431驱动LED和LCD为例）
STM32引脚资源紧张？手把手教你用“软件缓冲区”管理GPIO（以G431驱动LED和LCD为例） 在嵌入式系统开发中，GPIO资源管理是个永恒的话题。尤其是当你手头的MCU引脚数量有限，却需要驱动多个外设时，那种"捉…...
One-Token Rollout：LLM监督微调的高效策略梯度方法
1. 项目背景与核心价值在大型语言模型（LLM）的监督微调（SFT）领域，传统方法通常需要完整生成整个序列后才能计算损失函数并进行梯度更新。这种"全序列回传"机制存在两个显著痛点：首先，生…...