当前位置: 首页 > news >正文

【论文解读】EdgeYOLO:一种边缘实时目标检测器(附论文地址)

论文地址:https://arxiv.org/pdf/2302.07483

这篇文章的标题是《EdgeYOLO: An Edge-Real-Time Object Detector》,由中国北京理工大学的Shihan Liu、Junlin Zha、Jian Sun、Zhuo Li和Gang Wang共同撰写。这篇论文提出了一个基于最新YOLO框架的高效、低复杂度且无锚点的目标检测器,能够在边缘计算平台上实时实现。以下是对论文内容的解读:

研究背景与动机

  1. 计算硬件性能提升:随着计算硬件性能的不断提升,基于深度神经网络的计算机视觉技术在过去十年中迅速发展,目标检测作为自主智能系统中的一个重要元素,对于实现自动化和智能化至关重要。

  2. 目标检测策略的演进:目标检测领域存在两种主流策略,即两阶段策略(如R-CNN系列)和一阶段策略(如YOLO框架)。两阶段策略虽然在精度上略胜一筹,但无法满足实时性要求,特别是在传统计算设备上。相比之下,一阶段策略在实时性和性能之间取得了平衡,因此受到了研究者更多的关注。

  3. 边缘计算的兴起:边缘计算允许在数据源附近进行数据处理,减少了数据传输延迟,对于需要快速响应的应用场景(如自动驾驶、无人机监控等)具有重要意义。然而,现有的先进模型在边缘计算设备上通常运行帧率(FPS)较低,无法满足实时性需求。

  4. 模型复杂度与实时性的平衡:为了在边缘设备上实现实时目标检测,需要设计出既保证精度又具有较低计算复杂度的模型。这要求研究者在模型设计时考虑到参数数量、结构复杂度以及推理速度。

  5. 小目标检测的挑战:小目标在图像中所占像素较少,导致用于表达目标的信息量减少,其检测精度通常显著低于大目标。为了提高小目标的检测效果,需要对现有方法进行改进和优化。

  6. 无锚点(Anchor-free)检测器的优势:与传统的基于锚点(Anchor-based)的检测器相比,无锚点检测器在后处理阶段可以节省更多时间,因为它们不需要处理每个网格单元的多个锚点,这有助于提高边缘设备上的目标检测速度。

EdgeYOLO

EdgeYOLO是一种具有良好精度并且能够在边缘设备上实时运行的目标检测器。

  1. 设计了一种Anchor-Free目标检测器,该检测器可以在MS COCO2017数据集中实时运行在边缘设备上,准确率为50.6%AP;

  2. 提出了一种更强大的数据增强方法,进一步确保了训练数据的数量和有效性;

  3. 模型中使用了可重参化的结构,以减少推理时间;

  4. 设计了一个损失函数,以提高小目标的精度。

主要改进

  • 无锚点检测器: 提出了一个无需锚点(anchor-free)的目标检测器,可以减少设计复杂度和计算量。

  • 数据增强方法: 开发了一个增强的数据增强方法,有效抑制训练过程中的过拟合。

  • 混合随机损失函数: 设计了一种新的损失函数,提高小目标的检测精度。

  • 解耦头: 提出了一种更轻量、高效的解耦头,以加速推理过程,同时保持精度。

关键组件

  • 增强的Mosaic & Mixup: 通过结合Mosaic和Mixup数据增强技术,增加了图像的丰富性,并确保输出图像包含足够的有效信息。

  • Lite-Decoupled Head: 一种轻量级解耦头,通过重参数化技术提高推理速度,同时减少推理成本。

  • Staged Loss Function: 分阶段的损失函数设计,根据训练过程的不同阶段调整损失函数,以优化模型性能。

技术细节

  • 数据增强: 通过随机数据增强不可避免地会导致一些标签无效,EdgeYOLO通过增加有效框的数量来解决这个问题。

  • 模型缩减: 通过模型缩减技术减少计算成本,提高模型推理速度。

  • 解耦回归: 与传统的统一回归检测头相比,解耦回归检测头可以提高性能并加速损失收敛。

  • 小目标检测优化: 通过数据增强和损失函数的重新设计,提高小目标的检测效果。

实验与评估

  • 数据集: 在MS COCO2017和VisDrone2019-DET数据集上进行测试,这些数据集包含丰富的标签信息,适合评估模型性能。

  • 训练环境: 使用4个RTX 3090 GPU进行训练,采用ELAN-Darknet作为模型的主干网络。

  • 推理测试: 在NVIDIA Jetson AGX Xavier边缘计算设备上进行推理测试,确保模型满足实时性要求。

  • 性能: EdgeYOLO在MS COCO2017数据集上达到了50.6% AP50:95和69.8% AP50的精度,在VisDrone2019-DET数据集上达到了26.4% AP50:95和44.8% AP50的精度。

  • 实时性: 在Nvidia Jetson AGX Xavier设备上,模型的帧率(FPS)≥30,满足实时要求。

结论与贡献

结论

  • 高效率与实时性: EdgeYOLO证明了其能够在边缘设备上以高效率和实时性运行,同时保持了较高的目标检测精度。

  • 小目标检测: 特别指出了EdgeYOLO在小目标检测方面的性能提升,这是通过其创新的数据增强和损失函数设计实现的。

  • 无锚点结构: 由于采用了无锚点(anchor-free)结构,EdgeYOLO简化了设计复杂度和计算复杂度,使得在边缘设备上的部署更为友好。

  • 框架扩展性: 论文提出该框架有潜力扩展到其他像素级识别任务,如实例分割等。

贡献

  1. 实时无锚点目标检测器: 设计了一个能够在边缘设备上实时运行的无锚点目标检测器,该检测器在MS COCO2017数据集上达到了50.6% AP50:95的精度。

  2. 增强的数据增强方法: 提出了一种更强大的数据增强方法,进一步确保了训练数据的量和有效性。

  3. 模型结构优化: 在模型中使用了可重参数化的结构,以减少推理时间。

  4. 混合随机损失函数: 设计了一种新的损失函数,改善了小目标的检测精度。

  5. 不同规模模型: 构建了几个不同大小的模型,以适应不同计算能力的边缘设备,并加速模型推理过程。

  6. 实验验证: 在MS COCO2017和VisDrone2019-DET数据集上进行了广泛的实验验证,证明了EdgeYOLO在不同场景下的有效性。

  7. 开源资源: 提供了源代码、超参数和模型权重,以便研究社区可以访问和进一步研究。

论文强调,尽管EdgeYOLO在目标检测方面取得了显著成果,但仍有改进空间,特别是在小目标检测的准确性方面。未来的工作将集中在进一步提高小目标的检测精度,并探索更有效的优化方法。

相关文章:

【论文解读】EdgeYOLO:一种边缘实时目标检测器(附论文地址)

论文地址:https://arxiv.org/pdf/2302.07483 这篇文章的标题是《EdgeYOLO: An Edge-Real-Time Object Detector》,由中国北京理工大学的Shihan Liu、Junlin Zha、Jian Sun、Zhuo Li和Gang Wang共同撰写。这篇论文提出了一个基于最新YOLO框架的高效、低复…...

xlwings,让excel飞起来!

excel已经成为必不可少的数据处理软件,几乎天天在用。python有很多支持操作excel的第三方库,xlwings是其中一个。 关于xlwings xlwings开源免费,能够非常方便的读写Excel文件中的数据,并且能够进行单元格格式的修改。 xlwings还…...

C语言学习,标准库 <stddef.h>

<stddef.h> C 标准库中头文件&#xff0c;它定义了一些常用的类型定义和宏。这些定义通常用于指针操作、数组处理和其他需要固定大小数据类型的场合。 size_t&#xff1a; 这是一个无符号整数类型&#xff0c;用于表示对象的大小&#xff08;以字节为单位&#xff09;。…...

PyQt5实战——操作台打印重定向,主界面以及stacklayout使用(四)

个人博客&#xff1a;苏三有春的博客 系类往期文章&#xff1a; PyQt5实战——多脚本集合包&#xff0c;前言与环境配置&#xff08;一&#xff09; PyQt5实战——多脚本集合包&#xff0c;UI以及工程布局&#xff08;二&#xff09; PyQt5实战——多脚本集合包&#xff0c;程序…...

React + Vite + TypeScript + React router项目搭建教程

一、创建项目 运行项目 二、目录结构 项目目录&#xff1a; ├─node_modules //第三方依赖 ├─public //静态资源&#xff08;不参与打包&#xff09; └─src├─assets //静态资源├─components //组件├─config //配置├─http //请求方法封装├─layout //页面…...

【ShuQiHere】️ 如何启用 SSH 服务

&#x1f6e0;️ 如何启用 SSH 服务 目录 基础概念 &#x1f331;检查是否已安装 SSH 服务 &#x1f50d;在不同操作系统上安装 SSH 服务 &#x1f4bb; LinuxWindows 11macOS 启动和启用 SSH 服务 &#x1f680;配置防火墙以允许 SSH 连接 &#x1f525;配置 SSH 服务&#…...

【自动化测试】APP UI 自动化(安卓)-本地环境搭建

一、软件准备及版本介绍 软件版本JAVA-SDK1.8.0_181 python 3.10.10 Android SDK Tools 下最新版本即可&#xff0c;无特殊要求 PyCharm 2023.3.5&#xff08;下最新版本即可&#xff0c;无特殊要求&#xff09; 二、安装步骤及环境变量配置 2.1 Java安装及配置 1&am…...

java毕业设计之基于Bootstrap的常州地方旅游管理系统的设计与实现(springboot)

项目简介 基于Bootstrap的常州地方旅游管理系统的设计与实现有下功能&#xff1a; 基于Bootstrap的常州地方旅游管理系统的设计与实现的主要使用者分为用户功能模块和管理员功能模块两大部分&#xff0c;用户可查看景点信息、景点资讯等&#xff0c;注册登录后可进行景点订票…...

《机甲崛起》

第一章&#xff1a;觉醒 在遥远的未来&#xff0c;地球的面貌已被人类科技彻底改变。蓝天被高耸的摩天大楼和闪烁的飞行器撕裂&#xff0c;城市的光辉仿佛能照亮整个星球。然而&#xff0c;繁华背后隐藏着深重的危机&#xff1a;生态环境的恶化、资源的匮乏&#xff0c;已成为…...

Windows10:Linux Reader

Linux Reader Access files and folders on Ext, UFS, HFS, ReiserFS, or APFS file systems from Windows DiskInternals 发布的 Linux Reader 是一款能在 Windows 系统环境下读取 Linux 分区文件的免费软件&#xff0c;提供了资源管理器式的浏览模式。它使用只读模式挂载 L…...

一、k8s快速入门之学习Kubernetes组件基础

一、三个容器管理器平台 Apache MESOS 开源的分布式资源管理框架&#xff0c;被推特选为基础平台&#xff0c;2019年推特换位k8s&#xff0c;MESOS最新版可以在MESOS上管理k8sDOCKER SWARM docker总部发行的&#xff0c;实现docker的集群方案&#xff0c;和docker捆版一起&…...

PostgreSQL 到 PostgreSQL 数据迁移同步

简述 PostgreSQL 是一个历史悠久且广泛使用的数据库&#xff0c;不仅具备标准的关系型数据库能力&#xff0c;还具有相当不错的复杂 SQL 执行能力。用户常常会将 PostgreSQL 应用于在线事务型业务&#xff0c;以及部分数据分析工作&#xff0c;所以 PostgreSQL 到 PostgreSQL …...

RestTemplate 常用方法(提供了多种方法来发送 HTTP 请求)

RestTemplate 是 Spring 框架中用于同步客户端 HTTP 请求的一个类&#xff0c;它提供了多种方法来发送 HTTP 请求。以下是一些常用的 RestTemplate 方法及其代码案例&#xff1a; 1.postForObject() 该方法用于发送 POST 请求&#xff0c;并期望返回一个对象。以下是一个使用…...

常量和变量

常量 常量是指在程序中使用的一些具体的数、字符。在程序运行过程中&#xff0c;其值不能被更改。如123,145.88,m,TRUE等。常量&#xff0c;用于记录程序中不可更改的数据。 分类 1、整型常量&#xff0c;表示整数的常量。 表示形式&#xff1a;   1&#xff09;十进制形…...

Go语言的使用

在安装Go和配置镜像时&#xff0c;可以根据操作系统和网络环境来选择适合的步骤。以下是详细的安装步骤和镜像配置&#xff1a; 1. 安装Go 1.1 通过官方下载 访问 Go的官方下载页面 下载适合操作系统的安装包&#xff08;Windows、macOS 或 Linux&#xff09;。安装包下载完…...

详解CRC校验原理以及FPGA实现

文章目录 一、什么是CRC校验&#xff1f;二、实现CRC校验原理以及步骤2.1 用多项式表示二元码数据2.2 选择一个生成多项式作为校验2.3 计算CRC校验码 三、CRC判断数据是否错误的原理以及步骤3.1 将收到的数据与生成多项式求余3.2 数据发生错误再进行CRC校验判断 四、FPGA实现CR…...

企业如何通过架构蓝图实现数字化转型

数字化转型的关键——架构蓝图的力量 在当今的商业世界&#xff0c;数字化转型已经不再是一个选择&#xff0c;而是企业生存与发展不可回避的战略行动。企业希望通过数字化提高效率、增强灵活性&#xff0c;并为客户提供更好的体验。然而&#xff0c;数字化转型不仅仅涉及技术…...

React第十三章(useTransition)

useTransition useTransition 是 React 18 中引入的一个 Hook&#xff0c;用于管理 UI 中的过渡状态&#xff0c;特别是在处理长时间运行的状态更新时。它允许你将某些更新标记为“过渡”状态&#xff0c;这样 React 可以优先处理更重要的更新&#xff0c;比如用户输入&#x…...

IDEA使用Maven Helper查看整个项目的jar冲突

在插件市场安装Maven Helper&#xff0c;安装好后&#xff0c;重启IDEA&#xff1b;双击打开可能存在jar冲突的pom文件&#xff1b;在右侧面板查看冲突,text是引入的依赖明细&#xff0c;点击Dependecy Analyzer选项卡即可查看冲突的jar。...

uniapp项目 存储数据到手机本地

打开manifest.json&#xff0c;在App权限配置中&#xff0c;添加读取和写入的权限 <uses-permission android:name"android.permission.READ_EXTERNAL_STORAGE"/> <uses-permission android:name"android.permission.WRITE_EXTERNAL_STORAGE"/&g…...

网页端 js 读取发票里的二维码信息(图片和PDF格式)

起因 为了实现在报销流程中&#xff0c;发票不能重用的限制&#xff0c;发票上传后&#xff0c;希望能读出发票号&#xff0c;并记录发票号已用&#xff0c;下次不再可用于报销。 基于上面的需求&#xff0c;研究了OCR 的方式和读PDF的方式&#xff0c;实际是可行的&#xff…...

2025.6.9总结(利与弊)

凡事都有两面性。在大厂上班也不例外。今天找开发定位问题&#xff0c;从一个接口人不断溯源到另一个 接口人。有时候&#xff0c;不知道是谁的责任填。将工作内容分的很细&#xff0c;每个人负责其中的一小块。我清楚的意识到&#xff0c;自己就是个可以随时替换的螺丝钉&…...

OpenGL-什么是软OpenGL/软渲染/软光栅?

‌软OpenGL&#xff08;Software OpenGL&#xff09;‌或者软渲染指完全通过CPU模拟实现的OpenGL渲染方式&#xff08;包括几何处理、光栅化、着色等&#xff09;&#xff0c;不依赖GPU硬件加速。这种模式通常性能较低&#xff0c;但兼容性极强&#xff0c;常用于不支持硬件加速…...

SpringCloud优势

目录 完善的微服务支持 高可用性和容错性 灵活的配置管理 强大的服务网关 分布式追踪能力 丰富的社区生态 易于与其他技术栈集成 完善的微服务支持 Spring Cloud 提供了一整套工具和组件来支持微服务架构的开发,包括服务注册与发现、负载均衡、断路器、配置管理等功能…...

VUE3 ref 和 useTemplateRef

使用ref来绑定和获取 页面 <headerNav ref"headerNavRef"></headerNav><div click"showRef" ref"buttonRef">refbutton</div>使用ref方法const后面的命名需要跟页面的ref值一样 const buttonRef ref(buttonRef) cons…...

RFID推动新能源汽车零部件生产系统管理应用案例

RFID推动新能源汽车零部件生产系统管理应用案例 一、项目背景 新能源汽车零部件场景 在新能源汽车零部件生产领域&#xff0c;电子冷却水泵等关键部件的装配溯源需求日益增长。传统 RFID 溯源方案采用 “网关 RFID 读写头” 模式&#xff0c;存在单点位单独头溯源、网关布线…...

可视化预警系统:如何实现生产风险的实时监控?

在生产环境中&#xff0c;风险无处不在&#xff0c;而传统的监控方式往往只能事后补救&#xff0c;难以做到提前预警。但如今&#xff0c;可视化预警系统正在改变这一切&#xff01;它能够实时收集和分析生产数据&#xff0c;通过直观的图表和警报&#xff0c;让管理者第一时间…...

Modbus转Ethernet IP深度解析:磨粉设备效率跃升的底层技术密码

在建材矿粉磨系统中&#xff0c;开疆智能Modbus转Ethernet IP网关KJ-EIP-101的应用案例是一个重要的技术革新。这个转换过程涉及到两种主要的通信协议&#xff1a;Modbus和Ethernet IP。Modbus是一种串行通信协议&#xff0c;广泛应用于工业控制系统中。它简单、易于部署和维护…...

边缘计算设备全解析:边缘盒子在各大行业的落地应用场景

随着工业物联网、AI、5G的发展&#xff0c;数据量呈爆炸式增长。但你有没有想过&#xff0c;我们生成的数据&#xff0c;真的都要发回云端处理吗&#xff1f;其实不一定。特别是在一些对响应时间、网络带宽、数据隐私要求高的行业里&#xff0c;边缘计算开始“火”了起来&#…...

前端异步编程全场景解读

前端异步编程是现代Web开发的核心&#xff0c;它解决了浏览器单线程执行带来的UI阻塞问题。以下从多个维度进行深度解析&#xff1a; 一、异步编程的核心概念 JavaScript的执行环境是单线程的&#xff0c;这意味着在同一时间只能执行一个任务。为了不阻塞主线程&#xff0c;J…...