OnnxRuntime TensorRT OpenCV::DNN性能对比(YoloV8)实测
1. 前言
之前把ORT的一套推理环境框架搭好了,在项目中也运行得非常愉快,实现了cpu/gpu,fp32/fp16的推理运算,同onnx通用模型在不同推理框架下的性能差异对比贴一下,记录一下自己对各种推理框架的学习状况
| 模型名称 | 参数量 |
|---|---|
| NANO | 3.2M |
| ... | ... |
2. CPU篇
| 框架 | 推理耗时(i5-11400H@2.70GHz)/ms |
|---|---|
| OnnxRuntime | 95 |
| DNN | 80 |
3. GPU篇
4. 总结
cpu选择onnxruntime或者dnn都可以,建议选择ort.gpu选择tensorrt,如果有兼容需求就只能选择onnxruntime了.
不得不说,gpu推理上TRT把ORT薄纱了,不需要warm-up,对工业生产环境非常友好,因为在实际生产环境中,都不是实时推理,而是有间隔的推理,ORT在一段间隔时间后cuda性能会有所衰减,当然也可能是我还没摸透ort这个框架,欢迎大佬指正.
相关文章：
OnnxRuntime TensorRT OpenCV::DNN性能对比(YoloV8)实测
1. 前言 之前把ORT的一套推理环境框架搭好了,在项目中也运行得非常愉快,实现了cpu/gpu,fp32/fp16的推理运算,同onnx通用模型在不同推理框架下的性能差异对比贴一下,记录一下自己对各种推理框架的学习状况 YoloV8模型大小 模型名称参数量NANO3.2M...... 2. CPU篇 CPU推理框架性…...
【QT 网络云盘客户端】——获取用户文件列表信息
目录 1.获取用户文件列表信息分析 2.设置图标属性 3.向服务器获取文件的数量 4.向服务器获取文件信息列表 4.显示图标 1.获取用户文件列表信息分析 1.将QListWidget设置为图标模式 2. 当我们点击"按下载量升序","按下载量降序",“更新” 菜单选项 都会…...
从0到1，无代码开发如何简化产品创新流程
在当今竞争激烈的市场环境中，产品创新已经成为企业成功的关键因素之一。为了在市场上保持竞争力，企业需要不断地推出新产品或改进现有产品。然而，传统的开发流程往往耗时费力，且成本高昂。因此，简化产品创新流程成为了…...
select、epoll 的快速核心理解
一、 select 最low的就是在用户代码中自旋实现所有阻塞socket的监听。但是每次判断socket是否产生数据，都涉及到用户态到内核态的切换。 于是select改进：将fd_set传入内核态，由内核判断是否有数据返回； 然后最low的只能使用自旋…...
HTTP和HTTPS的区别
一、两者概念 1.1 HTTP概念 HTTP 的全称是超文本传输协议（HyperText Transfer Protocol） 是一种用于分布式、协作式和超媒体信息系统的应用协议，简单来说就是一种分布和接收HTML页面的方法，被用于在Web浏览器和网站服务器之间传递…...
分布式异步任务处理组件（二）
一些关键点的设计脑暴记录----very important！！！ 首先，任务存储交给kafka，由节点负责写入kafka，acks1；失败重试；透传kafka的提交可靠性，保证任务提交成功；后…...
Jenkins 拉取 GitHub 私有仓库失败问题
添加仓库的时候提示 stderr: fatal: Cannot prompt because user interactivity has been disabled. 把在 GitHub账户设置中生成的个人访问令牌填到地址里...
小程序 多层次对象数组的赋值、动态赋值
1、给对象赋值 data: {form: {Name: ,IDCard: ,Sex: ,}},对单个属性赋值 this.setData({form.Name:章三,[form.Sex]:女,}) 动态赋值 onChangeDate(e) {let field e.currentTarget.dataset.field;this.setData({[form.${field}]: e.detail.data})}, field 是wxml上通过dat…...
angular踩坑
1 新版路由守卫由于canActivate已被废弃，采用函数函数，但其参数中无法像类一样进行路由对象注入，如何实现路由首位中的页面跳转？ import { CanActivateFn,Router,ActivatedRouteSnapshot, RouterStateSnapshot,} from angular/ro…...
C#时间轴曲线图形编辑器开发1-基本功能
目录 一、前言 1、简介 2、开发过程 3、工程下载链接 二、基本功能实现 1、绘图面板创建 （1）界面布置 （2）显示面板代码 （3） 面板水平方向、竖直方向移动功能实现 （4）面板放…...
elasticsearch查询操作（DSL语句方式）
说明：本文介绍在kibana，es的可视化界面上对文档的查询操作； 添加数据 先使用API，创建索引库，并且把数据从MySQL中查出来，传到ES上，参考（http://t.csdn.cn/NaTHg） 索引库…...
JavaScript详解
目录 一、JavaScript是什么？ 1.1、JavaScript 和 HTML 和 CSS 之间的关系 1.2、JavaScript 运行过程 1.3、JavaScript 的组成 二、JavaScript 的书写形式 1. 行内式 2. 内嵌式 3、外部式 注释 三、输入输出 输入: prompt 输出: alert 输出: …...
电缆振荡波局部放电检测定位技术
电缆振荡波检测技术主要用于交联聚乙烯电力电缆检测，是属于离线检测的一种有效形式 。该技术基于LCR阻尼振荡原理，在完成电缆直流充电的基础上，通过内置的高压电抗器、高压实时固态开关与试品电缆形成阻尼振荡电压波，在试品电缆上…...
AI Chat 设计模式：10. 组合模式
本文是该系列的第八篇，采用问答式的方式展开，问题由我提出，答案由 Chat AI 作出，灰色背景的文字则主要是我的一些思考和补充。 问题列表 Q.1 给我介绍一下组合模式A.1Q.2 好的，给我举一个组合模式的例子，使…...
【Nginx12】Nginx学习：HTTP核心模块（九）浏览器缓存与try_files
Nginx学习：HTTP核心模块（九）浏览器缓存与try_files 浏览器缓存在 Nginx 的 HTTP 核心模块中其实只有两个简单的配置，这一块也是 HTTP 的基础知识。之前我们就一直在强调，学习 Nginx 需要的就是各种网络相关的基础知识&…...
【1】-Locust性能测试工具介绍与安装
Locust介绍 locust是一个开源的压测工具，其官网地址是Locust - A modern load testing framework，通过编写Python代码，可以轻松实现百万级的并发，相对于我们熟悉的Jmeter来说，其对压测机的要求更低，而且使…...
基于拉格朗日-遗传算法的最优分布式能源DG选址与定容（Matlab代码实现）
目录 1 概述 2 数学模型 2.1 问题表述 2.2 DG的最佳位置和容量（解析法） 2.3 使用 GA 进行最佳功率因数确定和 DG 分配 3 仿真结果与讨论 3.1 33 节点测试配电系统的仿真 3.2 69 节点测试配电系统仿真 4 结论 1 概述 为了使系统网损达到最低值&a…...
【已解决】jupyter notebook里已经安装了第三方库，还是提示导入失败
在jupyter notebook中运行Python代码，明明已经安装了第三方库，还是提示导入失败。 以导入pandas库为例，其他库同理： 报错代码： import pandas报错原因： 电脑上存在多个python运行环境（比如&a…...
Mybatis使用collection映射一对多查询分页问题
场景：页面展示列表，需要查询多的字段，和一的字段。并且还要分页。 这时候直接想到的是手写sql。 /*** 标签*/private List<BasicResidentTags> tags;Data TableName("basic_resident_tags") public class BasicResidentTag…...
Linux/Windows路由管理
本文主要介绍如果通过linux/Windows命令添加IPV6地址，查看添加IPV6默认路由，查看IPV6邻居缓存 一、Linux 1、查看地址 IPV4: route netstat -route ip route IPV6: ip -6 route show route -A inet6 route -62、添加IPV6地址 ip -6 addr add <…...
Qwen3-TTS开源大模型实战：复古HUD界面下的AI语音创作工作流
Qwen3-TTS开源大模型实战：复古HUD界面下的AI语音创作工作流 1. 引言：当AI语音合成遇上复古游戏风 想象一下，你不再需要面对枯燥的音频参数调节界面，而是走进一个像素风的游戏世界。在这里，生成一段AI语音就像玩一款复…...
Spring Boot 实现网络限速：让流量“收放自如”
Spring Boot 实现网络限速：让流量“收放自如” 一、为啥要网络限速？ 在当今这个数字化时代，网络服务就像我们生活中的水电一样不可或缺，而网络限速则是保障这些服务稳定、高效运行的关键一环。它能确保在各种复杂的网络环境下&…...
 管理与维护实战指南：从单文件到团队协作)
Vivado 时序约束文件 (.xdc) 管理与维护实战指南：从单文件到团队协作
Vivado 时序约束文件 (.xdc) 管理与维护实战指南：从单文件到团队协作 在FPGA设计流程中，时序约束文件（.xdc）如同交通信号灯，为设计指明方向与规则。随着项目规模扩大和团队协作需求增加，如何高效管理这些约…...
springboot+vue基于web的校园电动车短租系统的设计系统
目录同行可拿货,招校园代理 ,本人源头供货商系统功能分析用户管理模块车辆管理模块租赁业务模块安全与风控模块统计与报表模块技术实现要点项目技术支持源码获取详细视频演示 ：文章底部获取博主联系方式！同行可合作同行可拿货,招校园代理 ,本人源头供货商…...
终极指南：如何彻底解决Colab运行text-generation-webui的Matplotlib后端错误
终极指南：如何彻底解决Colab运行text-generation-webui的Matplotlib后端错误 【免费下载链接】text-generation-webui The original local LLM interface. Text, vision, tool-calling, training, and more. 100% offline. 项目地址: https://gitcode.com/GitHub_…...
PX4仿真环境下的XTDrone实战：解决roslaunch常见错误的5个技巧
PX4仿真环境下的XTDrone实战：解决roslaunch常见错误的5个技巧 在无人机开发领域，PX4与ROS的结合为开发者提供了强大的仿真和测试平台。XTDrone作为基于PX4和ROS的开源无人机仿真框架，已经成为许多开发者和研究团队的首选工具。然而࿰…...
埃拉托斯特尼筛法（埃氏筛）完整解析
一、算法用途 快速找出 2 ~ n 之间的所有素数。 暴力判断每个数：O(nn) 埃氏筛：O(nloglogn)，接近线性，极快。 二、核心思想 先假设所有数都是素数。 从最小素数 2 开始，把它的所有倍数标记为合数。 取下一个没被标记的数（一定是素数），继续标记它的倍数。 最后没被标记…...
无需模拟器！Windows运行安卓应用的革命性方案——APK-Installer轻量级安装工具全解析
无需模拟器！Windows运行安卓应用的革命性方案——APK-Installer轻量级安装工具全解析 【免费下载链接】APK-Installer An Android Application Installer for Windows 项目地址: https://gitcode.com/GitHub_Trending/ap/APK-Installer 在数字化办公与娱乐融…...
忍者像素绘卷GPU优化部署教程：双显卡加速与显存平衡详解
忍者像素绘卷GPU优化部署教程：双显卡加速与显存平衡详解 1. 认识忍者像素绘卷 忍者像素绘卷是一款基于Z-Image-Turbo深度优化的图像生成工作站，专为像素艺术创作而设计。它将16-Bit复古游戏美学与现代AI技术完美结合，为创作者提供了一个独特…...
洛雪音乐音源项目终极指南：如何免费获取全网高品质音乐资源
洛雪音乐音源项目终极指南：如何免费获取全网高品质音乐资源 【免费下载链接】lxmusic- lxmusic(洛雪音乐)全网最新最全音源 项目地址: https://gitcode.com/gh_mirrors/lx/lxmusic- 你是否曾为寻找免费的高品质音乐资源而烦恼？或者厌倦了在多个音…...