OpenVINO2023使用简介
1 下载安装
先在anaconda中创建一个虚拟环境,该环境的python版本为3.7,之所以使用python3.7,是因为我在3.9上安装过程中出现不少bug,后面新建了一个3.7的环境才解决,我不知道是否由于和我已有环境中某些包不兼容,还是python3.9版本的问题,总是折腾了很久都没解决,最后新建了一个虚拟环境。
地址


实际上就是下面这条命令:
pip install openvino-dev[pytorch]==2023.0.1
这里可以使用清华镜像或者阿里镜像
接下来使用下面这串代码,测试是否安装成功,如果没有报错,说明OpenVINO安装成功
python -c "from openvino.runtime import Core"
2 查看可用设备
下面是查看本地可用设备
from openvino.runtime import Core
core = Core()
devices = core.available_devices
for device in devices:device_name = core.get_property(device, "FULL_DEVICE_NAME")print(f"{device}: {device_name}")
输出:
CPU: Intel(R) Core(TM) i7-10870H CPU @ 2.20GHz
GPU.0: Intel(R) UHD Graphics (iGPU)
GPU.1: NVIDIA GeForce RTX 3060 Laptop GPU (dGPU)
这里有两个GPU,一个是集显,一个是独显。
3 模型的中间表示
在OpenVINO的使用过程中,经常可以听见一个词叫IR,它的全程叫Intermediate Representation,即模型的中间表示,主要包括.xml文件和.bin文件,前者用于描述网络拓扑(即网络结构),后者则是包含了网络中的权重和偏置的二进制数据文件,IR是OpenVINO中模型的专有格式。
由于模型的部署环境通常不会安装PyTorch、TensorFlow这些深度学习框架,因此在训练完成之后,一般是将模型导出为onnx文件,这样可以摆脱对框架和模型所属类的依赖。ONNX定义了一组与环境和平台无关的标准格式,为AI模型的互操作性提供了基础,使AI模型可以在不同框架和环境下交互使用。硬件和软件厂商可以基于ONNX标准优化模型性能,让所有兼容ONNX标准的框架受益,简单来说,ONNX就是模型转换的中间人。
在一些比较老的教程中,是拿到onnx文件后,将其转化为IR,然后OpenVINO再读取IR文件,并将其编译到硬件上面进行推理,这是之前OpenVINO推荐的部署流程,代码如下(只显示转化成IR的代码):
from openvino.tools import mo
from openvino.runtime import serialize # pycharm可能会提示找不到serialize,但实际能执行,IDE有bugov_model = mo.convert_model(onnx_path) # onnx_path是onnx文件的路径,ov_model是OpenVINO模型
serialize(ov_model, xml_path) # xml_path是IR中xml文件的路径
serialize方法不但会生成xml文件,还会在相同目录下生成bin文件,mo.convert_model可以完成模型的压缩、剪枝、前处理、设置输入等操作,这个能力很加分,但本文的目的是了解OpenVINO的大致使用流程,关于模型的压缩剪枝等操作暂时不展开,可以看官方手册详细了解mo.conver_model的功能链接
如果在训练环境中安装了OpenVINO2023,那么可以在训练结束后,跳过ONNX,直接将模型转化为OpenVINO的IR,代码如下:
from openvino.tools import mo
from openvino.runtime import serializeov_model = mo.convert_model(net) # net是PyTorch模型,ov_model是OpenVINO模型
serialize(ov_model, xml_path)
注意:将PyTorch模型直接转换成OpenVINO模型,这项功能仅仅是OpenVINO 2023.0 release才开始有的,在OpenVINO 2022之前都不支持,另外,因为这项功能比较新,因此并不是所有模型都能这么转,假如转换失败,还能老老实实先转ONNX,再转IR。
4 模型推理
得到IR之后(IR既可以在训练环境直接右PyTorch模型得到,也可以在部署环境中通过ONNX文件得到),将其读取到OpenVINO模型,然后编译到指定设备,就可以进行推理了,代码如下(省略了输入数据预处理的操作,比如图像缩放、数据压缩到0-1等):
from openvino.runtime import Core
# 创建推理核
core = Core()
# 读取IR文件
ov_model = core.read_model(model=ir_path) # ir_path是IR中xml文件的路径
# 编译到指定设备
compiled_model = core.compile_model(ov_model, 'CPU') # 'CPU'可以改成'GPU.0'、'GPU.1'或'AUTO'
# res是推理结果
res = compiled_model(input_tensor)[0]
设备除了CPU之外,还可以是GPU.0或GPU.1,也可以让系统自动选择(AUTO),看自己的电脑上有什么设备,可以使用core.available_devices,详见第2节。
上面的流程是标准流程,实际上,core.read_model可以直接读onnx文件,这使得我们可以跳过IR那一步,代码如下:
from openvino.runtime import Core
core = Core()
# 读取onnx文件
ov_model = core.read_model(model=onnx_path) # onnx_path是onnx文件的路径
# 编译到指定设备
compiled_model = core.compile_model(ov_model, 'CPU') # 除了CPU,还可以
# res是推理结果
res = compiled_model(input_tensor)[0]
其实,也可以使用mo.convert_model将onnx模型转成OpenVINO模型后编译到指定设备,但这需要部署环境中有OpenVINO开发工具(即openvino.tools),而一般情况下,部署环境没这个,只有runtime(即openvino.runtime),所以这种方式用的不多。
5 总结
本文介绍了如何使用OpenVINO部署PyTorch模型,主要内容可以用下面几幅图表示


好了,至此,当我们得到一个PyTorch模型后,已经可以将其部署到OpenVINO上去了,当然,由于篇幅所限,还有很多细节没有展开,我们今天先把Pipeline打通,日后会具体介绍。
https://docs.openvino.ai/2023.0/notebooks/102-pytorch-to-openvino-with-output.html
https://docs.openvino.ai/2023.0/notebooks/102-pytorch-onnx-to-openvino-with-output.html
https://docs.openvino.ai/2023.0/openvino_docs_model_processing_introduction.html
https://mp.weixin.qq.com/s?__biz=MzU2NjU3OTc5NA==&mid=2247560125&idx=2&sn=001988bca941a9404ac8fe7a351b514d&chksm=fca9ec80cbde659689922250b3138e752cfccf50fde18f07016b7673bf1289bb8bd25bb4f636&scene=27
相关文章:
OpenVINO2023使用简介
1 下载安装 先在anaconda中创建一个虚拟环境,该环境的python版本为3.7,之所以使用python3.7,是因为我在3.9上安装过程中出现不少bug,后面新建了一个3.7的环境才解决,我不知道是否由于和我已有环境中某些包不兼容&…...
基于React实现无限滚动的日历详细教程,附源码【手写日历教程第二篇】
前言 最常见的日历大部分都是滚动去加载更多的月份,而不是让用户手动点击按钮切换日历月份。滚动加载的交互方式对于用户而言是更加丝滑和舒适的,没有明显的操作割裂感。 那么现在需要做一个这样的无限滚动的日历,前端开发者应该如何去思考…...
68、使用aws官方的demo和配置aws服务,进行视频流上传播放
基本思想:参考官方视频,进行了配置aws,测试了视频推流,rtsp和mp4格式的视频貌似有问题,待调研和解决 第一步:1) 进入aws的网站,然后进入ioT Core 2)先配置 Thing types & Thing,选择香港的节点,然后AWS ioT--->Manage---> Thing type 然后输入名字,创建Th…...
数据库
表 记录:行 字段(属性): 列 以行列的形式就组成了表(数据存储在表中) 关系数据库的表由记录组成,记录由字段组成,字段由字符或数字组成。它可以供各种用户共享, 具有最小冗余度和较高…...
深入了解fcntl函数:Linux系统编程中的文件控制
文章目录 概述介绍函数原型与参数 拓展:fcntl改文件属性总结 概述 摘要: fcntl函数是Linux系统编程中一个重要的函数,用于对文件描述符进行各种控制操作。本文将详细介绍fcntl函数的原型、各个参数的用法,以及阻塞和非阻塞模式切换的方法&am…...
汇川技术内推码
[庆祝]不一样的内推码[庆祝]:IVSM2R 投递了可以评论下名字,我会帮忙留意进度。 汇尔成川,共赴星海,欢迎加入,职等你来。 嵌入式软硬件,机器人算法,电机控制,通信软件,PLC…...
nacos服务器启动报错集合
报错1 Error creating bean with name ‘user‘: Unsatisfied dependency expressed through field ‘jwtTokenManage 开启鉴权之后,你可以自定义用于生成JWT令牌的密钥,application.properties中的配置信息为: ### Since 1.4.1, worked when…...
C语言_分支和循环语句(2)
文章目录 前言一、for 循环1.1语法1.2 for 语句的循环控制变量1.3 一些 for 循环的变种 二、do ... while()循环2.1 do 语句的语法2.2 do ... while 循环中的 break 和 continue2.3 练习1 **- 计算n的阶乘**2. - **在一个有序数组中查找具体的某个数字 n** 二分查找算法&#x…...
JMeter 接口自动化测试:从入门到精通的完全指南
JMeter 是一个开源的负载测试工具,它可以模拟多种协议和应用程序的负载,包括 HTTP、FTP、SMTP、JMS、SOAP 和 JDBC 等。在进行接口自动化测试时,使用 JMeter 可以帮助我们快速地构建测试用例,模拟多种场景,发现接口的性…...
【Java】集合List的toArray()方法及其重载
在Java中,集合(List 接口的实现类)提供了一个名为 toArray 的方法,用于将集合中的元素转换成数组。该方法有两个主要的重载形式,分别用于不同的情况。 toArray()重载方法1 <T> T[] toArray(T[] a)这个方法将集…...
Python学习笔记:Requests库安装、通过url下载文件
1.下载安装requests库 在pipy或者github下载,通常是个zip,解压缩后在路径输入cmd,并运行以下代码 Python setup.py install 安装完成后,输入python再输入import requests得到可以判断时候完成安装 2.通过url下载文件 使用的是u…...
git pull --rebase 用法
git pull --rebase git pull --rebase 是 Git 命令中的一个选项,它的作用是在从远程仓库拉取更新时使用 rebase 而不是默认的合并方式。使用这个命令会使您的提交历史更加整洁,因为它将您的本地提交在远程更新之前重新应用到新的提交之上。 这个命令的…...
react antd框架中的徽标获取数据对应状态的数量
实现思路:获取数量的思路是通过filter过滤符合数据来实现。 列表数组.filter(item > item.status 值).length; 例子:以下这个例子是判断data数组中的status中在职的数量。 data.filter((item) > item.status 在职).length 效果展示ÿ…...
【多线程】Thread类的用法
文章目录 1. Thread类的创建1.1 自己创建类继承Thread类1.2 实现Runnable接口1.3 使用匿名内部类创建Thread子类对象1.4 使用匿名内部类创建Runnable子类对象1.5 使用lambda创建 2. Thread常见的构造方法2.1 Thread()2.2 Thread(Runnable target)2.3 Thread(String name)2.4 Th…...
第八章 贪心算法 part03 1005.K次取反后最大化的数组和 134. 加油站 135. 分发糖果 (day34补)
本文章代码以c为例! 一、力扣第1005题:K 次取反后最大化的数组和 题目: 给你一个整数数组 nums 和一个整数 k ,按以下方法修改该数组: 选择某个下标 i 并将 nums[i] 替换为 -nums[i] 。 重复这个过程恰好 k 次。可以多次选择…...
Android Activity启动过程一:从Intent到Activity创建
关于作者:CSDN内容合伙人、技术专家, 从零开始做日活千万级APP。 专注于分享各领域原创系列文章 ,擅长java后端、移动开发、人工智能等,希望大家多多支持。 目录 一、概览二、应用内启动源码流程 (startActivity)2.1 startActivit…...
第9章:聚类
聚类任务 性能度量 距离度量 非度量距离 原型聚类 有很好的统计学上的意义,但是只能找到椭球形的聚类。 密度聚类 层次聚类...
程序员为什么要写bug,不能一次性写好吗?
仅仅听到“Bug”这个词就会让你作为一个开发人员感到畏缩。我们相信,优秀的程序员是那些编写无错误代码的人。随着一些开发人员强调要成为一名零错误程序员,我们进行了更深刻的思考,并发现事实的准确性。 所有制作的软件都应该没有错误。对此…...
Nginx反向代理其他服务
Nginx反向代理 嘿,你的网络遇到了限制,不能直接通过服务的端口进行访问?别担心,我们可以借助Nginx这个超级英雄来解决这个问题!让我给你讲讲关于Nginx反向代理的故事吧。 首先,让我们明确一下反向代理的概…...
MQ 简介-RabbitMQ
一. MQ 简介 消息队列作为高并发系统的核心组件之一,能够帮助业务系统结构提升开发效率和系统 稳定性,消息队列主要具有以下特点: 削峰填谷:主要解决瞬时写压力大于应用服务能力导致消息丢失、系统奔溃等问题系统解耦:解决不同重要程度、不…...
Rust命令行截图工具开发:从设计到实现的全流程解析
1. 项目概述:一个轻量级截图工具的诞生 最近在折腾一个个人小项目,起因很简单:我对市面上那些动辄几百兆、启动慢、功能臃肿的截图工具感到厌倦了。我需要一个纯粹的、快速的、能让我在几秒钟内完成“看到-截取-处理-分享”整个流程的工具。于…...
Jetpack Compose + 协程(Coroutine)完整实战教程
Jetpack Compose 协程(Coroutine)完整实战教程 现代 Android 开发里: Compose 协程 Flow 已经是官方主流架构。 如果你只会: Button(onClick {})但不会: LaunchedEffectrememberCoroutineScopeStateFlowcollectAsS…...
Claude 3 Opus实测崩坏点曝光:在长上下文推理、多跳代码生成、非英语任务中遭遇的3大性能断层及绕行方案
更多请点击: https://intelliparadigm.com 第一章:Claude 3 Opus性能评测全景概览 Claude 3 Opus 是 Anthropic 推出的旗舰级大语言模型,以卓越的推理深度、长上下文处理(200K tokens)和多轮对话稳定性著称。在多项权…...
UVM配置机制解析:从原理到实战优化
## 1. UVM配置机制的核心挑战与解决方案在当今SoC验证环境中,设计复杂度呈指数级增长。以移动处理器芯片为例,单个DUT可能集成上百个IP模块,每个模块需要验证数十种工作模式。传统Verilog直接例化的配置方式会导致验证环境僵化,任…...
国产AI芯片CSA1-N8S1684深度解析:140.8Tops算力如何破局推理市场
1. 项目概述:当算力成为新基建,一颗国产AI芯片的破局之路最近圈子里都在聊一个词:“算力焦虑”。无论是做大模型训练的公司,还是搞自动驾驶、生物制药的团队,都在为GPU的供应和成本发愁。就在这个当口,一款…...
瑞德克斯平台:全球金融市场的可靠选择
瑞德克斯平台:全球金融市场的可靠选择在评估金融服务平台时,监管合规、技术能力、客户服务等维度构成了重要的观察方向。瑞德克斯平台作为业内较为活跃的服务机构,其在这些方面的实践具有一定的参考价值。本文将围绕评测视角,对其…...
Boss-Key:Windows窗口管理新体验,三分钟打造你的隐私工作区
Boss-Key:Windows窗口管理新体验,三分钟打造你的隐私工作区 【免费下载链接】Boss-Key 老板来了?快用Boss-Key老板键一键隐藏静音当前窗口!上班摸鱼必备神器 项目地址: https://gitcode.com/gh_mirrors/bo/Boss-Key 你是否…...
kkFileView容器网络性能优化:基于SR-IOV的硬件加速终极指南
kkFileView容器网络性能优化:基于SR-IOV的硬件加速终极指南 【免费下载链接】kkFileView Universal File Online Preview Project based on Spring-Boot 项目地址: https://gitcode.com/GitHub_Trending/kk/kkFileView 在现代云原生应用中,容器化…...
免费本地视频去水印软件推荐,电脑端和手机端各有哪些好用的?2026实测整理
免费本地视频去水印软件推荐,电脑端和手机端各有哪些好用的?2026实测整理 做自媒体、整理素材或者保存自己喜欢的视频时,画面上的水印往往让人头疼。想去掉,却不知道该用哪类工具;上网一搜全是收费软件或者需要把视频传…...
ArcGIS布局视图下,3分钟搞定地图经纬网添加与样式美化(附详细截图)
ArcGIS布局视图中经纬网的高效设计与视觉优化指南 在地理信息系统的制图工作中,经纬网不仅是坐标参考的基础元素,更是提升地图专业度和视觉层次的关键设计要素。许多初学者往往止步于基础功能的实现,却忽略了通过精细化调整让地图脱颖而出的机…...
