OpenVINO2023使用简介

1 下载安装

先在anaconda中创建一个虚拟环境，该环境的python版本为3.7，之所以使用python3.7，是因为我在3.9上安装过程中出现不少bug，后面新建了一个3.7的环境才解决，我不知道是否由于和我已有环境中某些包不兼容，还是python3.9版本的问题，总是折腾了很久都没解决，最后新建了一个虚拟环境。
地址


实际上就是下面这条命令：

pip install openvino-dev[pytorch]==2023.0.1

这里可以使用清华镜像或者阿里镜像

接下来使用下面这串代码，测试是否安装成功，如果没有报错，说明OpenVINO安装成功

python -c "from openvino.runtime import Core"

2 查看可用设备

下面是查看本地可用设备

from openvino.runtime import Core
core = Core()
devices = core.available_devices
for device in devices:device_name = core.get_property(device, "FULL_DEVICE_NAME")print(f"{device}: {device_name}")

输出：

CPU: Intel(R) Core(TM) i7-10870H CPU @ 2.20GHz
GPU.0: Intel(R) UHD Graphics (iGPU)
GPU.1: NVIDIA GeForce RTX 3060 Laptop GPU (dGPU)

这里有两个GPU，一个是集显，一个是独显。

3 模型的中间表示

在OpenVINO的使用过程中，经常可以听见一个词叫IR，它的全程叫Intermediate Representation，即模型的中间表示，主要包括.xml文件和.bin文件，前者用于描述网络拓扑（即网络结构），后者则是包含了网络中的权重和偏置的二进制数据文件，IR是OpenVINO中模型的专有格式。
由于模型的部署环境通常不会安装PyTorch、TensorFlow这些深度学习框架，因此在训练完成之后，一般是将模型导出为onnx文件，这样可以摆脱对框架和模型所属类的依赖。ONNX定义了一组与环境和平台无关的标准格式，为AI模型的互操作性提供了基础，使AI模型可以在不同框架和环境下交互使用。硬件和软件厂商可以基于ONNX标准优化模型性能，让所有兼容ONNX标准的框架受益，简单来说，ONNX就是模型转换的中间人。
在一些比较老的教程中，是拿到onnx文件后，将其转化为IR，然后OpenVINO再读取IR文件，并将其编译到硬件上面进行推理，这是之前OpenVINO推荐的部署流程，代码如下（只显示转化成IR的代码）：

from openvino.tools import mo
from openvino.runtime import serialize	# pycharm可能会提示找不到serialize，但实际能执行，IDE有bugov_model = mo.convert_model(onnx_path)  # onnx_path是onnx文件的路径，ov_model是OpenVINO模型
serialize(ov_model, xml_path)           # xml_path是IR中xml文件的路径

serialize方法不但会生成xml文件，还会在相同目录下生成bin文件，mo.convert_model可以完成模型的压缩、剪枝、前处理、设置输入等操作，这个能力很加分，但本文的目的是了解OpenVINO的大致使用流程，关于模型的压缩剪枝等操作暂时不展开，可以看官方手册详细了解mo.conver_model的功能链接

如果在训练环境中安装了OpenVINO2023，那么可以在训练结束后，跳过ONNX，直接将模型转化为OpenVINO的IR，代码如下：

from openvino.tools import mo
from openvino.runtime import serializeov_model = mo.convert_model(net)        # net是PyTorch模型，ov_model是OpenVINO模型
serialize(ov_model, xml_path)

注意：将PyTorch模型直接转换成OpenVINO模型，这项功能仅仅是OpenVINO 2023.0 release才开始有的，在OpenVINO 2022之前都不支持，另外，因为这项功能比较新，因此并不是所有模型都能这么转，假如转换失败，还能老老实实先转ONNX，再转IR。

4 模型推理

得到IR之后（IR既可以在训练环境直接右PyTorch模型得到，也可以在部署环境中通过ONNX文件得到），将其读取到OpenVINO模型，然后编译到指定设备，就可以进行推理了，代码如下（省略了输入数据预处理的操作，比如图像缩放、数据压缩到0-1等）：

from openvino.runtime import Core
# 创建推理核
core = Core()
# 读取IR文件
ov_model = core.read_model(model=ir_path)   # ir_path是IR中xml文件的路径
# 编译到指定设备
compiled_model = core.compile_model(ov_model, 'CPU')   #  'CPU'可以改成'GPU.0'、'GPU.1'或'AUTO'
# res是推理结果
res = compiled_model(input_tensor)[0]  

设备除了CPU之外，还可以是GPU.0或GPU.1，也可以让系统自动选择（AUTO），看自己的电脑上有什么设备，可以使用core.available_devices，详见第2节。

上面的流程是标准流程，实际上，core.read_model可以直接读onnx文件，这使得我们可以跳过IR那一步，代码如下：

from openvino.runtime import Core
core = Core()
# 读取onnx文件
ov_model = core.read_model(model=onnx_path)   # onnx_path是onnx文件的路径
# 编译到指定设备
compiled_model = core.compile_model(ov_model, 'CPU')    # 除了CPU，还可以
# res是推理结果
res = compiled_model(input_tensor)[0]

其实，也可以使用mo.convert_model将onnx模型转成OpenVINO模型后编译到指定设备，但这需要部署环境中有OpenVINO开发工具（即openvino.tools），而一般情况下，部署环境没这个，只有runtime（即openvino.runtime），所以这种方式用的不多。

5 总结

本文介绍了如何使用OpenVINO部署PyTorch模型，主要内容可以用下面几幅图表示


好了，至此，当我们得到一个PyTorch模型后，已经可以将其部署到OpenVINO上去了，当然，由于篇幅所限，还有很多细节没有展开，我们今天先把Pipeline打通，日后会具体介绍。

https://docs.openvino.ai/2023.0/notebooks/102-pytorch-to-openvino-with-output.html
https://docs.openvino.ai/2023.0/notebooks/102-pytorch-onnx-to-openvino-with-output.html
https://docs.openvino.ai/2023.0/openvino_docs_model_processing_introduction.html
https://mp.weixin.qq.com/s?__biz=MzU2NjU3OTc5NA==&mid=2247560125&idx=2&sn=001988bca941a9404ac8fe7a351b514d&chksm=fca9ec80cbde659689922250b3138e752cfccf50fde18f07016b7673bf1289bb8bd25bb4f636&scene=27