模型转换 PyTorch转ONNX 入门

前言

本文主要介绍如何将PyTorch模型转换为ONNX模型，为后面的模型部署做准备。转换后的xxx.onnx模型，进行加载和测试。最后介绍使用Netron，可视化ONNX模型，看一下网络结构；查看使用了那些算子，以便开发部署。

目录

前言

一、PyTorch模型转ONNX模型

1.1 转换为ONNX模型且加载权重

1.2 转换为ONNX模型但不加载权重

1.3 torch.onnx.export() 函数

二、加载ONNX模型

三、可视化ONNX模型

---

一、PyTorch模型转ONNX模型

将PyTorch模型转换为ONNX模型，通常是使用torch.onnx.export( )函数来转换的，基本的思路是：

1. 加载PyTorch模型，可以选择只加载模型结构；也可以选择加载模型结构和权重。
2. 然后定义PyTorch模型的输入维度，比如(1, 3, 224, 224)，这是一个三通道的彩色图，分辨率为224x224。
3. 最后使用torch.onnx.export( )函数来转换，生产xxx.onnx模型。

下面有一个简单的例子：

import torch
import torch.onnx# 加载 PyTorch 模型
model = ...# 设置模型输入，包括：通道数，分辨率等
dummy_input = torch.randn(1, 3, 224, 224, device='cpu')# 转换为ONNX模型
torch.onnx.export(model, dummy_input, "model.onnx", export_params=True)

1.1 转换为ONNX模型且加载权重

这里举一个resnet18的例子，基本思路是：

1. 首先加载了一个预训练的 ResNet18 模型；
2. 然后将其设置为评估模式。接下来定义一个与模型输入张量形状相同的输入张量，并使用 torch.randn() 函数生成了一个随机张量。
3. 最后，使用 onnx.export() 函数将 PyTorch 模型转换为 ONNX 格式，并将其保存到指定的输出文件中。

程序如下：

import torch
import torchvision.models as models# 加载预训练的 ResNet18 模型
model = models.resnet18(pretrained=True)# 将模型设置为评估模式
model.eval()# 定义输入张量，需要与模型的输入张量形状相同
input_shape = (1, 3, 224, 224)
x = torch.randn(input_shape)# 需要指定输入张量，输出文件路径和运行设备
# 默认情况下，输出张量的名称将基于模型中的名称自动分配
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")# 将 PyTorch 模型转换为 ONNX 格式
output_file = "resnet18.onnx"
torch.onnx.export(model, x.to(device), output_file, export_params=True)

1.2 转换为ONNX模型但不加载权重

举一个resnet18的例子：基本思路是：

1. 首先加载了一个预训练的 ResNet18 模型；
2. 然后使用 onnx.export() 函数将 PyTorch 模型转换为 ONNX 格式；指定参数do_constant_folding=False，不加载模型的权重。

import torch
import torchvision.models as models# 加载 PyTorch 模型
model = models.resnet18()# 将模型转换为 ONNX 格式但不加载权重
dummy_input = torch.randn(1, 3, 224, 224)
torch.onnx.export(model, dummy_input, "resnet18.onnx", do_constant_folding=False)

下面构建一个简单网络结构，并转换为ONNX

import torch
import torchvision
import numpy as np# 定义一个简单的PyTorch 模型
class MyModel(torch.nn.Module):def __init__(self):super(MyModel, self).__init__()self.conv1 = torch.nn.Conv2d(3, 32, kernel_size=3, stride=1, padding=1)self.relu = torch.nn.ReLU()self.maxpool = torch.nn.MaxPool2d(kernel_size=2, stride=2)self.conv2 = torch.nn.Conv2d(32, 64, kernel_size=3, stride=1, padding=1)self.flatten = torch.nn.Flatten()self.fc1 = torch.nn.Linear(64 * 8 * 8, 10)def forward(self, x):x = self.conv1(x)x = self.relu(x)x = self.maxpool(x)x = self.conv2(x)x = self.relu(x)x = self.maxpool(x)x = self.flatten(x)x = self.fc1(x)return x# 创建模型实例
model = MyModel()# 指定模型输入尺寸
dummy_input = torch.randn(1, 3, 32, 32)# 将PyTorch模型转为ONNX模型
torch.onnx.export(model, dummy_input, 'mymodel.onnx',  do_constant_folding=False)

1.3 torch.onnx.export() 函数

看一下这个函数的参数

torch.onnx.export(model, args, f, export_params=True, opset_version=10, do_constant_folding=True, input_names=['input'], output_names=['output'], dynamic_axes=None, verbose=False, example_outputs=None, keep_initializers_as_inputs=None)

• model：需要导出的 PyTorch 模型
• args：PyTorch模型输入数据的尺寸，指定通道数、长和宽。可以是单个 Tensor 或元组，也可以是元组列表。
• f：导出的 ONNX 文件路径和名称，mymodel.onnx。
• export_params：是否导出模型参数。如果设置为 False，则不导出模型参数。
• opset_version：导出的 ONNX 版本。默认值为 10。
• do_constant_folding：是否对模型进行常量折叠。如果设置为 True，不加载模型的权重。
• input_names：模型输入数据的名称。默认为 'input'。
• output_names：模型输出数据的名称。默认为 'output'。
• dynamic_axes：动态轴的列表，允许在导出的 ONNX 模型中创建变化的维度。
• verbose：是否输出详细的导出信息。
• example_outputs：用于确定导出 ONNX 模型输出形状的样本输出。
• keep_initializers_as_inputs：是否将模型的初始化器作为输入导出。如果设置为 True，则模型初始化器将被作为输入的一部分导出。

下面是只是一个常用的模板

import torch.onnx # 转为ONNX
def Convert_ONNX(model): # 设置模型为推理模式model.eval() # 设置模型输入的尺寸dummy_input = torch.randn(1, input_size, requires_grad=True)  # 导出ONNX模型  torch.onnx.export(model,         # model being run dummy_input,       # model input (or a tuple for multiple inputs) "xxx.onnx",       # where to save the model  export_params=True,  # store the trained parameter weights inside the model file opset_version=10,    # the ONNX version to export the model to do_constant_folding=True,  # whether to execute constant folding for optimization input_names = ['modelInput'],   # the model's input names output_names = ['modelOutput'], # the model's output names dynamic_axes={'modelInput' : {0 : 'batch_size'},    # variable length axes 'modelOutput' : {0 : 'batch_size'}}) print(" ") print('Model has been converted to ONNX')if __name__ == "__main__": # 构建模型并训练# xxxxxxxxxxxx# 测试模型精度#testAccuracy() # 加载模型结构与权重model = Network() path = "myFirstModel.pth" model.load_state_dict(torch.load(path)) # 转换为ONNX Convert_ONNX(model)

二、加载ONNX模型

加载ONNX模型，通常需要用到ONNX、ONNX Runtime，所以需要先安装。

pip install onnx

pip install onnxruntime

加载ONNX模型可以使用ONNX Runtime库，以下是一个加载ONNX模型的示例代码：

import onnxruntime as ort# 加载 ONNX 模型
ort_session = ort.InferenceSession("model.onnx")# 准备输入信息
input_info = ort_session.get_inputs()[0]
input_name = input_info.name
input_shape = input_info.shape
input_type = input_info.type# 运行ONNX模型
outputs = ort_session.run(input_name, input_data)# 获取输出信息
output_info = ort_session.get_outputs()[0]
output_name = output_info.name
output_shape = output_info.shape
output_data = outputs[0]print("outputs:", outputs)
print("output_info :", output_info )
print("output_name :", output_name )
print("output_shape :", output_shape )
print("output_data :", output_data )

以下是一个示例程序，将 resnet18 模型从 PyTorch 转换为 ONNX 格式，然后加载和测试 ONNX 模型的过程:

import torch
import torchvision.models as models
import onnx
import onnxruntime# 加载 PyTorch 模型
model = models.resnet18(pretrained=True)
model.eval()# 定义输入和输出张量的名称和形状
input_names = ["input"]
output_names = ["output"]
batch_size = 1
input_shape = (batch_size, 3, 224, 224)
output_shape = (batch_size, 1000)# 将 PyTorch 模型转换为 ONNX 格式
torch.onnx.export(model,  # 要转换的 PyTorch 模型torch.randn(input_shape),  # 模型输入的随机张量"resnet18.onnx",  # 保存的 ONNX 模型的文件名input_names=input_names,  # 输入张量的名称output_names=output_names,  # 输出张量的名称dynamic_axes={input_names[0]: {0: "batch_size"}, output_names[0]: {0: "batch_size"}}  # 动态轴，即输入和输出张量可以具有不同的批次大小
)# 加载 ONNX 模型
onnx_model = onnx.load("resnet18.onnx")
onnx_model_graph = onnx_model.graph
onnx_session = onnxruntime.InferenceSession(onnx_model.SerializeToString())# 使用随机张量测试 ONNX 模型
x = torch.randn(input_shape).numpy()
onnx_output = onnx_session.run(output_names, {input_names[0]: x})[0]print(f"PyTorch output: {model(torch.from_numpy(x)).detach().numpy()[0, :5]}")
print(f"ONNX output: {onnx_output[0, :5]}")

上述代码中，首先加载预训练的 resnet18 模型，并定义了输入和输出张量的名称和形状。

然后，使用 torch.onnx.export() 函数将模型转换为 ONNX 格式，并保存为 resnet18.onnx 文件。

接着，使用 onnxruntime.InferenceSession() 函数加载 ONNX 模型，并使用随机张量进行测试。

最后，将 PyTorch 模型和 ONNX 模型的输出进行比较，以确保它们具有相似的输出。

三、可视化ONNX模型

使用Netron，可视化ONNX模型，看一下网络结构；查看使用了那些算子，以便开发部署。

这里简单介绍一下

Netron是一个轻量级、跨平台的模型可视化工具，支持多种深度学习框架的模型可视化，包括TensorFlow、PyTorch、ONNX、Keras、Caffe等等。它提供了可视化网络结构、层次关系、输出尺寸、权重等信息，并且可以通过鼠标移动和缩放来浏览模型。Netron还支持模型的导出和导入，方便模型的分享和交流。

 Netron的网页在线版本，直接在网页中打开和查看ONNX模型Netron

开源地址：GitHub - lutzroeder/netron: Visualizer for neural network, deep learning, and machine learning models

支持多种操作系统：

macOS: Download 

Linux: Download 

Windows: Download 

Browser: Start 

Python Server: Run pip install netron and netron [FILE] or netron.start('[FILE]').

 

下面是可视化模型截图：

还能查看某个节点（运算操作）的信息，比如下面MaxPool，点击一下，能看到使用的3x3的池化核，是否有填充pads，步长strides等参数。

 

分享完毕~