《腾讯NCNN框架的模型转换x86/mips交叉编译推理》详细教程

1.在Ubuntu上编译运行ncnn

1）编译ncnn x86 linux

// ubuntu安装依赖
sudo apt install build-essential git cmake libprotobuf-dev protobuf-compiler libomp-dev libvulkan-dev vulkan-tools libopencv-dev

// 下载ncnn以及三方库
git clone https://github.com/Tencent/ncnn.git
git submodule update --init

// 编译
cd ncnn
mkdir -p build
cd build
cmake -DCMAKE_BUILD_TYPE=Release -DNCNN_VULKAN=ON -DNCNN_BUILD_EXAMPLES=ON ..
make -j$(nproc)

// 安装到install文件夹
make install prefix=./install

检查一下install文件夹里是不是生成了bin，include和lib

2）测试ncnn x86 linux

上面我们编译的时候打开了-DNCNN_BUILD_EXAMPLES=ON，所以这里就用编译好的例子试一下，由于squeezenet提供了权重文件，所以直接测这个。

把权重文件复制到build/examples里

我们可以看一下squeezent.cpp里，ncnn需要加载.bin和.param模型文件，所以放到同一文件夹。

然后运行

cd build/examples
./squeezenet ../../images/256-ncnn.png

运行成功！

2. 模型转换

这里用pytorch onnx来举例子，简单的模型可以用ncnn编译好的bin来直接转换。

1）onnx

./onnx2ncnn a.onnx a.param a.bin

这边的param就是模型的结构描述文件，bin是模型的具体权重
如果不行尝试使用onnx-simplifier先处理一下模型

onnxsim a.onnx a_sim.onnx

然后再转换a_sim.onnx，这里不多赘述，自行尝试。

2）pnnx

如果我们直接从onnx转换到ncnn的模型经常会出现不兼容不能完全转换的情况，所以我们这边直接使用pnnx来进行模型转换。

PyTorch Neural Network eXchange
pnnx github
PyTorch Neural Network eXchange(PNNX) is an open standard for PyTorch model interoperability. PNNX provides an open model format for PyTorch. It defines computation graph as well as high level operators strictly matches PyTorch.

我们以efficientnet为例
链接: https://github.com/lukemelas/EfficientNet-PyTorch

import torch
from torchsummary import summary
from efficientnet_pytorch import EfficientNetdevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")# 初始化模型
model = EfficientNet.from_pretrained('efficientnet-b0', advprop=True, num_classes=10)
model.to(device)
# 加载训练好的权重
params_dict = torch.load(r"best.pth")
# 如果训练的时候是多卡使用DataParallel来训的需要用.module.state_dict()得到权重dict
model.load_state_dict(params_dict.module.state_dict())summary(model, (3, 416, 416))
# efficientnet训练时候用了memory efficient swish激活，导出的时候换成普通swich提高兼容性
model.set_swish(memory_efficient=False)
# model_pt = torch.save(model_pt)model.eval()dummy_in = torch.randn(1, 3, 416, 416, requires_grad=True).to(device)
# 导出torchscript权重
mod = torch.jit.trace(model,dummy_in)
torch.jit.save(mod,"efb0_pnnx.pt")

pip install pnnx

pnnx ./efb0_pnnx.pt inputshape=[1,3,416,416]

然后会生成一堆文件，我们需要的就是.param和.bin文件

3.在x86上加载推理模型

1)准备工作

编译好的ncnn(看第一步)
编译好的opencv(如果不想重新编译直接sudo apt install libopencv-dev)

2)编写C++推理代码

文件结构
demo
----CMakeList.txt
----1.jpg
----src
--------effcientnetb0.cpp
----build
----bin

#include <iostream>
#include "net.h"
#include <algorithm>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <stdio.h>int main(int argc, char** argv)
{const char* img_path = argv[1];// opencv读取图片cv::Mat m = cv::imread(img_path, 1);// 图像归一化（这边视情况采用训练相同的归一化方法）m = m / 255.0 ;if (m.empty()){fprintf(stderr, "cv::imread %s failed\n", img_path);return -1;}// 创建ncnn网络ncnn::Net efficientb0; efficientb0.opt.use_vulkan_compute = true; // 加载权重if (efficientb0.load_param("model_param/efficientb0/efb0_pnnx.ncnn.param"))exit(-1);if (efficientb0.load_model("model_param/efficientb0/efb0_pnnx.ncnn.bin"))exit(-1);// 把opencv mat的data矩阵加载到ncnn mat中准备作为推理的输入ncnn::Mat in = ncnn::Mat::from_pixels_resize(m.data, ncnn::Mat::PIXEL_BGR2RGB, m.cols, m.rows, 416, 416);ncnn::Extractor ex = efficientb0.create_extractor();//在.param文件中找到输入的节点名称in0ex.input("in0", in);  ncnn::Mat out;//在.param文件中找到输出的节点名称out0，推理结束ex.extract("out0", out); //输出推理结果for (int i = 0; i < out.w; i++){std::cout << i <<out[i] << std::endl;}return 0;
}

如何查看输入输出的名称如下图

3)编写Cmakelist编译

project(NCNN_DEMO)
cmake_minimum_required(VERSION 2.8.12)
set(CMAKE_BUILD_TYPE Debug)set(CMAKE_PREFIX_PATH ${CMAKE_PREFIX_PATH} "改成第一步编译好的ncnn路径xxx/ncnn/build/install/")find_package(OpenCV REQUIRED)
find_package(ncnn)
if(ncnn_FOUND)set(CMAKE_RUNTIME_OUTPUT_DIRECTORY ${CMAKE_SOURCE_DIR}/bin)add_executable(efficientnetb0 src/efficientb0.cpp)target_link_libraries(efficientnetb0 ncnn ${OpenCV_LIBS})else()message(WARNING "ncnn not found, please check CMAKE_PREFIX_PATH")
endif()   

# 创建build文件夹
cd build
cmake ..
make

//使用编译好的程序进行推理
./bin/effcientnetb0 ./1.jpg

输出结果
可以看到linear层的推理结果输出了，选最大的一个index就是分类结果，至此，x86上全部的推理工作就做好了。

4.在MIPS上进行交叉编译推理

Arm等平台教程比较多，我们使用mips的嵌入式开发版君正x2000进行讲解。

1）编译mips版本opencv

2）编译mips版本ncnn

3）编译上述efficientnetb0.cpp demo程序

4）运行推理