RK3588 RKNN ResNet50推理测试

一、背景

在嵌入式设备上进行AI推理时，我们面临着算力有限、功耗敏感等挑战。RK3588芯片搭载的NPU（神经网络处理单元）专为加速AI运算设计，而RKNN是Rockchip专为NPU定制的推理框架。通过将通用模型（如ONNX）转换为RKNN格式，可以充分发挥硬件加速能力，实现：

• 性能提升：相比CPU运算可提速数十倍
• 能效优化：相同任务功耗降低约80%
• 模型压缩：通过量化技术减小模型体积

二、性能数据

• 模型:resnet50 输入:[1,3.224,224 float32] 输出:[1,1000 float32]

精度模式	RKNN推理
FP16	19.4857 ms MSE:0.00042
INT8	9.3501 ms MSE:0.00417

三、操作步骤

3.1 安装依赖

apt install software-properties-common -y
add-apt-repository ppa:deadsnakes/ppa   #添加Python软件源
apt install python3.10
apt install python3.10-dev
wget https://bootstrap.pypa.io/get-pip.py
python3.10 get-pip.py
pip3.10 install numpy
/usr/bin/python3.10 -m pip install onnx
pip3.10 install torch
pip3.10 install torchvision
apt install python3.10-setuptools

为什么需要这些依赖？

• numpy：处理张量数据的基础数学库
• torch：PyTorch框架用于加载预训练模型
• onnx：模型转换的中间格式标准

3.2 安装rknn-toolkit,更新librknnrt.so

# 下载RKNN Toolkit（版本需与NPU驱动匹配）
wget https://github.com/airockchip/rknn-toolkit2/archive/refs/tags/v2.3.0.tar.gz
tar -xf v2.3.0.tar.gz
cd rknn-toolkit2-2.3.0/# 安装Python接口
pip3.10 install -r rknn-toolkit2/packages/arm64/arm64_requirements_cp310.txt
pip3.10 install rknn-toolkit2/packages/arm64/rknn_toolkit2-2.3.0-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
pip3.10 install rknn-toolkit-lite2/packages/rknn_toolkit_lite2-2.3.0-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
cp rknpu2/runtime/Linux/librknn_api/aarch64/librknnrt.so /usr/lib/librknnrt.so

工具链组成说明：

• rknn-toolkit：模型转换工具
• librknnrt.so：NPU运行时加速库
• rknnlite：轻量级推理接口

3.3 下载推理图片

wget https://raw.githubusercontent.com/hi20240217/csdn_images/refs/heads/main/YellowLabradorLooking_new.jpg

3.4 生成onnx模型转换脚本

cat> resnet50.py<<-'EOF' 
import requests
from PIL import Image
from io import BytesIO
import torchvision.transforms as transforms
import torch
import numpy as np
import torchvision.models as models
import sysis_half=int(sys.argv[1])# 读取图片
image = Image.open("YellowLabradorLooking_new.jpg")# 定义预处理流程
preprocess = transforms.Compose([transforms.Resize(256),transforms.CenterCrop(224),transforms.ToTensor(),transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])# 应用预处理
img_t = preprocess(image)
input_tensor = torch.unsqueeze(img_t, 0).float()