rknn_convert的使用方法

rknn_convert是RKNN-Toolkit2提供的一套常用模型转换工具，通过封装上述API接口，用户只需编辑模型对应的yml配置文件，就可以通过指令转换模型。以下是如何使用rknn_convert工具的示例命令以及支持的指令参数：

python -m rknn.api.rknn_convert -t rk3588 -i ./model_config.yml/onnx -o ./output_path

通过使用上述命令和参数，用户可以将模型转换为RKNN格式，并将转换后的模型保存到指定的输出路径。
注意：我写这个功能主要是为了方便临时测试，不要写代码就可以进行简单的连板调试
部分指令参数说明如下：

• -i: 模型配置文件（.yml/onnx）路径,如果只是评估rknn模型在板子上的精度、速度和内存使用情况可以直接使用onnx模型，也可以配置yml(挺繁琐的但是也有小部分人用)。
• -o: 转换后模型输出路径。
• -t: target_platform，目标平台可以选择rv1103，rv1103b, rv1106，rv1106b，rv1126b, rk2118，rk3562，rk3566，rk3568，rk3576或rk3588（只要不是rknpu1都可以）。
• -e: (选填) 评估连板运行时model的耗时和内存占用，若开启请输入-e。注：一定要连接相应开发板并正确设置target_platform，否则会报错，当有多设备时可通过-d参数指定设备ID。
• -a: (选填)评估生成的rknn模型精度，开启模拟器精度评估请输入-a "xx1.jpg”，如果模型是两输入则-a “xx1.jpg xx2.jpg”，若要开启连板精度评估请配合-d参数使用。
• -v: (选填)指定是否要在屏幕上打印详细日志信息，若开启打印模式请输入-v。
• -d: (选填)单个adb设备使用-d，多adb设备使用-d device_id，device_id通过adb devices查询。
• -do_Quant：若要量化成int8就设置这个参数，后接量化集xxx.txt,如果这个参数不设置默认使用fp16,即不量化
• -onnx_inputs：有时候onnx的输入可能是[?,3,384,384]这种没有指定的，则可以使用该参数固定shape，比如-onnx_inputs “{‘img’:[1,3,384,384]}”
• -onnx_outputs：可以用来截断模型，比如-onnx_outputs “[‘output_0’,‘output_1’]”
• -custom_hybrid：用来fi16和i8混合量化的功能（1106则是int16和int8混合量化），实现的效果可以参考rknn model zoo的yolov8 pose混合量化
• -h: 查询具体参数

具体参数如下

Usage: python script.py [OPTIONS]
Options:-i, --input : yml config file path (required)-o, --output : output dir-t, --target_platform : target_platform, support rk3568/rk3566/rk3562/rk3588/rv1126b (required)-e, --eval_perf_memory : eval model perf and memory, board debugging is required, multi adb device use -d, default=false (default: False)-a, --accuracy_analysis : Usage: -a "xx1.jpg xx2.jpg". Simulator accuracy_analysis, if want to turn on board accuracy_analysis, please use -d-v, --verbose : whether to print detailed log information on the screen, default=false (default: False)-d, --device_id : Single adb device usage: -d. Multi adb device usage：-d device_id-mean, --mean : Usage: -mean "[0,0,0]" or "[[127],[127],[127]]", default is 0-std, --std : Usage: -std "[1,1,1]" or "[[127],[127],[127]]", default is 1-do_Quant, --do_Quant : Attach dataset txt file, such as -do_Quant xxx.txt. If there is no txt file, do_quantization=False by default.-onnx_inputs, --onnx_inputs : Usage: -onnx_inputs "{'Cast_0':[1,3,384,384],'Cast_1':[1,3,640,640]}"-onnx_outputs, --onnx_outputs : Usage: -onnx_outputs "['output_0','output_1']"-dynamic_input, --dynamic_input : Usage: -dynamic_input "[[[1,3,256,256]],[[1,3,160,160]]]"-RGB2BGR, --quant_img_RGB2BGR : quant_img_RGB2BGR, default=false (default: False)-Quant_algorithm, --quantized_algorithm : Usage: -Quant_algorithm normal/mmse/kl_divergence, default='normal'  (default: normal)-compress_weight, --compress_weight : compress_weight, default=false (default: False)-single_core_mode, --single_core_mode : single_core_mode, default=false (default: False)-Quant_dtype, --quantized_dtype : quantized_dtype support: w8a8, w8a16, w16a16i, w16a16i_dfp, w4a16. default is w8a8 (default: w8a8)-custom_hybrid, --custom_hybrid : Usage: -custom_hybrid "[['start_node_name','end_node_name']]"

下面是一个使用onnx输入的例子（注意外层使用” “，内层使用’ '，要不然会有bug，比如-onnx_outputs “[‘output_0’]”）：

python -m rknn.api.convert -i xxx.onnx/yml -o ./ -t rk3588 -do_Quant xxx.txt  -mean "[0,0,0]" -std "[255,255,255]" -onnx_inputs "{'Cast_0':[1,3,384,384]}"-onnx_outputs "['output_0']"  -Quant_algorithm kl_divergence -a "xx1.jpg" -e -d 123456 -custom_hybrid "[['/model.22/cv4.0/cv4.0.0/act/Mul_output_0','/model.22/Concat_6_output_0']]"

下面是一个参考的yml配置文件(object_detection.yml)：

 models:# model output namename: object_detection                           # Original model frameworkplatform: onnx                                   # Model input file pathmodel_file_path: ./object_detection.onnx         # Describe information such as input and output shapessubgraphs:                                       # model input tensor shapeinput_size_list:                               - 1,3,512,512# input tensor nameinputs:                                        - data# output tensor nameoutputs:                                      - conv6-1- conv6-2- conv6-3# quantification flagquantize: true                                   # Quantify dataset file path (relative yml path)dataset: ./dataset.txt                           configs:quantized_dtype: asymmetric_quantized-8      # rknn.config mean_values  mean_values: [127.5,127.5,127.5]      # rknn.config std_values         std_values: [128.0,128.0,128.0]                # rknn.config quant_img_RGB2BGR  quant_img_RGB2BGR: false  # rknn.config quantized_algorithm quantized_algorithm: normal

这个配置文件包括了模型的名称、原始模型使用的框架、模型文件路径、输入输出信息、是否进行量化等详细信息。用户可以根据模型的特定需求编辑相应的配置文件。

模型转换配置详见下表：

表3-1 rknn_convert模型转换配置参数说明

参数名	填写内容
-name	模型输出名称
-platform	原始模型使用的框架，支持tensorflow、tflite、caffe、onnx、pytorch、darknet
-model_file_path	原始模型文件路径，适用于单模型文件输入，例：tensorflow、tflite、onnx、pytorch
-quantize	是否开启量化
-dataset	量化dataset文件路径（相对yml配置文件路径），若要开启accuracy_analysis此项必填
-prototxt_file_path	platform为caffe时，模型的prototxt文件
-caffemodel_file_path	platform为caffe时，模型的caffemodel文件
-darknet_cfg_path	platform为darknet时，模型的cfg文件
-darknet_weights_path	platform为darknet时，模型的weight文件
-subgraphs	描述输入输出shape等信息。除特定框架外，一般情况下该参数及附带的子参数可不写，使用模型默认值
----input_size_list(子参数)	输入tensor的shape
----inputs(子参数)	输入tensor的名称
----outputs(子参数)	输出tensor的名称
-configs	对应rknn.config()配置
----quantized_dtype(子参数)	量化类型，RKNN_toolkit2: 可填写 [asymmetric_quantized-8]，不输入用默认值
----mean_values(子参数)	输入的均值归一数，模型为单输入RGB如[123.675,116.28,103.53]，若为多输入如[[123,116,103],[255,255,255]]
----std_values(子参数)	输入的方差归一数，模型为单输入RGB如[58.395,58.295,58.391]，若为多输入如[[127,127,127],[255,255,255]]
----quant_img_RGB2BGR(子参数)	用于控制量化时加载量化校正图像时是否需要先进行RGB到 BGR 的转换，默认值是False
----quantized_algorithm(子参数)	量化算法，可选[‘normal’, ‘kl_divergence’, ‘mmse’]，默认为 normal
----quantized_method(子参数)	量化方式，RKNN_toolkit2可选[‘layer’, ‘channel’]，默认为channel
----optimization_level(子参数)	设置优化级别。默认为3，表示使用所有默认优化选项
----model_pruning(子参数)	修剪模型以减小模型大小，默认为false，开启为true
----quantize_weight(子参数)	当quantize参数为false时，通过量化一些权重来减小rknn模型的大小。默认为false，开启为true
----single_core_mode(子参数)	是否仅生成单核模型，可以减小RKNN模型的大小和内存消耗。默认值为False。目前对RK3588/RK3576生效。默认值为 False
----compress_weight(子参数)	压缩权重使rknn模型更小，默认为false，开启为true
----inputs_yuv_fmt(子参数)	输入配置为YUV格式，默认为false