模型转换案例学习：等效替换不支持算子

文章介绍

       Qualcomm Neural Processing SDK （以下简称SNPE）支持Caffe、ONNX、PyTorch和TensorFlow等不同ML框架的算子。对于某些特定的不支持的算子，我们介绍一种算子等效替换的方法来完成模型转换。本案例来源于https://github.com/quic/qidk/tree/master/Model-Enablement/Model-Conversion-Layer-Replacement

以PyTorch  MobilenetV3模型转换SNPE DLC的过程为例子，介绍如何使用等效算子替换的方法达成不支持算子的转换

前置条件

• SNPE-2.7.x-在PC上下载并设置好SNPE

相关步骤参考Snapdragon Neural Processing Engine SDK: SNPE Setup

• python version 3.6.x and 3.8.x
• Torch version 1.10
• 安装pip install jupyter
• 一台Linux机器
• 高通Snapdragon 安卓手机，推荐Snapdragon® 8 Gen 2系列手机

特别注意：Qualcomm Neural Processing SDK需要python 3.6版本，型号repo需要python 3.8版本。因此，建议使用两个不同的虚拟环境。

操作步骤：

一、获取模型

1. 运行以下命令获取模型：

cd generatedModels

 wget https://download.pytorch.org/models/mobilenet_v3_large-8738ca79.pth

2. 现在，我们将使用MobileNetV3的Pytorch模型来获得ONNX模型。我们通常建议使用这种方法从pytorch模型生成dlc，方法是先转换为onnx，然后再转换为dlc。

运行getModel.py生成ONNX文件：
python getModel.py

cd ..

3. 这将生成ONNX模型可以在generatedModels/ONNX/文件夹中找到。

4. 现在，我们可以将ONNX模型转换为DLC

 

二、模型转换错误信息

1. 注意：在继续操作之前，请确保generatedModels/ONNX/mobilenet_v3.ONNX文件存在。

2. 使用Qualcomm Neural Processing SDK检查模型到dlc的转换

snpe-onnx-to-dlc -i generatedModels/ONNX/mobilenet_v3.onnx -o generatedModels/ONNX/mobilenet_v3.dlc

3. 以上，我们可以看到“onnx_hardsigmoid”转换没有注册，这里将用我们自己的自定义harsigmoid实现来更改。

三、替换架构-Harsigmoid

1. 找到模型源文件。

<python3.8-packages>/torchvision/models/mobilenetv3.py。

2. 搜索Hardsigmoid的调用/实现。

3. 对该行进行注释，并使用新的CustomHardsigmoid调用添加新的代码行。

4. 正如我们所看到的，Hardsigmoid是从nn模块调用为nn.Hardsigmoid。因此，我们找到＜python3.8_path＞/site packages/torch/nn/dir来编写我们自己的CustomHardsigmoid实现。

5. Hardsigmoid是一个激活函数。因此，它位于nn/modules/activation.py文件中。

6. 在__all__变量中添加``CustomHardsigmoid```，即要定义的自定义函数的名称。

7. 在nn/modules/activation.py中实现您自己的CustomHardsigmoid。注意：SDK没有nn.Hardsigmoid的转换。因此，我们将以与SDK兼容的方式定义Hardsigmoid。

Hardsigmoid可以表示为- torch.clamp((input*0.167+0.5),0,1)

8. 参考如下CustomHardsigmoid的实现代码

https://github.com/quic/qidk/blob/master/Model-Enablement/Model-Conversion-Layer-Replacement/class/CustomHardsigmoid.py

class CustomHardsigmoid(Module):

    __constants__ = ['inplace']

    inplace: bool

    def __init__(self, inplace : bool = False)->None:   

        super().__init__()

        self.inplace = inplace

    def forward(self, input: Tensor, inplace: bool = False) -> Tensor:

        return torch.clamp((input*0.167+0.5), 0, 1)

9. 我们已经定义了自己的实现，现在我们将查找nn.Hardsigmoid的所有依赖项

10. 在同一torc/nn/modules/目录中，在__init__.py文件中添加CustomHarsigmoid调用。然后保存后继续操作

11. 到MobileNetV3目录，并使用新实现的Customhardsigmoid层转储模型。

python generatedModels/getModel.py

 

四、再次转换，分析错误

1. 将具有新实现的CustomHardsigmoid层的ONNX模型转换为dlc

  snpe-onnx-to-dlc -i generatedModels/ONNX/mobilenet_v3.onnx -o generatedModels/ONNX/mobilenet_v3.dlc

Error :

2. 我们得到了一个新的框架错误，说“onnx_hadswish”转换没有注册，我们现在将来更改hardswish的实现。

五、替换架构-Hardswish

1. 找到模型源文件。

<python3.8-packages>/torchvision/models/mobilenetv3.py

2. 搜索Hardswish的调用/实现

Occurrence-1

Occurrence-2

Occurrence-3

Occurrence-4

3. 注释所有这些行，并使用新的CustomHardswish调用添加新的代码行。

4. 正如我们所看到的，Hardswish是从nn模块调用为nn.Hardswish的，因此，我们将到＜python3.8_path＞/site packages/torch/nn/目录来编写我们自己的CustomHardswish实现。

5. Hardswish是一个激活函数。因此，它位于nn/modules/activation.py文件中。

6. 在__all__变量中添加``CustomHardswish```，即要定义的自定义函数的名称。

7. 在nn/modules/activation.py中实现您自己的CustomHardswish。注意：SDK没有nn.Hardswish的转换。因此，我们将以与SDK兼容的方式定义Hardsigmoid。

Hardswish可以定义为一个简化的表达式- input*torch.clamp(input+3, min=0, max=6)/6

8. 参考CustomHardswish的实现代码

https://github.com/quic/qidk/blob/master/Model-Enablement/Model-Conversion-Layer-Replacement/class/CustomHardswish.py

class CustomHardswish(Module):

    __constants__ = ['inplace']

    inplace: bool

    def __init__(self, inplace : bool = False) -> None:

        super().__init__()

        self.inplace = inplace

    def forward(self, input: Tensor) -> Tensor:

        return input*torch.clamp(input+3, min=0,max=6)/6

9. 我们已经定义了自己的实现，现在我们将查找nn.Hardswish的所有依赖项。

10. 在同一torch/nn/modules/目录中，在__init.py文件中添加CustomHarswish调用，保存修改，继续下一步操作

11. 到MobileNetV3目录，并使用新实现的Customhardswish层转储模型。

   python generatedModels/getModel.py

 六、再次转换DLC

1. 将具有新实现的CustomHardswish以及CustomHardsigmoid层的ONNX模型转换为dlc

snpe-onnx-to-dlc -i generatedModels/ONNX/mobilenet_v3.onnx -o generatedModels/ONNX/mobilenet_v3.dlc

2. 现在，我们可以使用snpe-onx-to-dlc将ONNX模型转换为dlc。

最后我们完成了DLC模型的转换

作者：高通工程师，戴忠忠（Zhongzhong Dai）