基于TPU-MLIR实现UNet模型部署-决赛答辩02

队伍：AP0200023

目录

初赛

一、 模型导出优化

1.1 直接倒出原始模型并转换

1.2 导出模型前处理

1.2.1 导出Resize

1.2.2 导出归一化

1.3导出模型后处理

1.3.1导出 Resize 与

1.3.2导出 ArgMaxout

1.3.3导出特征转RGB

复赛

 一、 确定baseline

二、优化模型

复赛结果总结

三、遇到的问题总结

1. ONNX转MLIR

2. MLIR转bmodel

3. MLIR推理代码 BUG 【已经解决了】

四、 一些想法和建议

---

初赛

一、 模型导出优化

1.1 直接倒出原始模型并转换

报错Pad节点输入问题，修改源码报错解决

x1 = F.pad(x1, [diffX // 2, diffX - diffX // 2,diffY // 2, diffY - diffY // 2])
x1 = F.pad(x1, [diffX // 2, diffX - diffX // 2,diffY // 2, diffY - diffY // 2], mode="constant",
value=0)

1.2 导出模型前处理

1.2.1 导出Resize

x = F.interpolate(x, (h // 2, w // 2), mode='bilinear')

原始Unet在UINT8输入下做Resize，但是这个操作不能直接导出到ONNX，因此测试了FP32 Resize和FP32归一化Resize，还有Resize模式bicubic bilinear。

工具链不支持bicubic。最终使用bilinear结果差距很大。

1.2.2 导出归一化

x = x / 255.0 #                     1.导出除法
x = x * (1.0 / 255.0) #             2.导出乘法
param = self.unet.inc.double_conv[0].weight / 255.0
self.unet.inc.double_conv[0].weight = torch.nn.Parameter(param,
requires_grad=False) #              3.首层卷积权重/ 255.0

上述三中归一化操作对整体耗时影响很小，第三种方法FP32速度最快，但是可能INT8量化有问题。

1.2.3导出BGR2RGB

经过测试 OpenCV +切片比 PillowSkimage 读图速度快，因此考虑将BGR2RGB转出到 ONNX ，使用 Gather 算子实现。

param = param[:, [2, 1, 0], ...]

使用 Gather 会造成额外的拷贝，后面又改进成把首层卷积核顺序反转，这样的速度最快，且没有任何负面影响。

1.3导出模型后处理

1.3.1导出 Resize 与

前处理相似。

1.3.2导出 ArgMaxout

out = out.argmax(-1)

模型转换报错不支持 ArgMax ，换如下实现：

out = torch.lt(out[0, 0], out[0, 1])        # Gather + Less
out = self.conv(out) > 0                    # Conv + Greater

 尝试构造 Conv 用来实现两个 Channel 做差， Conv 有可能以INT8运行，速度比较快。

conv = nn.Conv2d(2, 1, kernel_size=1, stride=1, padding=0, bias=False)
conv.weight = nn.Parameter(torch.tensor([-1, 1]).to(conv.weight).reshape(conv.weight.shape),requires_grad=False)

1.3.3导出特征转RGB

out = out.to(torch.uint8) * 255
out = torch.cat([out, out, out], -1)

复赛

 一、 确定baseline

复赛的比赛说明中以模型运行速度为准，因此初赛的很多工作都用不上了。转而变成了纯 UNET 模型优化。

我使用 UNET -Scale1.0输入1918x1280进行模型转换量化，最终作为 BaseLine ，结果如下：

flops: 3604915801600, runtime: 204.196060ms, ComputationAbility: 17.654188T
195.027445    0.992235  204.196060  1.675526e+09  2023-02-04

模型 DICE 分数很高，将该模型预测的结果作为 GT。

二、优化模型

1．经过观察发现模型中下采样16倍导致1918的输入无法整除，造成了额外的 Padding ，所以我尝试输入1920x1280测试模型速度。由于输入图片为1918x1280，如果直接 Resize 会造成失真，我们选择在最下面Padding2个像素，结果如下：

0.992251  199.453278  1.675657e+09  2023-02-06

可以看到模型 DICE 分数提升，并且检测速度变快，最终得分200。

2．优化反卷积

同样为了解决下采样16倍产生额外的 Padding 问题，尝试将 Padding 移动到 ConvTranspose 中，查阅 ONNXop 介绍可知 output _ padding 属性可以设置。

0.742231  199.346721  1.675677e+09  2023-02-06

3．公布第一轮成绩时我发现其他队伍分数很高，模型的 DICE 分数在98-99做有，推理分数30-40左右，最终的得分比我高很多，所以我同样选择降低分辨率。

使用Scale1.0和640x959640x960得到如下结果：

0.776212   42.033154  1.675665e+09  2023-02-06
0.777545   39.177540  1.675695e+09  2023-02-06

速度分很好，但是 DICE 分数很低，怀疑是Scale1.0模型导致的，然后使用Scale0.5模型继续测试。

0.990611   41.376142  1.676272e+09  2023-02-13
0.990987   39.177540  1.676293e+09  2023-02-13

速度分和精度分都上来了，达到了360分。

4. 继续缩小输入尺寸

为了保证输入宽高比例为3:2同时尽量满足16倍数，我测试了下面几个组合

 实验发现当尺寸在560x368附近时，模型尚可保持精度，当尺寸更小的时候精度掉的较多。

5. 改进分割前后处理

比赛最后几天榜单更新，然后为了冲榜继续缩小输入尺寸，最终定为304x208，满足16的倍数和长宽比3:2。

经过本地测评发现精度丢失非常严重，然后开始优化前后处理。

(1) 前处理

由于图片尺寸太小， Resize 方法带来的结果有所不同。

 使用 INTER _ CUBICINTER _ LINEARINTER _ NEAREST 得到的结果均类似左图，噪声的面积较大，使用 INTER _ AREA 则如右图，噪声叫小。

(2) 后处理

由于后处理时网络对噪声预测的分数较高使用 ArgMax 后会有一定混淆，因此我使用类似 SoftMax 的操作，对检测数值接近且在一定范围内的预测结果置为背景，代码如下：

bg, qg = out[..., 0], out[..., 1]
diff = bg - qg
flag = diff < 0
mi = np.abs(out).min(axis=2)
new_flag = diff[flag] / mi[flag] < -thres
diff[flag] = -new_flag.astype(np.float32)

(3) 去除多余联通域

经过过滤一定范围内的差值，可以减少对噪声的检测。经过多组实验最终确认 thres 为2.2。除此之外，预测的结果存在多余区域，如图：

 通过过滤除了最大联通域区域以外的区域可以避免多余区域。

def remove_no_connected_gray(gray):num_labels, labels, stats, centroids =
cv2.connectedComponentsWithStats(gray, connectivity=8)quyuId, pixNums = np.unique(labels, return_counts=True)mask_background = quyuId != 0quyuId, pixNums = quyuId[mask_background], pixNums[mask_background]if quyuId.shape[0] == 1:return np.ones_like(gray)else:maxId = quyuId[pixNums.argmax()]mask = (labels == maxId).astype(np.uint8)return mask

(4) 对于边缘不平滑的预测，如图：

使用形态学开运算和高斯滤波可以让边缘平滑，去除突起：

out = cv2.medianBlur(opening, 9)

实验多种滤波核大小，3/6/9/11/13发现核较大精度较高，最终选择9达到了较好的分数。

(5) 形态学运算去除其他噪声

经过滤波等操作后的图像仍然存在边缘突出，分割图内部空洞，边缘异常等问题，最终采用形态学运算进行改善。使用腐蚀去除边缘突出，使用膨胀填充图像空洞。

kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (k, k))
# kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (k, k))
opening = cv2.morphologyEx(img, cv2.MORPH_OPEN, kernel, 1)

同样，滤波核（十字椭圆圆形），滤波核尺寸3/6/9/11/13等通过多组实验确认。

前面有很多超参如 thres 和滤波 kernel 大小形状均是通过本地实验，使用 BaseLine 得到的 GT 计算 dice 分数确定的最优解。最终最后一次提交的结果如下：

391.288683    0.952803    3.991613  1.677598e+09  2023-02-28

复赛结果总结

经过几次提交得到的结果可以分析出，在模型 DICE 分数上差距较小，均在95-99分之间，上下浮动不超过5分，但是时间分数上不同尺寸的输入可以带来1-200的差距，因此只能在输入尺寸上下文章。由于前后处理不计算耗时，因此我最终选择304x208输入尺寸，并改进后处理模块实现了本次比赛模型速度最快，总分第4的成绩。

三、遇到的问题总结

1. ONNX转MLIR

1.1在 ONNX 注册了预处理后需要同时改变--mean0,0,0--scale1,1,1- pixel -formatbgr1.2ONNX中的 Resize / ArgMax 在 MLIR 中不支持，更换其他算子1.3ONNX中的 Pad 缺少参数报错，修改 PyTorch 模型1.4不支持UINT8数据格式，这部分生成图片放到 CPU 做。

2. MLIR转bmodel

2.1编译对称量化模型时-- tolerance 设置太高会导致编译失败，降低分数为0.80.42.2编译非对称量化模型时分数很低也会报错，速度提升也很小，放弃了。2.3编译模型时尺寸大的耗时严重，并且推理耗时也很大，最后选择小尺寸。

3. MLIR推理代码 BUG 【已经解决了】

比赛初始阶段提供的 MLIR 推理代码有问题，导致有一次提交没结果，后来官方修改更新的代码正常了。

四、 一些想法和建议

1．希望 model _ transform 工具实现 TPU 支持的常用的数据预处理 OP ，如果归一化和通道转换，作为单独的 OP ，这样就不需要写 CPU 的实现了。

2．希望 model _ transform 在遇到报错的 OP 能给出 OP 名字等信息，方便定位问题，报错能够详细一点。

3．希望 run _ calibration 和 model _ deploy 工具可以充分利用多核 CPU 的优势，在使用上述工具时某些阶段 CPU 利用率很高，某些阶段只有一个核心在用，猜测这部分是 Python 代码受到了 GIL 限制，可以尝试Pybind11改进一下。

4．希望编译后的模型可以把 fusion 和 pass 再反向生成一个 tpuop 的 onnx ，用于可视化模型结构。

5．希望 CPU 模拟 TPU 推理时也可以充分利用多核，大尺寸图像推理耗时太严重了，几个小时起步。

6．希望测试 bmodel 得到的 profile 文件可以通过网页或者其他形式可视化出结果，目前分析只能一行行的看。

7．希望未来复赛能像初赛一样可以自定义很多 trick ，复赛太单调了，并且用处也不太大。