6.1.tensorRT高级(1)-概述

前言

杜老师推出的 tensorRT从零起步高性能部署 课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。

本次课程学习 tensorRT 高级-概述

课程大纲可看下面的思维导图

1. tensorRT高级概述

tensorRT 高级篇按以下的思路进行规划：

1. 高级篇，以实际项目为例，演示 tensorRT 的综合运用

2. 不封装到组件封装，进行演示

3. 针对调试技巧进行讲解，如何发现 bug、调试 bug、解决 bug

4. 高级课程主讲思想和过程，并且提供了大量案例代码，可以自行查阅，这里挑选经典案例进行讲解

课程安排有：

1. 经典案例-无封装讲解

2. 关于深度学习的多线程讲解

3. tensorRT 的逐步封装讲解（build、infer、内存分配等）

4. 经典案例-封装讲解

5. 模型的调试技巧，debug 方法

主要案例有：

1. 分类器案例，完整的 CNN 分类器推理过程

2. Yolov5 从下载导出 onnx，然后推理，图像预处理到后处理整个过程

3. UNet 场景分割案例，关于分割有何不同

4. alphapose 案例，关于关键点检测，后处理尽量让 onnx 做的思想

5. mmdetection 案例，掌握如何分析 mmdetection 并导出 onnx

6. onnxruntime 的使用，如何利用不同的推理引擎 onnxruntime 进行模型推理（方便做对比）

7. 针对深度学习下的多线程知识（区别于软工）

8. 对 tensorRT 进行封装，并逐步完成改造

9. 自动驾驶场景的车道线检测、深度估计、地面分割

下面是各种案例效果：

图1 AlphaPose案例效果

图2 YoloV5案例效果

图3 RetinaFace案例效果

图4 InsightFace案例效果

图5 UNet案例效果

图6 HuggingFace-NER案例效果

图7 YoloV5-OBB案例效果

图8 Self-Driving-Adas

总结

本次课程为 tensorRT 高级的概述，主要讲解了高级篇我们要如何开展，在高级篇中我们主讲思想和过程，并且提供了大量案例代码，以实际项目为例来演示 tensorRT 的综合运用。除此之外还有关于深度学习的多线程知识、tensorRT 封装以及模型的调试技巧讲解。