TensorRT 和 PyTorch区别

一、TensorRT 和 PyTorch

TensorRT 和 PyTorch 是两个不同的深度学习工具，虽然它们可以用于处理相同类型的任务，但它们的用途、特点和设计目标有所不同。

1. TensorRT 简介
   TensorRT 是 NVIDIA 开发的一款高性能深度学习推理引擎，主要用于优化和加速深度学习模型在 NVIDIA GPU 上的推理性能。它能够将训练好的深度学习模型转换为高效的推理版本，并对模型进行各种优化，如混合精度推理、层融合、内存和计算优化等，以最大化利用 GPU 资源。

主要特点：

模型优化：通过图层融合、内存优化等手段优化模型执行效率。
混合精度推理：支持 FP32、FP16 和 INT8 等多种精度格式，能够在保持精度的同时提升性能。
硬件依赖：专为 NVIDIA GPU 优化，能够充分发挥 GPU 的计算能力。
推理加速：显著减少推理时的延迟，并提高吞吐量。
集成性：通常与 TensorFlow、PyTorch 等框架结合使用，将模型导出为 ONNX 或其他格式后进行优化和推理。
主要用途：

用于部署深度学习模型，在生产环境中进行高效推理。
特别适合在边缘设备或数据中心中使用 NVIDIA GPU 进行高性能推理。
2. PyTorch 简介
PyTorch 是一个由 Facebook AI Research 团队开发的开源深度学习框架。它非常适合研究和开发阶段，因其灵活性和易用性而广受欢迎。PyTorch 提供了一个动态计算图，可以更直观地调试和开发模型。

主要特点：

灵活性：支持动态计算图，易于调试和开发模型。
模块化设计：丰富的预训练模型和模块，可以方便地构建和扩展神经网络。
广泛应用：不仅用于学术研究，还广泛用于工业界的模型训练和开发。
生态系统：与 Hugging Face、TorchServe 等工具无缝集成，支持 NLP、CV、音频等多种任务。
分布式训练：支持大规模分布式训练，能够高效利用多台机器和多个 GPU。
主要用途：

深度学习模型的研究、开发和训练。
可用于从研究到生产的全流程，尽管它更偏重于模型的开发和训练阶段。
3. TensorRT 与 PyTorch 的区别
用途不同：

PyTorch 主要用于模型的开发和训练阶段，适合研究人员和开发者使用。
TensorRT 专注于模型的推理优化和部署，适合在生产环境中使用。
架构依赖：

PyTorch 可以在 CPU 和 GPU 上运行，但在推理阶段，可能没有经过优化。
TensorRT 专门为 NVIDIA GPU 进行了高度优化，能够显著提升推理性能。
优化与性能：

PyTorch 在训练时提供灵活性，但推理性能可能不如专门优化的引擎。
TensorRT 通过多种优化手段提升推理效率，特别是在使用 NVIDIA 硬件时效果显著。
开发流程：

开发者通常使用 PyTorch 训练模型，然后将模型导出为 ONNX 或其他格式，接着在 TensorRT 中进行优化并部署。
总结
PyTorch 是用于深度学习模型开发和训练的框架，提供了灵活性和易用性。
TensorRT 是用于模型推理的优化引擎，专注于在 NVIDIA GPU 上进行高性能推理。
它们常常被结合使用：先在 PyTorch 中开发和训练模型，然后使用 TensorRT 来优化和部署该模型，以获得更好的推理性能。

二、TensorRT demo

代码仓：https://github.com/cyrusbehr/tensorrt-cpp-api.git
示例没有区分x86和aarch64，一般默认编译器都为gcc，要么在CMakeLists.txt指定aarch64，要么编译指定：cmake -DCMAKE_C_COMPILER=/usr/bin/aarch64-linux-gnu-gcc -DCMAKE_CXX_COMPILER=/usr/bin/aarch64-linux-gnu-g++ …
参考cmake文档