NVIDIA Jetson Orin 简介

计算机经历了漫长的发展才成为今天的形态如今常见的计算机在结构上多有相似之处至少包含 CPU、GPU、内存与存储等部件。时至今日我们对计算机设计的许多认知仍建立在这些使机器得以运转的关键组件之上。每个部件都承担独特角色与功能共同决定整机的性能表现。以 GPU 为例它早已演化为高度专业化、在整机中独树一帜的一环。GPU 早已超越单纯渲染图形的初衷成为并行处理任务中不可或缺的工具尤其适用于当今的 AI 与机器学习应用。随着这类应用快速增长GPU 作为应对工业 4.0 自动化或机器人等领域繁重负载的关键组件普及度迅速上升。当计算机集成 GPU 后系统可获得超越传统 CPU 单独工作时所能提供的更强处理能力。GPU 擅长同时执行大量计算因而非常适合神经网络训练与边缘 AI 推理等基础任务。并行处理以 GPU 技术为基石而 NVIDIA 至今仍是高性能显卡背后半导体设计的主要力量之一。公司通过 CUDA 核心等技术让全球用户能够在其专有图形处理器上运行从电子游戏到重负载 AI 软件等各类工作负载。工业 4.0 同样受益于 GPU 带来的强劲算力尤其是在当下 AI 技术爆发式发展的背景下。随着 AI 应用在市场上不断渗透越来越多嵌入式场景希望利用 GPU 或类似性能加速器等异构、领域专用计算架构。然而许多工业应用始终要面对一个棘手问题与散热、功耗和热设计相关的物理规律对 GPU 尤为突出。GPU 体积大、发热高、耗电多。市面上不少消费级 GPU 功耗很高往往不适合直接用于工业计算机除非采用主动散热等措施。作为一家拥有 35 年经验的硬件制造商Premio 一直在 rugged 工业计算中寻求功耗效率与性能之间的平衡。Jetson Orin 为像我们这样的厂商铺平了道路使我们能够为当今新一轮边缘 AI 计算提供前沿方案。借助 Jetson OrinPremio 能够在严苛边缘场景应对实时 AI 处理与低延迟数据遥测等挑战在能效与性能上树立新的标杆。什么是 JetsonNVIDIA 认识到许多工业场景在落地 AI 与边缘计算时面临的困难尤其是涉及 GPU 时。随着 AI 应用从传统数据中心与云端向更广领域延伸业界越来越需要一种专用平台能在规避常见弊端的前提下将 AI 无缝集成到边缘设备中。NVIDIA 希望推动 AI 民主化为各类工业应用提供更易获取的解决方案其动机在于赋能开发者、研究者以及不同规模的企业使其无需依赖大规模计算基础设施的常见复杂度也能运用 AI 的能力。由此诞生的是NVIDIA Jetson 平台——一系列嵌入式 AI 计算设备旨在将深度学习与计算机视觉等变革性能力带到边缘设备或更不稳定、更偏远的部署环境中。Jetson 系列在核心上融合了高性能 GPU、专用 AI 硬件以及完整的软件栈从而支持在现实场景中部署智能应用。传统 x86 系统带来的痛点推动 NVIDIA 投入资源打造能够缓解全球用户普遍面临挑战的系统。理解 Jetson 模组关键设计特点每一块 NVIDIA Jetson 都是完整的系统级模组SoM集成 GPU、CPU、内存、电源管理、高速接口等。这些部件经过优化在保持能效的同时提供高性能 AI 推理使边缘设备能够高效运行复杂 AI 算法。通过将关键部件整合为单一模组NVIDIA Jetson 可融入更小、空间受限的方案同时仍能满足许多边缘设备所需的性能与功耗效率。Jetson 平台的另一差异化因素在于 NVIDIA 的设计理念Jetson 不仅是专用硬件还配套面向 Jetson 设备 AI 开发调优的工具生态包括对 TensorFlow 等主流 AI 框架以及 NVIDIA TensorRT 的支持以及面向计算机视觉与深度学习的库与 API。此外NVIDIA 对开源软件与详尽文档的投入有助于形成协作式生态让社区能够参与并受益于平台的持续演进。NVIDIA JetPack SDK是面向 Jetson 产品最全面的软件库之一为客户提供从端到端构建 AI 解决方案的完整能力。Jetson 的独特设计Jetson 平台的优势不仅在于算力还在于其整体设计思路。NVIDIA 以兼顾硬件与软件的全局视角打造 Jetson 设备力求提供顺畅的开发体验。Jetson Orin 模组产品线NVIDIA Jetson 家族包括Jetson Orin 系列2023 年 3 月发布提供三种不同外形规格以应对多种需要实时处理、数据遥测与丰富 I/O 灵活性的边缘 AI 工作负载。规格对照表Jetson Orin项目Jetson AGX Orin 64GBJetson AGX Orin 32GBJetson Orin NX 16GBJetson Orin NX 8GBJetson Orin Nano 8GBJetson Orin Nano 4GBAI 性能275 TOPS200 TOPS100 TOPS70 TOPS40 TOPS20 TOPSGPU2048 核 NVIDIA Ampere 架构 GPU64 个 Tensor Core1792 核 Ampere GPU56 个 Tensor Core1024 核 Ampere GPU32 个 Tensor Core同左512 核 Ampere GPU16 个 Tensor Core—GPU 最高频率1.3 GHz930 MHz918 MHz765 MHz625 MHz—CPU12 核 Arm® Cortex®-A78AE v8.2 64 位8 核 A78AE8 核 A78AE6 核 A78AE6 核 A78AE—缓存3 MB L2 6 MB L32 MB L2 4 MB L32 MB L2 4 MB L31.5 MB L2 4 MB L31.5 MB L2 4 MB L3—CPU 最高频率2.2 GHz2.2 GHz2 GHz1.5 GHz——注表中部分型号在原文表格中列示略有差异完整规格请以 NVIDIA 官方文档 为准。Jetson AGX Orin 模组Jetson AGX Orin 模组可提供最高约275 TOPS的 AI 性能功耗可在15 W60 W范围内配置。它是 Jetson Orin 产品线中的旗舰型号具备最高性能与能力面向自动驾驶、机器人、工业自动化、智慧城市等对 AI 要求严苛的领域。AGX Orin 适合需要实时 AI 推理、传感器融合以及高性能计算的应用。Jetson Orin NX 模组Jetson Orin NX 模组在 Jetson 最小外形规格下可提供最高约100 TOPS的 AI 性能功耗可在10 W25 W范围内配置。作为中端定位Orin NX 在性能、能效与成本之间取得平衡适用于智能相机、无人机、智能家电及嵌入式 AI 系统等广泛的 AI 边缘计算场景相较 AGX其更紧凑、更具成本效益。Jetson Orin Nano 模组Jetson Orin Nano 系列在最小 Jetson 外形下可提供最高约40 TOPS的 AI 性能功耗选项约为7 W15 W。Orin Nano 是 Jetson Orin 家族中的入门型号面向优先考虑较低功耗与成本、同时仍需要一定 AI 处理能力的应用适合边缘 AI 设备、物联网IoT设备以及空间、功耗与成本约束严格的其他嵌入式系统。典型应用领域Jetson 平台的通用性使其可落地于众多行业部分典型方向包括自动驾驶车辆机器人智慧城市医疗健康工业物联网IIoT如何为任务选对工具引入 NVIDIA Jetson并不意味着否定 GPU 作为算力来源的价值相反它为系统集成商与 OEM 在规划 AI 计算方案时提供了更多选择。针对具体工业应用总有若干因素需要权衡——在许多场景下选用独立 GPU 可能比选用 Jetson 更合适反之亦然。GPU在训练大规模神经网络或运行对算力要求极高的复杂 AI 算法时可优先考虑 GPU。在需要大规模并行与极致原始算力的场景中GPU 表现突出。Jetson在边缘部署 AI 应用且低延迟、能效与小体积至关重要时宜选用 Jetson。在需要实时推理、并集成到小型、资源受限设备中的场景Jetson 优势明显。其他 AI 加速器如 TPU也可考虑张量处理单元等路径在部分应用中从 x86 迁移到 ARM 可能弊大于利。这类加速器常可作为 GPU 与 Jetson 之外的低功耗、高性能替代方案。若希望进一步了解各类性能加速器之间的差异与优势可参阅 Premio 的 CPU vs GPU vs TPU 对比综述原文为英文。结语在快速演进的 AI 计算格局中GPU 与 NVIDIA Jetson 平台都扮演不可替代的角色各自面向不同需求与用例。理解这些技术的优势与适用场景后开发者与工程师可以更有效地加以运用推动创新并在不同领域释放人工智能的潜力。无论是利用 GPU 的并行处理能力还是借助 Jetson 在边缘直接部署 AIAI 计算的未来都充满可能性等待被探索并用于改善社会。