为什么 FPGA 比 CPU 和 GPU 快？

FPGA、GPU 与 CPU——AI 应用的硬件选择

现场可编程门阵列 (FPGA) 为人工智能 (AI) 应用带来许多优势。图形处理单元 (GPU) 和传统中央处理单元 (CPU) 相比如何？

人工智能（AI）一词是指能够以类似于人类的方式做出决策的非人类机器智能。这包括判断能力、沉思能力、适应能力和意图能力。

研究公司Statista预测，到2025年，全球人工智能市场将达到1260亿美元。到2030年，人工智能将占中国GDP的26.1%、北美GDP的14.5%和阿联酋GDP的13.6%。

整个人工智能市场包括广泛的应用，包括自然语言处理（NLP）、机器人过程自动化、机器学习和机器视觉。人工智能正在许多垂直行业迅速得到采用，并正在创造下一个伟大的技术变革，就像个人电脑和智能手机的出现一样。

人工智能 (AI) 及其术语的起源可以归功于研究人员 Allen Newell、Cliff Shaw 和 Herbert Simon 在 1956 年创建的逻辑理论家程序。逻辑理论家程序旨在模拟人类解决问题的能力，由研究与开发（兰德）公司资助。逻辑理论家被认为是第一个人工智能项目，于 1956 年在新罕布什尔州达特茅斯学院的达特茅斯夏季人工智能研究项目 (DSRPAI) 上提出。

虽然人工智能主要依赖于模仿人类思维的编程算法，但硬件也是同样重要的一部分。用于人工智能操作的三种主要硬件解决方案是现场可编程门阵列（FPGA）、图形处理单元（GPU）和中央处理单元（CPU）。
每个选项都有自己的优势，但也有一些局限性，我们将进一步探讨。

FPGA

现场可编程门阵列 (FPGA) 是具有可编程硬件结构的集成电路类型。这与图形处理单元 (GPU) 和中央处理单元 (CPU) 的不同之处在于 FPGA 处理器内部的功能电路不是硬蚀刻的。这使得 FPGA 处理器能够根据需要进行编程和更新。这也使设计人员能够从头开始构建神经网络并构建 FPGA，以最好地满足他们的需求。

FPGA 的可重新编程、可重新配置架构为不断变化的人工智能领域提供了关键优势，使设计人员能够快速测试新的和更新的算法。无需开发和发布新硬件，这在加快上市时间和节省成本方面提供了强大的竞争优势。
FPGA 集速度、可编程性和灵活性于一身，可通过降低专用集成电路 (ASIC) 开发中固有的成本和复杂性来提高性能效率。

FPGA 提供的主要优势包括：
卓越的性能和减少延迟的优势：FPGA 提供低延迟和确定性延迟 (DL)。深度学习作为模型将从初始状态或给定的起始条件连续产生相同的输出。 DL 提供已知的响应时间，这对于许多具有硬期限的应用程序至关重要。这使得语音识别、视频流和动作识别等实时应用程序的执行速度更快。
成本效益：FPGA 在制造后可以针对不同的数据类型和功能进行重新编程，与用新硬件替换应用程序相比，它具有真正的价值。通过将图像处理管道等附加功能集成到同一芯片上，设计人员可以将 FPGA 不仅仅用于人工智能，从而降低成本并节省电路板空间。 FPGA 较长的产品生命周期可以为应用提供更高的实用性，可以在几年甚至几十年内测量。这一特性使其成为工业、航空航天、国防、医疗和运输市场的理想选择。
能源效率：FPGA 使设计人员能够微调硬件以满足应用需求。利用 INT8 量化等开发工具是优化 TensorFlow 和 PyTorch 等机器学习框架的成功方法。 INT8 量化还为 NVIDIA® TensorRT 和 Xilinx® DNNDK 等硬件工具链带来了良好的结果。这是因为 INT8 使用 8 位整数而不是浮点数，并且使用整数数学而不是浮点数学。正确利用 INT8 可以降低内存和计算需求，从而将内存和带宽使用量减少多达 75%。事实证明，这对于满足要求苛刻的应用中的能效要求至关重要。
FPGA 可以并行承载多种功能，甚至可以为特定功能分配芯片的各个部分，从而大大提高操作和能源效率。 FPGA 独特的架构将少量分布式内存放入结构中，使其更接近处理。与 GPU 设计相比，这可以减少延迟，更重要的是可以降低功耗。

GPU

图形处理单元 (GPU) 最初开发用于生成计算机图形、虚拟现实训练环境和视频，依赖于高级计算和浮点功能来绘制几何对象、照明和颜色深度。为了让人工智能取得成功，需要大量数据进行分析和学习。这需要强大的计算能力来执行人工智能算法并转移大量数据。 GPU 可以执行这些操作，因为它们是专门为快速处理渲染视频和图形时使用的大量数据而设计的。它们强大的计算能力使其在机器学习和人工智能应用中广受欢迎。

GPU 非常适合并行处理，即并行计算大量算术运算。这为具有快速连续重复执行的重复工作负载的应用程序提供了可观的加速。 GPU 的定价可以根据具有竞争力的解决方案进行定价，平均显卡的生命周期为五年。
GPU 上的人工智能确实有其局限性。 GPU 通常无法提供与 ASIC 设计一样多的性能，其中微芯片是专门为人工智能应用而设计的。 GPU 提供大量计算能力，但代价是能源效率和热量。热量可能会给应用程序带来耐久性问题，损害性能并限制操作环境的类型。更新AI算法和添加新功能的能力也不是FPGA处理器可比的。

中央处理器
中央处理器 (CPU) 是许多设备中使用的标准处理器。与 FPGA 和 GPU 相比，CPU 的架构具有有限数量的针对顺序串行处理进行优化的内核。 Arm® 处理器可能是一个例外，因为它们强大地实现了单指令多数据 (SIMD) 架构，允许在多个数据点上同时运行，但其性能仍然无法与 GPU 或 FPGA 相比。
有限的内核数量降低了 CPU 处理器并行处理正确运行 AI 算法所需的大量数据的效率。 FPGA 和 GPU 的架构设计具有快速同时处理多个任务所需的密集并行处理能力。 FPGA 和 GPU 处理器执行 AI 算法的速度比 CPU 快得多。这意味着人工智能应用程序或神经网络在 FPGA 或 GPU 上的学习和反应速度比 CPU 快几倍。
CPU 确实提供了一些初始定价优势。当使用有限的数据集训练小型神经网络时，可以使用 CPU，但代价是时间。基于 CPU 的系统比基于 FPGA 或 GPU 的系统运行速度慢得多。基于 CPU 的应用程序的另一个好处是功耗。与 GPU 配置相比，CPU 将提供更好的能效。

微型机器学习 (TinyML)

TinyML 被视为人工智能发展的下一个进化阶段，正在经历强劲的增长。在 FPGA、GPU 和 CPU 处理器上运行的人工智能应用程序非常强大，但它们不能用于手机、无人机和可穿戴应用程序等所有环境。
随着互联设备的广泛采用，需要进行本地数据分析，以减少对云的依赖以实现完整的功能。 TinyML 可在微控制器上运行的边缘设备上实现低延迟、低功耗和低带宽推理模型。
消费级 CPU 的平均功耗为 65 至 85 瓦，而 GPU 的平均功耗为 200 至 500 瓦。相比之下，典型的微控制器消耗的功率为毫瓦或微瓦数量级，这比功耗低一千倍。这种能源效率使 TinyML 设备能够依靠电池供电运行数周、数月甚至数年，同时在边缘运行 ML 应用程序。
TinyML 支持 TensorFlow Lite、uTensor 和 Arm 的 CMSIS-NN 等框架，将人工智能和小型互联设备结合在一起。

TinyML 的优势包括：
能源效率：微控制器消耗的电量非常少，这为远程安装和移动设备带来了好处。
低延迟：通过在边缘本地处理数据，数据不需要传输到云端进行推理。这大大减少了设备延迟。
隐私：数据可以存储在本地，而不是存储在云服务器上。
减少带宽：随着推理对云的依赖减少，带宽问题也被最小化。
使用 MCU 的 TinyML 的未来对于小型边缘设备和 FPGA、GPU 或 CPU 不可行的普通应用程序来说是有希望的。

要点

AI 的三种主要硬件选择是：FPGA、GPU 和 CPU。在速度和反应时间至关重要的人工智能应用中，FPGA 和 GPU 在学习和反应时间方面具有优势。虽然 GPU 能够处理人工智能和神经网络所需的大量数据，但其缺点包括能源效率、热考虑因素（热量）、耐用性以及使用新功能和人工智能算法更新应用程序的能力。 FPGA 在人工智能应用和神经网络中具有关键优势。其中包括能源效率、实用性、耐用性以及轻松更新人工智能算法的能力。