InfiniBand 的前世今生

今年，以 ChatGPT 为代表的 AI 大模型强势崛起，而 ChatGPT 所使用的网络，正是 InfiniBand，这也让 InfiniBand 大火了起来。那么，到底什么是 InfiniBand 呢？下面，我们就来带你深入了解 InfiniBand。

InfiniBand的发展历史

InfiniBand（也称为“无限带宽”，缩写为 IB）是一个用于高性能计算的计算机网络通信标准，它具有极高的吞吐量和极低的延迟，用于计算机与计算机之间的数据互连。InfiniBand 也用作服务器与存储系统之间的直接或交换互连，以及存储系统之间的互连。随着人工智能的兴起，它也是 GPU 服务器的首选网络互连技术。

我们来看下 InfiniBand 的发展历程：

1999 年，一家名为 InfiniBand Trade Association（IBTA）的组织发布了 InfiniBand 架构，该架构的目的是为了取代 PCI 总线，旨在提供一种高性能、低延迟的计算和存储互连技术。

2000年，InfiniBand架构规范的 1.0 版本正式发布。紧接着在 20021 年，首批 InfiniBand 产品问世，多家厂商也开始推出支持 InfiniBand 的产品，包括服务器、存储系统和网络设备等。

2003 年，InfiniBand 转向一个新的应用领域——计算机集群互联，并在当时的 TOP500 超级计算机中得到了广泛应用。

在接下来的几年中，InfiniBand 多次引入新的特性和改进，支持双倍带宽的 DDR(Double Date Rate)、远程直接内存访问和更好的虚拟化支持，这些新特性为高性能计算和存储系统提供了更多的灵活性和性能优势。

到 2019 年的 TOP500 超级计算机中，已经有 181 个采用了 InfiniBand 技术，当时的 Ethernet（以太网）仍然是主流。而到了 2015 年，InfiniBand 技术在 TOP500 超级计算机中的占比首次超过了50%，达到 51.4%。这标志着 InfiniBand 技术首次实现了对以太网技术的逆袭，成为超级计算机中最受欢迎的内部连接技术。

InfiniBand的架构

InfiniBand 是处理器和 I/O 设备之间数据流的通信链路，支持多达 64,000 个可寻址设备。InfiniBand 架构 (IBA) 是一种行业标准规范，定义了用于互连服务器、通信基础设施、存储设备和嵌入式系统的点对点交换输入/输出框架。

InfiniBand的网络架构

InfiniBand 具有普遍性、低延迟、高带宽和低管理成本，非常适合在单个连接中连接多个数据流（集群、通信、存储、管理），具有数千个互连节点。最小的完整 IBA 单元是子网，多个子网通过路由器连接起来形成一个大的 IBA 网络。

InfiniBand 系统由通道适配器、交换机、路由器、电缆和连接器组成。CA 分为主机通道适配器(HCA)和目标通道适配器(TCA)。IBA 交换机在原理上与其他标准网络交换机类似，但必须满足 InfiniBand 的高性能和低成本要求。HCA 是 IB 端节点（例如服务器或存储设备）连接到 IB 网络的设备点。TCA 是一种特殊形式的通道适配器，主要用于存储设备等嵌入式环境。

△ InfiniBand 的网络拓扑结构

InfiniBand的分层架构

InfiniBand 架构分为多个层，每个层彼此独立运行。InfiniBand 分为以下几层：物理层、链路层、网络层、传输层和上层。

物理层：物理层服务于链路层并提供这两层之间的逻辑接口。物理层由端口信号连接器、物理连接（电和光）、硬件管理、电源管理、编码线等模块组成，

链路层：链路层负责处理分组中链路数据的发送和接收，提供寻址、缓冲、流量控制、错误检测和数据交换等服务。服务质量（QoS）主要由这一层体现。

网络层：网络层负责在 IBA 子网之间路由数据包，包括单播和多播操作。网络层不指定多协议路由（例如，非 IBA 类型上的 IBA 路由），也不指定原始数据包如何在 IBA 子网之间路由。

传输层：每个 IBA 数据都包含一个传输头。传输头包含端节点执行指定操作所需的信息。通过操纵 QP，传输层的 IBA 通道适配器通信客户端形成“发送”工作队列和“接收”工作队列。

上层：上层协议和应用层负责处理更高级别的通信功能和应用需求。上层协议可以包括诸如TCP/IP（传输控制协议/互联网协议）、UDP（用户数据报协议）、MPI（消息传递接口）等常见的网络协议。它们利用底层提供的基础通信能力，通过InfiniBand网络进行数据传输和通信，用于实现应用程序之间的通信和数据交换。此外，上层还包括运行在 InfiniBand 网络上的应用程序。

InfiniBand的特点及优势

InfiniBand 最突出的一个优势，就是率先引入了 RDMA （Remote Direct Memory Access）协议。RDMA 是一种绕过远程主机而访问其内存中数据的技术，解决网络传输中数据处理延迟而产生的一种远端内存直接访问技术。

在传统的 TCP/IP 网络通信中，数据发送方需要将数据进行多次内存拷贝，并经过一系列的网络协议的数据包处理工作；数据接收方在应用程序中处理数据前，也需要经过多次内存拷贝和一系列的网络协议的数据包处理工作。

而 RDMA 允许应用与网卡之间的直接数据读写，允许接收端直接从发送端的内存读取数据，RDMA 可以显著降低传输延迟，加快数据交换速度，并可以减轻 CPU 负载，释放 CPU 的计算能力。

△ 传统传输 VS RDMA

除了 InfiniBand 对 RDMA 协议的支持，还有以下优势：

1. 低延迟：InfiniBand 网络以其极低的延迟而著称。RDMA 零拷贝网络减少了操作系统开销，使得数据能够在网络中快速移动，InfiniBand 网络延迟可达到 0.7 微秒。
2. 高带宽：InfiniBand 网络提供高带宽的数据传输能力。它通常支持数十Gb/s甚至更高的带宽，取决于网络设备和配置。高带宽使得节点之间可以以高速进行数据交换，适用于大规模数据传输、并行计算和存储系统等应用。
3. 可扩展性：IB网络具有出色的可扩展性，适用于构建大规模计算集群和数据中心。它支持多级拓扑结构，如全局互连网络、树状结构和扁平结构，可以根据应用需求和规模进行灵活配置和扩展。此外，IB网络还支持多个子网的互连，使得不同子网之间的节点可以进行通信和数据交换。这种可扩展性使得IB网络能够应对不断增长的计算和存储需求。
4. 高吞吐量：由于低延迟和高带宽的特性，IB网络能够实现高吞吐量的数据传输。它支持大规模数据流的并行传输，同时减少了中间处理和拷贝操作，提高了系统的整体性能。高吞吐量对于需要大规模数据共享和并行计算的应用非常重要，如科学模拟、大数据分析和机器学习。

在看了上文后，相信你对 InfiniBand 已经有了一定的了解。根据行业机构的预测，InfiniBand 的市场规模在 2029 年将达到 983.7 亿美元，相比 2021 年的66.6亿美元，增长 14.7 倍。在高性能计算和 AI 的强力推动下，InfiniBand 的发展前景令人期待。