InfiniBand（IB）网络介绍 （英伟达/Mellanox）的IB卡，从2022年底起就已经正式对中国断供；你现在用的shca IB卡，是国产替代的曙光自研IB卡

InfiniBandIB物理上IB专用网卡HCA IB专用交换机 光纤/铜线协议完全独立的IB协议不是TCP/IP定位超级高铁专线——只给超算、AI集群、高性能存储用核心黑科技RDMA远程直接内存访问数据直接从一台机器内存 → 另一台机器内存绕过操作系统内核几乎不占CPU延迟低到 ~0.5–1μs美国原厂英伟达/Mellanox的IB卡从2022年底起就已经正式对中国断供你现在用的shca IB卡是国产替代的曙光自研IB卡。**1. 美国是不是断供了是而且是硬断以前全球IB卡基本只有一家以色列Mellanox迈络思后来被英伟达收购。2022年10月美国出口管制新规把高性能计算、超算用的IB卡/IB网络列入管制禁止对华出口、技术支持、新订单。2023–2025年持续加码高端Mellanox ConnectX‑5/6/7100G/200G/400G IB完全禁售想申请许可几乎不给过就算过也极贵、数量受限、随时可吊销。现状2026国内买不到新的美国原厂IB卡存量旧卡老款、二手还能跑但不能扩容、不能升级、没官方支持。2. 你用的“shca IB卡”是什么shca 曙光自研的国产IB网卡中科曙光和海光深度绑定。背景因为美国断供Mellanox国内超算/AI集群必须国产替代曙光就做了scaleFabricshcaIB从芯片到驱动全自研。对应关系以前Mellanox ConnectX‑6mlx5→ IB卡现在曙光shca → 国产IB卡你服务器里的就是这个。3. 对你来说意味着什么美国原厂IB卡买不到、不能扩容、没支持。shca国产IB卡替代方案专门给海光BW/DCU集群做的驱动叫mlxtoshca把Mellanox驱动改成shca适配。性能shca ≈ 中高端Mellanox IB能跑100G/200G足够大模型训练解决了“断供后没高速网络可用”的问题。4. 总结大白话✅美国Mellanox IB卡2022年底起正式断供中国。✅shca曙光国产IB卡用来替代被禁的Mellanox。✅你在海光BW服务器上装的就是国产shca IB驱动用来跑国产IB高速网络。国产原生IB/类IB高速网卡不止海光/曙光一家但能做到“原生IB、万卡集群、对标Mellanox”的目前主要是曙光SHCA 和华为自研封闭)其他厂商多做RoCEv2以太网RDMA不算原生IB。一、原生IB你现在用的这种✅中科曙光海光绑定SHCAscaleFabric国内首款全栈自研原生IB2026年3月发布400G、时延1μs适配海光DCU集群就是你服务器里的卡✅华为自研IB内部代号未公开仅用于昇腾910/310集群不对外单独卖卡原生IB自研交换机性能强但生态封闭、不兼容x86/海光二、类IBRoCEv2以太网跑RDMA非原生IB✅浪潮InCloud RDMA网卡100G/200G RoCEv2适配Intel/海光CPU集群✅锐捷自研RDMA网卡交换机200G RoCEv2用于AI训练集群✅盛科通信/安路科技交换芯片网卡方案提供RDMA芯片供服务器厂商做网卡三、一句话总结原生IB和Mellanox完全兼容只有曙光SHCA你用的华为自研封闭RoCEv2以太网RDMA非原生IB浪潮、锐捷、盛科等很多家海光本身不做IB卡是曙光做SHCA专门适配海光DCU不是国产原生IB/类IB高速网卡不止海光/曙光一家但能做到“原生IB、万卡集群、对标Mellanox”的目前主要是曙光SHCA其他厂商多做RoCEv2以太网RDMA不算原生IB。一、原生IB你现在用的这种✅中科曙光海光绑定SHCAscaleFabric国内首款全栈自研原生IB2026年3月发布400G、时延1μs适配海光DCU集群就是你服务器里的卡✅华为自研IB内部代号未公开仅用于昇腾910/310集群不对外单独卖卡原生IB自研交换机性能强但生态封闭、不兼容x86/海光二、类IBRoCEv2以太网跑RDMA非原生IB✅浪潮InCloud RDMA网卡100G/200G RoCEv2适配Intel/海光CPU集群✅锐捷自研RDMA网卡交换机200G RoCEv2用于AI训练集群✅盛科通信/安路科技交换芯片网卡方案提供RDMA芯片供服务器厂商做网卡三、一句话总结原生IB和Mellanox完全兼容只有曙光SHCA你用的华为自研封闭RoCEv2以太网RDMA非原生IB浪潮、锐捷、盛科等很多家海光本身不做IB卡是曙光做SHCA专门适配海光DCU原生IB vs RoCEv2 大白话对比国产高速网络两种主流路线先记核心结论你现在用的 SHCA 是 原生IB其他大部分国产厂商做的是 RoCEv2以太网RDMA1 本质区别原生IB曙光SHCA、老迈络思自己独立专用网络不走以太网协议硬件、交换机、网线、驱动全是IB一套专属就像专用高铁轨道不和普通公路共用RoCEv2浪潮/锐捷/大部分国产网卡借光纤以太网的路在以太网上跑RDMA加速用普通以太网交换机、普通网线就像在普通高速公路上画一条专用超车道2 关键维度对比维度原生IBSHCA/迈络思RoCEv2 以太网RDMA延迟最低最稳0.51μs稍高波动大一点丢包敏感几乎 no 丢包集群极稳容易受网络风暴、广播影响多卡大模型训练完美适配大集群不掉速小集群还行万卡大集群容易卡、超时占用CPU极低RDMA 卸载彻底略高一点建设成本贵要专用IB交换机便宜复用现有光纤以太网交换机兼容性完美兼容NCCL原生IB生态要额外调参数适配不如原生IB顺滑国内代表曙光SHCA你正在用、华为自研IB浪潮、锐捷、盛科、其他大部分国产网卡3 跟你海光BW集群有什么关系超算、大模型多卡训练优先上原生IB追求稳、低延迟、不卡顿所以曙光给海光DCU/BW 直接配套SHCA 原生IB卡替代被美国断供的迈络思其他便宜机房、普通业务集群就用RoCEv2 国产RDMA凑合用成本低。4 最简单一句话记住原生IB专业赛道又快又稳给超算/大模型训练用你现在这套RoCEv2公用赛道改的加速道便宜够用适合一般AI和业务集群为什么大模型多卡训练必须要用原生IB用普通以太网为啥跑不动吗为什么大模型多卡训练必须上原生IB普通光纤以太网根本扛不住全程大白话不讲虚理论。先搞懂大模型多卡训练在干嘛大模型LLaMA、DeepSeek、千亿级参数巨大一张卡装不下必须拆到多张海光BW 64G卡上。每跑一小步都要做两件事每张卡算自己的梯度所有卡互相疯狂传数据、同步参数特点数据量超大每秒要同步几百次不能卡顿、不能等待、不能延迟高三种网络直白对比1. 普通千兆/万兆以太网常规网线相当于乡村小路延迟高、堵车、中转多多卡一同步就排队等待大模型训练慢到离谱、时不时超时中断2. 普通光纤以太网你以为很快的那种相当于城市快速路、普通高速虽然带宽大但走TCP/IP协议要经过系统内核、CPU拷贝、打包拆包延迟高、抖动大大模型多卡能跑但速度砍半、训练不稳、容易NCCL超时3. 原生InfiniBand你现在的SHCA国产IB相当于独立城际高铁专线RDMA直写内存不经过CPU、不经过系统内核延迟极低、几乎无抖动、不堵车多卡成千上万张互相通信都稳得住大模型唯一能跑满性能、稳训不断的网络核心关键普通光纤网输在哪延迟高以太网几十微秒IB只要0.5~1微秒差几十倍。大模型每步都要等通信延迟一高整体速度直接崩盘。占CPU极高以太网传数据要CPU不停处理、打包、校验IB用RDMA绕过CPU显卡自己直接互传。容易丢包、抖动以太网是共享网络别人传数据你就受影响IB是独占专用网络只给GPU训练用不受干扰。NCCL集群通信天生优先IBNCCL多卡通信底层库优先识别IB → 全速运行没有IB自动降级到以太网 → 性能暴跌放到你海光BW 64G集群身上美国迈络思IB卡断供买不到了超算不能没有IB不然大模型根本没法正经训练曙光就做了SHCA国产原生IB完美顶替所以老师才让你装那个mlxtoshca.sh驱动 设IB环境变量目的只有一个让系统启用国产IB高速通道不走慢腾腾的普通光纤网。极简总结一句话普通光纤网带宽看着大实际多卡训练又慢又不稳原生IBSHCA延迟极低、不占CPU、专属高速通道是大模型多卡训练的刚需你现在用的海光BW超算集群标配国产SHCA-Ib就是为了替代被美国断供的进口IB保证大模型能全速稳定跑。要不要我再给你通俗讲下RDMA到底是什么为什么它能绕过CPU、速度快这么多