一个硬件猜想：8GB SRAM 能否挑战 160GB HBM

一个硬件猜想8GB SRAM 能否挑战 160GB HBM假设华为做一块推理卡不是走 HBM 路线而是8GB 片上 SRAM 做显存~2000 mm² 在 7nm需 3-4 个 chiplet 拼装Apple 式统一内存架构每卡独享 LPDDR5X 池带宽 ~800 GB/s智能预读引擎利用 Transformer 层序可预测的特性提前加载下一层权重拿它跑 1T 参数大模型和 160GB HBM3 的卡对比。结果如何一、先看推理1T 模型怎么拆1T 参数INT4 量化 ≈ 500GB。无论 HBM 还是 SRAM单卡都装不下。必须做模型并行。假设 64 卡并行按层切分每卡约 16B 参数INT4 后 ≈8GB。HBM 方案单卡 160GB8GB 权重 4-8GB KV cache空间充裕。SRAM 方案单卡 8GB8GB 权重刚好塞满 SRAMKV cache 走 DDR800 GB/s/卡。推理是 memory-bound不是 compute-boundbatch1 推理每 token 生成需要遍历全部权重。以 16B 参数INT4 8GB为例总计算量每 token 每卡约 46G FLOPs理论计算时间300 TFLOPS BF16 算力约 0.15ms实际含效率约 0.5ms权重读取时间HBM8GB ÷ 3.35 TB/s 2.4msSRAM8GB ÷ 30 TB/s 0.27ms结论推理延迟由内存带宽决定不计算力。SRAM 权重访问比 HBM 快 9x这是第一个关键优势。KV cache 分析假定模型128 层、hidden dim 16384、GQA 8 组 KV head、head dim 128。每 token 每层新增 KV8 × 128 × 2(字节) × 2(KV) 4KB → 128 层 0.5MB生成第 S 个 token 时历史 KV 总读取量 S × 0.5MB序列长度 SKV 总读取量DDR 耗时800 GB/sHBM 耗时3.35 TB/s10240.5 GB0.6ms0.15ms40962.0 GB2.5ms0.6ms81924.0 GB5.0ms1.2ms推理延迟对比每 token 生成每 token 总延迟 权重读取 KV cache 读取 计算 HBM 2.4ms权重 S×0.15μsKV 0.5ms计算与读重叠 SRAM 0.27ms权重 S×0.63μsKV 0.5ms计算与读重叠序列长度HBM 耗时SRAMDDR 耗时优劣1024~2.6ms~0.9msSRAM 快2.9x4096~3.0ms~2.8ms基本打平4500~3.1ms~3.1ms临界点8192~3.6ms~5.3msHBM 快 1.5x32768~7.3ms~20msHBM 快 2.7x关键发现序列长度约 4500 以下是 SRAM 更快。绝大多数生产部署≤4K context下 SRAM 方案反而占优。对标 HBM 推理方案对比项HBMSRAM DDR权重访问带宽3.35 TB/s~30 TB/s片上9x 优势KV cache 带宽3.35 TB/s800 GB/s约为 1/4≤4K 序列推理基准更快~2.5x≥8K 序列推理更快慢 1.5-3x预读依赖不需要权重层间预读有帮助二、再看训练先纠正一个常见误区HBM 的数据也不是凭空来的。在 ZeRO-3 训练中每步参数都是从其他卡通过 NVLink all-gather 过来的不是一开始就躺在 HBM 里不动。ZeRO-3 每步流程 1. all-gather从其他卡收集完整参数走 NVLink 450 GB/s/卡 2. 前向计算 3. all-gather再次收集参数反向需要完整参数 4. 反向计算 5. reduce-scatter梯度分散到各卡 6. 优化器更新每卡只更新自己的分片HBM 的优势不在于数据不用搬进来而在于搬进来后可以留下来不搬出去。每卡训练状态1T 参数 BF16256 卡 ZeRO-3状态全局大小每卡分片参数BF162TB8GB梯度BF162TB8GB优化器状态Adam4TB16GB合计8TB32GB核心差异优化器状态驻留位置HBM 方案 前向/反向时 all-gather 参数 → 逐层送入 HBM → 计算 → 丢弃 梯度 优化器状态 → 32GB 常驻 HBM3.35 TB/s 优化器更新 → 32GB 在 HBM 内吞吐约 10ms SRAM DDR 方案 前向/反向时 all-gather 参数 → 逐层送入 SRAM → 计算权重读写快 9x 梯度 → 写回 DDR优化器状态 → DDR 常驻 优化器更新 → 从 DDR 读 16GB 写回 16GB800 GB/s约 40ms 每步额外 DDR 流量 优化器状态 32GB 梯度 8GB 40GB训练步时对比每步训练时间256 卡 ZeRO-3粗估 HBM 方案 前向 反向90ms计算 权重读 HBM与 NVLink 并行重叠 all-gather reduce-scatter35msNVLink不可消除 优化器更新10ms全在 HBM 内 ───────── 合计 ≈ 135ms/step SRAM 统一内存方案 前向 反向80msSRAM 读权重快 9x省约 10ms all-gather reduce-scatter35msNVLink与 HBM 相同 优化器更新40msDDR 800 GB/s全量 32GB 读写 ───────── 合计 ≈ 155ms/step差距分解差距因素HBMSRAMDDR净差距NVLink 通信35ms35ms0前向反向权重访问基线快 ~10msSRAM 10ms优化器更新10msHBM 内40msDDRSRAM -30ms合计135ms155msSRAM 慢 ~15%差距只有 ~15%。原因很简单两种方案共享同样的 NVLink 开销占总步时 ~25%而 SRAM 在计算阶段的权重带宽优势部分抵消了优化器状态的 DDR 代价。小规模训练时差距会更大如果只有 8 卡训练一个小得多的模型不切分参数不依赖 ZeRO-3则HBM权重 优化器状态全在 HBM 内无外部搬运SRAM必须频繁换入换出DDR 带宽成为绝对瓶颈所以 SRAM 路线的训练竞争力建立在大力出奇迹的大规模并行上——卡越多NVLink 通信占比越高DDR 瓶颈越被摊平。三、结论对比项推理训练SRAM 能否挑战 HBM短序列更快可接近≤4K 上下文推理SRAM 快 2.5-3x—4K-8K 上下文推理基本打平—≥8K 上下文推理HBM 快 1.5-3x—256 卡并行训练—慢 ~15%推理SRAM 在主流场景下占优权重访问带宽 9x 优势是实打实的。当前绝大多数 LLM 部署的上下文窗口在 4K-8K 之间正好落在 SRAM 的优势区或持平区。只有在长文档分析≥16K context场景下HBM 才显著反超。更关键的是SRAM 方案可以通过增加片上 SRAM 扩容直接提升序列长度临界点如 16GB SRAM 可将临界点推到 ~9K tokens而 HBM 的带宽提升受限于 JEDEC 标准和物理层迭代。训练差距仅 15%且可进一步优化优化器状态 DDR 重载是唯一差距来源。这在实际系统中可以通过以下手段进一步压缩异步预取在当前步计算时提前加载下一步的优化器状态FP8 优化器Adam 状态从 16GB 压缩到 8GBDDR 传输量减半分级缓存在 SRAM 中留一个小 buffer512MB给热点优化器状态页这些叠加后训练差距可压缩到 10% 以内。功耗优势值得单提SRAM 片上读写功耗 ~1pJ/bitHBM PHY TSV 约 3.5-7pJ/bit。8GB 权重 KV 频繁读写下SRAM 方案单卡功耗可低 30-50W。在大规模部署中这对 TCO 影响显著。综合成本SRAM 方案明显更低成本项HBM 方案SRAM DDR 方案显存单价HBM3 ~$15-20/GBSRAM 片上 ~$5-8/GB按面积折算外部内存无LPDDR5X ~$3-5/GB先进封装CoWoS ~$800-1500标准封装 ~$50-100GPU 大 die5nm/4nm~$600-10004 个 chiplet × 7nm~$400-600 合计单卡 BOM 粗估$3500-5500$800-1200同样跑 1T 模型需要 64 卡集群成本HBM64 × ~$4000 ≈$25.6 万SRAM64 × ~$1000 ≈$6.4 万算力购买成本差约4x叠加每卡省 30-50W 功耗假设 3 年寿命、$0.1/kWh64 卡再省 ~$10 万电费综合 TCO 差约3-5x。当然算力密度是另一回事——SRAM 卡每卡只跑 8GB 分片集群卡数和 HBM 方案相当不存在用更少卡的可能。更现实的约束是HBM 对中国禁运HBM 卡每 GB 多少钱是个伪命题——根本买不到。所以真实成本差是∞。但这个猜想的价值不在于比不比得过之所以值得写这篇推演是因为HBM 的供应链问题——中国目前拿不到先进 HBM 设备SRAM 可以在逻辑代工厂制造——SMIC 7nm 可产出虽然面积代价高8GB ≈ 2000 mm²需 3-4 chiplet但物理可行统一内存 预读引擎——系统级方案存在明确的优化空间推理场景下 SRAM 真有优势——不是勉强接近是短序列下实实在在更快如果只看推理SRAM 路线不仅不是退而求其次在主流上下文窗口≤8K下反而是性能更优的选择。即便训练落后 10-15%对于以推理部署为主的国产 AI 芯片来说这是一个工程上成立、商业上有机会的方案。用政治逻辑说它是制裁下的过渡方案用工程逻辑说它在推理这个主战场上未必是过渡方案可能是另一种正确答案。这个猜想没有推翻 HBM但指出了无 HBM 可用不仅不是死路在推理上可能还是另一条快车道。