DeepSeek开源周Day6：DeepSeek V3、R1 推理系统深度解析，技术突破与行业启示

DeepSeek 在开源周第六天再次发文，中文原文、官方号在知乎

• DeepSeek - 知乎
• DeepSeek-V3 / R1 推理系统概览 - 知乎
• deepseek-ai/open-infra-index: Production-tested AI infrastructure tools for efficient AGI development and community-driven innovation

引言

2025年2月，深度求索（DeepSeek）发布了V3/R1推理系统，凭借545%的成本利润率（按行业标准折算为85%）和单节点8,575 tokens/s的吞吐量，刷新了大模型推理性能的认知。本文将深度解析其技术实现，并探讨对行业的影响。

---

一、核心技术突破

1.1 专家并行（Expert Parallelism, EP）革命

什么是专家并行？

在MoE（Mixture-of-Experts）模型中，每个输入仅激活部分专家（如DeepSeek V3每层激活8/256个专家）。EP技术通过将专家分布到多GPU，实现：

• 吞吐量提升：单批次处理量扩大32-144倍
• 内存优化：单卡仅需存储部分专家参数
• 延迟降低：减少单卡计算负载

实现细节

阶段	并行策略	节点数	单卡负载
预填充阶段	EP32 + DP32	4节点	9路由专家+1共享专家
解码阶段	EP144 + DP144	18节点	2路由专家+1共享专家

关键技术价值：相比传统单卡推理，EP实现数量级成本下降，H800集群效率超越英伟达H200 1.5倍

---

1.2 通信-计算重叠优化

双批次流水线

将请求拆分为Micro-Batch，通过交替执行隐藏通信延迟：

预填充阶段：
[计算MB1] -> [通信MB1][计算MB2] -> [通信MB2]
解码阶段：
五级流水线：Attention拆分+多阶段重叠

​

​

性能收益

• 通信延迟降低40%
• GPU空闲时间减少至<5%

---

1.3 三级负载均衡体系

负载类型	优化目标	实现方法
预填充负载	注意力计算均衡	动态分配输入token数
解码负载	KVCache内存均衡	请求数平均分配
专家负载	热点专家分散	专家使用频率监控+动态迁移

技术亮点：通过实时监控实现<2%的负载偏差，避免木桶效应

---

二、系统架构全景

​

​

核心组件：

1. 路由层：智能请求分发
2. 缓存系统：56.3%的磁盘KV缓存命中率
3. 弹性调度：白天全节点推理，夜间部分节点转训练
4. 精度控制：FP8通信 + BF16计算

---

三、性能数据解读

3.1 核心指标

指标	数值	行业对比
日均吞吐量	776B tokens	10倍于传统方案
单H800节点解码吞吐	14.8k tokens/s	H200的1.5倍
平均响应延迟	45-50ms	竞品平均120ms+
单位token成本	$0.00002	行业平均$0.0001

3.2 成本结构

pie title 日成本构成（$87,072） "GPU租赁" : 72000 "机房运维" : 12000 "网络带宽" : 3072

3.3 动态扩缩容

• 日间峰值：278节点
• 夜间低谷：180节点
• 智能预测：基于LSTM的负载预测模型

---

四、行业影响分析

4.1 技术启示

1. MaaS规模效应：用户量达千万级时，边际成本骤降
2. 超节点趋势：320卡紧耦合系统成为新标杆
3. 精度创新：FP8+BF16混合精度实践

4.2 市场冲击

• 价格战加速：行业成本认知从2/M
• 硬件需求变化：NVLink带宽重要性凸显
• 商业模式创新：免费服务引流+API变现的组合策略

4.3 未来挑战

1. 万卡级EP系统的稳定性
2. 多模态场景的扩展
3. 动态稀疏性的极致优化

---

五、开源生态建设

DeepSeek同步开源五大核心模块：

1. FlashMLA：高效注意力计算库
2. DeepGEMM：矩阵运算优化
3. DualPipe：双流水线调度器
4. EPLB：专家负载均衡器
5. profile-data：性能分析数据集

第 1 天 - FlashMLA

适用于 Hopper GPU 的高效 MLA 解码内核
针对可变长度序列进行了优化，在生产中经过实战测试

🔗 FlashMLA GitHub 存储库
✅ BF16 支持
✅ 分页 KV 缓存（块大小 64）
⚡ 性能：3000 GB/s 内存受限 |H800 上的 BF16 580 TFLOPS 计算绑定

第 2 天 - DeepEP

很高兴推出 DeepEP - 第一个用于 MoE 模型训练和推理的开源 EP 通信库。

🔗 DeepEP GitHub 存储库
✅ 高效和优化的 all-to-all 通信
✅ NVLink 和 RDMA 的节点内和节点间支持
✅ 用于训练和推理预填充的高吞吐量内核
✅ 用于推理解码的低延迟内核
✅ 原生 FP8 调度支持
✅ 灵活的 GPU 资源控制，用于计算通信重叠

第 3 天 - DeepGEMM

DeepGEMM 简介 - 一个 FP8 GEMM 库，支持密集 GEMM 和 MoE GEMM，为 V3/R1 训练和推理提供支持。

🔗 DeepGEMM GitHub 存储库
⚡ 在 Hopper GPU 上高达 1350+ FP8 TFLOPS
✅ 没有繁重的依赖，像教程一样干净
✅ 完全 Just-In-Time 编译
✅ ~300 行的核心逻辑 - 但在大多数矩阵大小中都优于专家调优的内核
✅ 支持密集布局和两种 MoE 布局

第 4 天 - 优化的并行策略

✅ DualPipe - 一种双向管道并行算法，用于 V3/R1 训练中的计算通信重叠。
🔗 GitHub 存储库

✅ EPLB - 适用于 V3/R1 的专家并行负载均衡器。
🔗 GitHub 存储库

📊 分析 V3/R1 中的计算通信重叠。
🔗 GitHub 存储库

第 5 天 - 3FS，所有 DeepSeek 数据访问的推进器

Fire-Flyer 文件系统 （3FS） - 一种并行文件系统，可利用现代 SSD 和 RDMA 网络的全部带宽。

⚡ 180 节点集群中的 6.6 TiB/s 聚合读取吞吐量
⚡ 在 25 节点集群中，GraySort 基准测试的吞吐量为 3.66 TiB/min
⚡ 每个客户端节点 40+ GiB/s 峰值吞吐量，用于 KVCache 查找
🧬 具有强一致性语义的分解架构
✅ 训练数据预处理，数据集加载，检查点保存/重新加载，嵌入向量搜索和KVCache查找以进行V3/R1中的推理

📥 3FS → GitHub - deepseek-ai/3FS: A high-performance distributed file system designed to address the challenges of AI training and inference workloads.
⛲ Smallpond - 3FS → https://github.com/deepseek-ai/smallpond 上的数据处理框架

第 6 天 - 还有一件事：DeepSeek-V3/R1 推理系统概述

通过以下方式优化吞吐量和延迟：
-🔧 跨节点 EP 支持的批量扩展
🔄 计算-通信重叠
⚖️ 负载均衡

V3/R1 在线服务生产数据：
⚡ 每个 H800 节点每秒 73.7k/14.8k 输入/输出令牌
🚀 成本利润率 545%

---

参考引用

• DeepSeek-V3 / R1 推理系统概览 - 知乎
• deepseek-ai/open-infra-index: Production-tested AI infrastructure tools for efficient AGI development and community-driven innovation

专业术语：

• 成本利润率
  反映系统经济效益的指标，按行业标准折算后，DeepSeek的V3/R1推理系统达到85%，原数值为545% ，体现了该系统在成本控制与收益获取方面的出色表现。类似于做生意时，利润与成本的比例关系，比例越高说明盈利情况越好。
• 吞吐量
  衡量系统数据处理能力的指标，如DeepSeek V3/R1推理系统单节点可达8,575 tokens/s，意味着该系统每秒能处理8,575个token的数据量。好比工厂每秒钟能生产的产品数量。
• 专家并行（Expert Parallelism, EP）
  在MoE模型中，将专家分布到多个GPU的技术。通过这种方式，能提升吞吐量、优化内存使用并降低延迟，实现数量级成本下降。类似于把不同的专业工作分配给多个小组同时进行，提高整体工作效率。
• 混合专家模型（Mixture-of-Experts, MoE）
  一种模型架构，每个输入仅激活部分专家，如DeepSeek V3每层激活8/256个专家。就像一个大型项目，不同部分由最合适的专业团队负责，而不是每个团队都处理所有任务。
• Micro - Batch
  将请求拆分后的小批次数据单元，通过双批次流水线交替执行来隐藏通信延迟。类似于把一大份工作分成小份，轮流进行处理，提高效率。
• 通信 - 计算重叠优化
  通过双批次流水线等方式，将通信延迟隐藏在计算过程中，降低通信延迟40%，减少GPU空闲时间至<5%。好比在做饭的同时准备餐具，充分利用时间。
• 三级负载均衡体系
  包括预填充负载、解码负载和专家负载的均衡优化，通过动态分配输入token数、平均分配请求数、监控专家使用频率并动态迁移等方法，实现<2%的负载偏差，避免木桶效应。类似于合理分配工作任务给不同员工，让大家的工作量相对均衡，提高整体工作效率。
• 路由层
  DeepSeek推理系统中负责智能请求分发的组件。好比一个快递分拣中心，将不同的请求准确地送到对应的处理单元。
• 缓存系统
  用于存储数据的系统，DeepSeek推理系统的磁盘KV缓存命中率达56.3%，意味着有56.3%的请求可以直接从缓存中获取数据，提高了数据获取速度。类似于一个常用物品存放处，大部分时候能快速找到需要的东西。
• 弹性调度
  根据不同时间段的需求，动态调整节点用途，如白天全节点推理，夜间部分节点转训练。就像一家工厂，白天全力生产产品，晚上部分设备用于设备维护或其他生产准备工作。
• 精度控制
  采用FP8通信 + BF16计算的方式，在保证计算精度的同时，优化计算资源的使用。类似于根据不同需求选择不同精度的工具进行工作，既保证质量又提高效率。
• 动态扩缩容
  根据系统负载动态调整所需节点数量，如DeepSeek V3/R1推理系统日间峰值278节点，夜间低谷180节点，并通过基于LSTM的负载预测模型进行智能预测。好比根据不同季节的客流量，调整商场的营业时间和工作人员数量。
• MaaS（模型即服务，Model - as - a - Service）
  一种商业模式，当用户量达千万级时，边际成本骤降。类似于共享经济模式，使用的人越多，平均成本越低。
• 超节点趋势
  指320卡紧耦合系统成为新标杆，体现了在大模型推理领域对硬件规模和耦合程度的新要求。好比建造大型建筑时，对建筑材料和结构紧密程度有了更高标准。
• 动态稀疏性
  在模型计算过程中，动态调整计算资源分配，仅对重要数据进行计算，以优化计算效率。类似于在学习过程中，只重点学习最重要的知识点，提高学习效率。

DeepSeek V3/R1的突破不仅是技术胜利，更揭示了AI基础设施的演进方向：通过系统级创新将摩尔定律延伸至软件维度。随着EP技术的普及，大模型服务正在进入"水电化"的新纪元，而这场变革才刚刚开始。