DeepSeek 开源周（2025/0224-0228）进度全分析：技术亮点、调用与编程及潜在影响

DeepSeek 技术开源周期间所有开放下载资源的目录及简要说明：

---

1. FlashMLA

• 描述：针对 Hopper GPU 优化的高效 MLA 解码内核，专为处理可变长度序列设计，显著提升大语言模型（LLM）的解码效率。
• 性能：内存受限配置下可达 3000 GB/s 带宽，计算受限配置下可达 580 TFLOPS 算力（H800 GPU）。
• 开源地址：FlashMLA GitHub
• 适配情况：已成功适配云天励飞 DeepEdge10 平台，相关代码已提交至 Gitee。

---

2. DeepEP

• 描述：首个面向 MoE（混合专家）模型的专家并行（EP）通信库，优化全到全通信，支持 FP8 数据格式，显著降低通信开销。
• 特性：
  • 高吞吐内核：适用于训练和推理的预填充任务。
  • 低延迟内核：优化推理解码速度，采用纯 RDMA 技术。
  • 支持 NVLink 和 RDMA 混合通信。
• 开源地址：DeepEP GitHub

---

3. DeepGEMM

• 描述：专为 FP8 矩阵乘法优化的轻量级 GEMM 库，支持稠密和 MoE 布局，动态优化资源分配以提升算力效率。
• 性能：在 Hopper GPU 上可实现 1350+ FP8 TFLOPS 性能，核心代码仅 300 行，基于即时编译（JIT）技术。
• 开源地址：DeepGEMM GitHub

---

4. DualPipe

• 描述：一种双向流水线并行算法，专为 V3/R1 训练设计，实现计算与通信阶段的高效重叠，减少流水线气泡。
• 开源地址：DualPipe GitHub

---

5. 专家并行负载均衡器（EPLB）

• 描述：动态平衡 GPU 负载，通过冗余专家策略和分组路由优化数据流量，减少节点间通信开销。
• 开源地址：EPLB GitHub

---

6. 3FS 文件系统

• 描述：高性能分布式文件系统，专为现代 SSD 和 RDMA 网络设计，支持高吞吐数据访问，适用于 AI 训练和推理中的数据密集型任务。
• 性能：
  • 集群聚合读取吞吐量达 6.6 TiB/s。
  • 单节点 KVCache 查找峰值吞吐量超过 40 GiB/s。
• 开源地址：3FS GitHub

---

7. Smallpond

• 描述：基于 3FS 的轻量级数据处理框架，支持 PB 级数据集处理，操作简便，无需长期运行的服务。
• 开源地址：Smallpond GitHub

---

8. 其他资源

• DeepSeek-R1 模型权重：Hugging Face 仓库
• DeepSeek-R1 官方论文：arXiv 论文
• DeepSeek 提示词库：官方提示词库

---

概览

DeepSeek 技术开源周共发布了 5 个核心代码库（FlashMLA、DeepEP、DeepGEMM、DualPipe、EPLB）以及 2 个配套工具（3FS、Smallpond），覆盖了从计算、通信到存储的全栈优化。这些资源不仅显著提升了 AI 模型的训练和推理效率，还通过开源方式降低了高性能计算技术的应用门槛，为 AI 社区提供了强大的技术支持。

DeepSeek 开源进度全分析：技术亮点、协同关系及潜在影响

---

1. 技术亮点与核心功能

1.1 FlashMLA（开源进度 1/5）

• 功能：
  FlashMLA 是一个针对 Hopper GPU 优化的高效 MLA（Multi-Layer Attention）解码内核，专为处理可变长度序列设计。它通过优化内存访问和计算效率，显著提升了推理阶段的性能。

• 性能：

  • 在内存受限配置下，FlashMLA 可实现 3000 GB/s 的带宽。
  • 在计算受限配置下，FlashMLA 的算力可达 580 TFLOPS（基于 H800 GPU）。
  • 这些性能指标使其成为当前最先进的解码内核之一。

• 应用场景：

  • 主要用于自然语言处理（NLP）中的推理阶段，特别是大语言模型（LLM）的文本生成任务。
  • 适用于需要处理长序列的场景，如对话生成、文档摘要等。

• 技术基础：

  • 结合了 FlashAttention 2&3 的注意力机制优化和 CUTLASS 的高效矩阵计算技术。
  • 通过分块调度和内存优化，减少冗余计算和内存访问。

• 创新点：

  • 支持可变长度序列的高效处理，避免了传统方法中的填充浪费。
  • 通过动态调度机制，最大化 GPU 利用率。
    以下是 FlashMLA 的编程调用方法及详细说明，帮助开发者快速上手并集成到自己的项目中。

---

1. 安装与依赖

1.1 硬件与软件需求

• 硬件：NVIDIA Hopper GPU（如 H800）。
• 软件：
  • CUDA 12.3 及以上版本。
  • PyTorch 2.0 及以上版本。

1.2 安装步骤

1. 克隆 FlashMLA 代码库：

   git clone https://github.com/deepseek-ai/FlashMLA.git
   cd FlashMLA
   

2. 安装依赖：

   python setup.py install
   

---

2. 编程调用

2.1 导入模块

在 Python 脚本中导入 FlashMLA 的核心模块：

from flash_mla import get_mla_metadata, flash_mla_with_kvcache

2.2 获取元数据

使用 get_mla_metadata 函数获取分块调度元数据：

tile_scheduler_metadata, num_splits = get_mla_metadata(cache_seqlens, s_q * h_q // h_kv, h_kv
)

• 参数说明：
  • cache_seqlens：缓存序列长度。
  • s_q * h_q // h_kv：查询序列长度与头数的乘积除以键值头数。
  • h_kv：键值头数。
• 返回值：
  • tile_scheduler_metadata：分块调度元数据。
  • num_splits：分块数量。

2.3 调用解码内核

使用 flash_mla_with_kvcache 函数执行解码操作：

for i in range(num_layers):o_i, lse_i = flash_mla_with_kvcache(q_i, kvcache_i, block_table, cache_seqlens, dv,tile_scheduler_metadata, num_splits, causal=True)

• 参数说明：
  • q_i：当前层的查询张量。
  • kvcache_i：当前层的键值缓存。
  • block_table：块表，用于管理缓存块。
  • cache_seqlens：缓存序列长度。
  • dv：值向量的维度。
  • tile_scheduler_metadata：分块调度元数据。
  • num_splits：分块数量。
  • causal：是否启用因果掩码（默认为 True）。
• 返回值：
  • o_i：当前层的输出张量。
  • lse_i：当前层的对数求和指数（Log-Sum-Exp）。

---

3. 示例代码

以下是一个完整的调用示例：

import torch
from flash_mla import get_mla_metadata, flash_mla_with_kvcache# 假设输入参数
batch_size = 8
num_heads = 16
seq_len = 1024
head_dim = 64
cache_seqlens = torch.tensor([seq_len] * batch_size, dtype=torch.int32)
s_q = seq_len
h_q = num_heads
h_kv = num_heads
dv = head_dim# 初始化输入张量
q_i = torch.randn(batch_size, num_heads