DeepSeek成功的秘诀：谈谈DeepSeek的算法创新

李升伟 整理

DeepSeek 是一家专注于人工智能技术研发的公司，其算法创新在业界引起了广泛关注。以下是 DeepSeek 使用的核心算法及其特点的详细解析：

1. 原生稀疏注意力（NSA）算法

DeepSeek 提出的 原生稀疏注意力（Native Sparse Attention, NSA） 算法是其核心技术之一。NSA 通过分层稀疏注意力设计，显著提升了长序列处理的效率。具体特点包括：

• 性能提升：NSA 算法在处理长序列时，速度比全注意力模型快 11.6 倍，同时保持了高准确率。
• 硬件适配：NSA 与现代 AI 硬件良好配合，减少了计算资源的浪费，优化了训练和推理过程。
• 长上下文处理：在 64k 上下文长度的情况下，NSA 能够实现完美的“大海捞针”式检索准确率，解决了传统模型在处理长文本时的性能瓶颈。

2. 混合专家架构（MoE）

DeepSeek 采用了 混合专家架构（Mixture of Experts, MoE），这是一种高效的模型设计方法：

• 动态路由：每个 MoE 层包含 1 个共享专家和 256 个路由专家，运行时每个词元（token）只激活 8 个路由专家，显著降低了计算资源的消耗。
• 任务适应性：MoE 架构在处理复杂任务时表现出色，能够根据任务需求动态分配计算资源，提升模型的泛化能力。

3. 多头潜在注意力（MLA）

DeepSeek 引入了 多头潜在注意力（Multi-head Latent Attention, MLA） 机制，进一步优化了注意力计算：

• 低秩压缩：MLA 通过对注意力键和值进行低秩联合压缩，减少了推理过程中的键值缓存（KV cache），降低了内存占用。
• 位置编码：引入旋转位置编码（RoPE），确保模型在处理长上下文时能够有效捕捉位置信息。

4. 强化学习算法（GRPO）

DeepSeek 开发了 组相对策略优化（Group Relative Policy Optimization, GRPO） 算法，用于强化学习微调：

• 高效训练：GRPO 通过组内样本的相对比较来计算策略梯度，显著降低了训练的不稳定性，同时提高了学习效率。
• 低成本优化：GRPO 算法在降低计算成本的同时，提升了模型的训练效率，使其在数学、逻辑和编程任务中表现出色。

5. FP8 混合精度训练

DeepSeek 采用了 FP8 混合精度训练 技术，进一步优化了训练过程：

• 动态精度选择：根据不同的计算任务和数据特点，动态选择 FP8 或 FP32 精度进行计算，将训练速度提高了 50%，内存占用降低了 40%。
• 低成本高效训练：FP8 混合精度训练显著降低了训练成本，使得 DeepSeek 模型的训练成本仅为 OpenAI 同类模型的 1/10。

6. 多词元预测训练（MTP）

DeepSeek 提出了 多词元预测训练（Multi-token Prediction Training, MTP） 技术：

• 多步预测：MTP 通过在训练过程中让模型预测多个未来的词元，提高了模型的预测能力和效率。
• 共享主干：MTP 通过在共享模型主干上增加多个独立的输出头来实现，不增加训练时间和内存消耗。

7. 开源与低成本策略

DeepSeek 的算法创新不仅体现在技术层面，还体现在其开源和低成本策略上：

• 开源模型：DeepSeek 完全开源其模型，符合开放源代码促进会（OSI）的开源 AI 定义 1.0，吸引了大量开发者关注和使用。
• 低成本训练：DeepSeek 通过算法优化，显著降低了训练和推理成本。例如，DeepSeek-V3 的训练成本仅为 557.6 万美元，远低于 OpenAI 和 Meta 的同类模型。

总结

DeepSeek 的算法创新涵盖了从模型架构到训练优化的多个方面，包括 NSA、MoE、MLA、GRPO、FP8 混合精度训练和 MTP 等技术。这些创新不仅提升了模型的性能和效率，还显著降低了训练和推理成本，使其在 AI 领域具有显著的竞争优势。DeepSeek 的开源策略和低成本模式进一步推动了 AI 技术的普及和应用，为全球开发者提供了强大的工具和平台。

（来自deepseek问答。）