【LLM】DeepSeek-V4模型架构和训练流程

note混合注意力架构我们设计了一种结合压缩稀疏注意力Compressed Sparse Attention, CSA与重度压缩注意力Heavily Compressed Attention, HCA的混合注意力机制显著提升长上下文处理效率。在百万 Token 上下文场景下DeepSeek-V4-Pro 相较于 DeepSeek-V3.2单 Token 推理所需的 FLOPs 仅为其 27%KV 缓存占用仅为 10%。CSACompressed Sparse Attention先KV 压缩把多个 token 的 K/V 合成一个压缩表示减少 KV cache再稀疏选择不是所有压缩块都看只选最相关的 top-k 块HCA Heavily Compressed AttentionHCA 会把一组 token 的 KV entries 合并成一个 compressed entry从而显著降低 KV cache流形约束超连接Manifold-Constrained Hyper-Connections, mHC我们在传统残差连接中引入 mHC以增强跨层信号传播的稳定性同时保留模型的表达能力。Muon 优化器我们采用 Muon 优化器实现更快的收敛速度和更高的训练稳定性。DeepSeek V4 的OPD特殊点是它做的是 full-vocabulary OPD不是只看学生实际采样出来的那个 token也不是只看 top-k而是尽量保留完整词表 logits 来算 KL这样梯度更稳定但计算和显存成本更高。论文还提到它为此做了 teacher schedulingteacher 权重按需加载、ZeRO-like sharding、避免直接物化超大 logits并缓存 teacher 最后一层 hidden states再重建 logits为什么OPD使用反向KL散度正向KL散度更偏 mode-seeking学生会倾向于把概率集中到 teacher 认为高质量的输出模式上而不是平均覆盖 teacher 的所有可能输出。OPD 的核心就是在学生自己的轨迹上让 teacher 对学生当前状态提供 dense token-level supervision关于上下文优化优化对象DeepSeek V4 的做法结果KV cache压缩 KV entries显存下降Attention FLOPs稀疏选择 压缩序列 attention计算下降长上下文可用性CSA/HCA/局部窗口分工远程信息还能被利用服务成本单 token 推理成本下降1M context 更接近可部署文章目录note一、研究背景二、DeepSeek-V4三、实验设计四、实验结果Reference一、研究背景研究问题这篇文章要解决的问题是如何在超长上下文中实现高效的推理模型。具体来说现有的注意力机制在处理超长序列时存在计算复杂度高的瓶颈限制了大规模语言模型LLMs在测试时扩展和长距离任务中的表现。研究难点该问题的研究难点包括如何在保持模型性能的同时显著降低长上下文推理的计算复杂度和内存占用如何设计一种新的混合注意力机制来提高长上下文的处理效率。相关工作该问题的研究相关工作包括OpenAI的GPT系列模型、DeepSeek-AI系列模型以及其他开源的长上下文推理模型。这些工作虽然在一定程度上推动了LLM的发展但在处理超长序列时仍存在效率瓶颈。【ds v4】混合专家Mixture-of-Experts, MoE语言模型DeepSeek-V4-Pro总参数量 1.6T激活参数量 49B和 DeepSeek-V4-Flash总参数量 284B激活参数量 13B二者均支持 百万 Token 的上下文长度。采用 MIT 许可证。https://modelscope.cn/collections/deepseek-ai/DeepSeek-V44 款开源权重模型全部原生支持 100 万 token 上下文包括 DeepSeek-V4-Pro总参数 1.6T激活参数 49B,100 万上下文——前沿旗舰 DeepSeek-V4-Flash总参数 284B激活参数 13B100 万上下文——速度优化 DeepSeek-V4-Pro-Base1.6T 预训练基础模型面向前沿规模的后训练与研究 DeepSeek-V4-Flash-Base284B 预训练基础模型适用于高效的领域适配三种推理模式——Non-Think / Think High / Think Max——按需调节推理强度。在 Think Max 模式下V4-Pro 在 LiveCodeBench 上达到 93.5 分Codeforces 上取得 3206 分HMMT 2026 上达到 95.2 分在推理和智能体任务上进一步缩小了与领先闭源前沿模型的差距。思考模式模型推理任务性能由计算投入决定DeepSeek-V4-Pro/Flash均支持三种推理强度模式无思考Non-think、高思考Think High、最大思考ThinkMax在输出最终回答之前模型会先输出一段思维链内容以提升最终答案的准确性二、DeepSeek-V4DeepSeek-V4-Pro总参数量 1.6T激活参数量 49B和 DeepSeek-V4-Flash总参数量 284B激活参数量 13B前者模型架构如下这篇论文提出了DeepSeek-V4系列模型用于解决超长上下文推理的效率问题。具体来说1、混合注意力机制提出了一种结合压缩稀疏注意力CSA和重度压缩注意力HCA的混合注意力架构。CSA通过压缩KV缓存并应用DeepSeek稀疏注意力DSA来加速注意力计算HCA则通过对KV缓存进行更激进的压缩来进一步提高效率。公式如下C a H ⋅ W a K V , C b H ⋅ W b K V C^a H \cdot W^{aKV}, \quad C^b H \cdot W^{bKV}CaH⋅WaKV,CbH⋅WbKV其中C a C^aCa和C b C^bCb是压缩后的KV条目W a K V W^{aKV}WaKV和W b K V W^{bKV}WbKV是相应的压缩权重。2、流式索引器在CSA中使用流式索引器选择前k个压缩KV条目进行核心注意力计算。公式如下c t Q h t ⋅ W D Q c_t^Q h_t \cdot W^{DQ}ctQ​ht​⋅WDQ其中c t Q c_t^QctQ​是查询令牌生成的索引查询h t h_tht​是输入隐藏状态W D Q W^{DQ}WDQ是下投影矩阵。3、共享KV多查询注意力MQA在CSA和HCA中使用共享KV MQA进行核心注意力计算。公式如下o t , i CoreAttn ( q u e r y q t , k e y C t SprsComp , v a l u e C t SprsComp ) o_{t,i} \text{CoreAttn}(queryq_t, keyC_t^{\text{SprsComp}}, valueC_t^{\text{SprsComp}})ot,i​CoreAttn(queryqt​,keyCtSprsComp​,valueCtSprsComp​)其中o t , i o_{t,i}ot,i​是第t个令牌的第i个头的核心注意力输出q t q_tqt​是查询令牌C t SprsComp C_t^{\text{SprsComp}}CtSprsComp​是选择的压缩KV条目。4、Muon优化器采用Muon优化器进行训练因其更快的收敛速度和更高的训练稳定性。Muon优化器的更新规则如下O t ′ HybridNewtonSchulz ( μ M t G t ) O_t \text{HybridNewtonSchulz}(\mu M_t G_t)Ot′​HybridNewtonSchulz(μMt​Gt​)其中G t G_tGt​是梯度M t M_tMt​是动量缓冲区μ \muμ是动 注此处原文被图标遮挡推测为“动量系数”或类似概念是混合牛顿-舒尔茨更新。三、实验设计数据收集在预训练阶段使用了超过32T的多样化且高质量的字节对语料库包括数学公式、代码、网页、长文档等。模型设置DeepSeek-V4-Flash模型包含43层Transformer层隐藏维度为4096使用CSA和HCA交替使用的混合注意力机制。DeepSeek-V4-Pro模型包含61层Transformer层隐藏维度为7168同样使用CSA和HCA交替使用的混合注意力机制。训练设置使用Muon优化器进行大多数参数的更新AdamW优化器用于嵌入模块、预测头模块和RMSNorm模块的权重。训练过程中采用了批量大小调度策略和学习率调度策略。后处理在预训练阶段采用样本级注意力掩码和分词策略在后训练阶段采用领域特定的专家独立训练和有向策略优化GRPO进行强化学习。四、实验结果效率提升与DeepSeek-V3.2相比DeepSeek-V4-Pro在1M token上下文设置中仅需27%的单令牌推理FLOPs和10%的KV缓存大小。DeepSeek-V4-Flash在1M令牌上下文设置中仅需10%的单令牌推理FLOPs和7%的KV缓存大小。性能提升DeepSeek-V4-Pro-Max在知识基准测试中显著优于现有的开源模型接近专有模型Gemini-3.1-Pro的性能。在推理任务中DeepSeek-V4-Pro-Max也表现出优异的性能接近GPT-5.4的水平。长上下文处理DeepSeek-V4-Pro-Max在长上下文任务中表现出色特别是在学术基准测试中达到了前所未有的水平。实际应用在中文写作、搜索和白领任务中DeepSeek-V4-Pro-Max也表现出色显著优于现有的开源模型。DeepSeek-V4-Pro 和 Gemini-3.1-Pro 在中文创意写作上的 pairwise 胜率表如下表。结果显示 DeepSeek 在指令遵循上约 60% 胜率在写作质量上约 77% 胜率说明它在中文文学类生成尤其是语言质感和创作质量上优势明显。另外看看pro和flash的差距如下图在SWE benchmark上看flash和pro相差不大Reference[1] DeepSeek-V4:Towards Highly Efficient Million-Token Context Intelligence[2] DeepSeek-V4技术报告解读: 从架构到 Infra 的全栈重构