DeepSeek V1 到 V4 完整技术路线：每一代到底解决了什么问题？

DeepSeek V1 到 V4 完整技术路线每一代到底解决了什么问题这篇文章的目标是用工程视角把 DeepSeek 的技术路线讲明白而不是把一堆论文名和版本号按时间顺序重新复述一遍。很多人第一次看到 DeepSeek会有一种错觉怎么突然就冒出来一个又强、又快、又便宜、还开源的大模型如果只看最终结果确实容易觉得它像“突然爆发”。但如果把路线拉长你会发现 DeepSeek 的演进逻辑其实很稳定V1先补理论地基重新研究 Scaling Law规模扩展规律然后围绕两个最现实的问题下手显存不够、计算太贵接着把这些方法真正落到超大模型训练里做出V3再往上补推理能力、训练稳定性、长上下文能力最后汇总到V4一句话概括DeepSeek V4 不是横空出世而是从 V1 开始沿着“理论验证 - 显存优化 - 工程落地 - 推理突破 - 稳定性增强 - 长上下文优化”一路迭代出来的。先看整条路线的总览图---------------------------------------------------------------------- | 阶段 | 关键技术/版本 | 主要解决的问题 | ---------------------------------------------------------------------- | 第一阶段 | V1 | 重新研究 Scaling Law规模扩展规律补地基 | | 成本优化一 | DeepSeek MoE混合专家 | FFN前馈神经网络太贵显存和计算压力大 | | 成本优化二 | MLA / V2 | KV Cache历史 K/V 向量缓存太大注意力太贵 | | 工程落地 | V3 | 把优化真正堆成超大模型 | | 推理能力突破 | R1 | 不只会续写还要学会推理 | | 稳定性增强 | MHC带流形约束的超连接 | 模型更大后训练容易不稳定 | | 长上下文优化 | DSA / CSA / HCA长上下文三种优化方案 | 上下文变长后注意力成本过高 | | 总装版本 | V4 | 汇总前面积累形成完整体系 | ----------------------------------------------------------------------0. 先看结论DeepSeek 这条路线到底特别在哪如果只保留最重要的三点我会这样总结它不是先赌“更大的模型”而是先研究“怎样把模型做大这件事变得更可控”它的很多创新都围绕一个共同目标减少显存占用、降低单位计算成本、保持模型效果它不是只做架构小修小补后面还把训练范式、残差连接、长上下文处理都补上了所以 DeepSeek 的路线不太像“做一个更大的 GPT”而更像先把规律摸清 - 再把最贵的地方做便宜 - 再把大模型真正稳定训出来 - 再补推理和长上下文 - 最终把前面的积累收束成 V4这也是为什么很多人会觉得它“突然很强”但工程上看其实是一条非常典型的长期主义路线。1. 先补最少背景Transformer 里最容易出瓶颈的地方在哪要理解 DeepSeek 在干什么先得知道大模型最基本的工作流。对一个典型的 Decoder-only Transformer 来说生成下一个 token大致会经历这几步文本先变成向量也就是Embedding把文本变成向量表示经过MHAMulti-Head Attention多头注意力让每个 token 看见上下文再经过FFNFeed-Forward Network前馈神经网络做更强的非线性变换这套处理流程会重复很多层最后模型会在整个词表里给候选词打分选出最可能的下一个 token如果只从工程瓶颈看Transformer 里最值得盯住的地方通常有四个组件主要作用常见瓶颈Attention注意力机制建模上下文关系长上下文时计算量大KV Cache 很占显存FFN前馈神经网络提供主要参数容量和非线性表达参数特别多显存和计算都贵残差连接把输入也一起带到下一层避免信息越传越丢让深层网络更好训练规模更大时训练稳定性会变差训练范式决定模型学到什么能力推理能力不一定能靠传统 SFT监督微调解决DeepSeek 后面的很多创新基本都能映射到这张表里。你甚至可以把整条路线粗暴理解成V1: 先研究“怎么训才划算” V2: 解决 FFN 和 Attention 太贵的问题 V3: 把这些优化真正堆成超大模型 R1: 解决“模型会不会推理” 后续: 解决“训得稳不稳”“上下文能不能更长” V4: 把前面积木拼起来2. V1DeepSeek 为什么先研究 Scaling Law而不是先堆模型很多团队一上来做大模型会先想两件事模型能不能更大数据能不能更多DeepSeek 这条路线的起点不太一样。团队最开始没有急着直接改 Transformer 结构也没有先冲一个更大的模型出来而是先去重新研究Scaling Law规模扩展规律。2.1 Scaling Law 是什么你可以把 Scaling Law 理解成一句非常朴素的话模型变大、数据变多、算力增加性能通常会继续提升但提升幅度和训练配置之间有规律。问题在于很多早期结论更像“大方向正确”但对工程实践还不够。因为真实训练时你不只关心参数量多大数据量多少你还得关心batch size 怎么设学习率怎么调算力预算怎么配数据和训练步数怎么平衡2.2 DeepSeek 在 V1 阶段做了什么V1 阶段的重点可以概括为重新验证和细化 Scaling Law研究超参数、数据、算力之间的关系顺手训出最早一代模型也就是 DeepSeek LM / V12.3 这一步为什么重要因为它解决的不是“模型够不够强”而是“后面怎么继续做强”。换句话说V1 更像在回答如果我们后面要做更大的模型 哪些钱值得花 哪些配置会浪费算力 怎样的训练组合更有效这一步看起来没有 V3、R1 那么炸裂但它决定了后面很多路线不是瞎试而是有理论支点的。3. 通往 V2 的第一块拼图DeepSeek MoEMixture of Experts混合专家先解决 FFN 太贵的问题如果你把 Transformer 拆开看FFN往往是参数大户。这意味着一个现实问题模型一大FFN 的权重就会非常占显存也会让每一步计算变贵。3.1 标准 Dense稠密模型的问题在普通稠密模型里每个 token 都要把这套大网络几乎完整跑一遍。这有个直接后果总参数越大每一步实际参与计算的参数也越多显存压力和计算开销都会跟着上来3.2 MoE 的基本想法MoE 是Mixture of Experts中文通常叫“混合专家”。它的核心不是“把模型变小”而是让模型的总参数可以很大但每个 token 不必激活全部参数。可以把它类比成公司分工Dense所有需求都进同一个超级大部门MoE拆成很多专家小组再用路由器决定这次叫哪几个组处理3.3 DeepSeek MoE 做了什么改良DeepSeek 的做法不是简单照搬传统 MoE而是做了两点增强把专家切得更细粒度更小增加一类“共享专家”让所有 token 都能走到这部分公共能力你不用死记这个结构细节但要记住它想解决的问题既想要 MoE 的低激活成本又不想让专家分工过于极端。3.4 为什么这一步重要因为它瞄准的是 FFN 这块大头。说得更直白一点总参数可以继续做大但单次前向推理/训练时真正激活的参数可以少很多这正是后面 DeepSeek 在“便宜”和“快”上被反复讨论的关键基础之一。4. 通往 V2 的第二块拼图MLAMulti-head Latent Attention多头潜在注意力继续解决 Attention 的显存问题如果说 MoE 主要是在给FFN降本那么MLA针对的就是 Attention注意力机制里的另一块显存大头KV Cache历史 K/V 向量缓存。4.1 为什么 KV Cache 会成为瓶颈在多头注意力里为了加速生成模型通常会缓存过去 token 的K和V向量。上下文越长缓存就越大。这就是为什么很多模型一旦上下文拉长显存和吞吐都会迅速变差。4.2 传统优化为什么还不够过去已经有一些思路比如MQAMulti-Query Attention多查询注意力多个头共享一组 KVGQAGrouped-Query Attention分组查询注意力按组共享 KV这些方法确实能省显存但代价是共享得比较“粗”可能损失表达能力。4.3 MLA 的直觉MLA 的核心思路可以概括为先把 KV 压缩成更紧凑的潜在表示用的时候再还原出来。它利用的是一个很重要的现实KV 信息里存在冗余不一定需要原封不动全部存着。4.4 为什么 MLA 很关键因为它碰到的是大模型里另一个最贵的问题模型参数多只是一个维度真正跑长上下文时KV Cache 也会把系统拖得很重所以当 DeepSeek 把MoE MLA组合起来时意义就出来了MoE 让 FFN 这边更省 MLA 让 Attention / KV Cache 这边更省 两边一起做才有机会把更大的模型训出来放在一起看这两项技术共同构成了DeepSeek V2的关键支撑。5. V3前面积木终于拼成了一个真正有全球竞争力的大模型聊到这里你会发现 V1、MoE、MLA 都更像“底层准备”。那什么时候 DeepSeek 开始真正让全球开源社区大规模注意到就是V3。5.1 V3 的意义不只是“参数大”DeepSeek V3 有一个特别容易传播的数据点总参数量671BMoE 每一步真正参与计算的参数约37B这个数字为什么重要因为它非常直观地说明了 MoE 路线的价值你可以拥有一个总参数非常大的模型但每一步真正动起来、真正参与计算的参数并没有那么夸张5.2 V3 的真正含义V3 真正值得看的不是“671B” 这几个字本身而是它证明了前面的理论和架构优化不是实验室玩具它们真的可以落到超大模型训练上而且训练过程还能保持稳定性能不至于被优化手段拖垮也就是说V3 是一个很关键的分水岭从“我们有一些不错的技巧”走到“我们真的把这些技巧堆成了一个一线模型”。6. R1DeepSeek 的下一步不是继续省钱而是直接补推理能力很多人理解 DeepSeek只看到“便宜”和“开源”。但真正把它推到更高关注度的是R1这条线。6.1 为什么 R1 很关键到了 V3 阶段模型的基础能力和训练效率已经很强了但还有一个更难的问题模型会不会推理这里的“推理”不是简单续写几句话而是会不会分步骤思考会不会在长问题里做中间判断会不会在发现前面错了之后修正自己6.2 传统做法是什么一种常见思路是SFTSupervised Fine-Tuning监督微调先给模型看很多“正确推理示范”再让它去模仿这些步骤这当然有效但它有一个隐含假设推理能力主要来自“老师先把步骤写给你看”。6.3 DeepSeek R1 的激进点DeepSeek 在这一步做了一个更激进的选择不先依赖传统 SFT 讲标准答案而是直接用强化学习让模型自己探索推理过程结果对了就奖励结果错了就惩罚这件事的震撼点在于它把“推理能力”从一种人工灌输的流程变成了一种可能通过优化目标自然涌现出来的能力。6.4 为什么大家会反复提到 aha moment训练到一定阶段模型会出现一种很像“中途反思”的现象先给出一个方向再发现前面不对然后主动改写结论这类现象常被描述为aha moment也就是一种“突然反应过来、开始自我修正”的时刻。无论你是否把这个词看得很神秘它至少说明了一件事模型开始不只是顺着文本往下补而是在优化过程中学会了更像“推理轨迹”的行为。6.5 R1 为什么会引爆关注因为它让外界看到DeepSeek 不只是在做架构省钱题也在挑战一个更核心的问题推理能力到底该怎么训出来这也是为什么很多人会觉得R1 的影响力甚至超过前面一串架构优化的总和。7. MHC带流形约束的超连接当模型越来越大光能训还不够还要训得稳模型一旦继续做大另一个问题会越来越突出训练稳定性。这时问题不再是“有没有更强结构”而是结构更强之后数值会不会失控7.1 传统残差连接为什么不一定够标准残差连接很简单输出 输入 子层输出它的优点是稳、简单、好训。但缺点也明显连接方式很固定能保留的信息形式有限7.2 更激进的连接方式为什么又容易炸可以把 HC 超连接理解成一种更激进的残差路径设计本质是让残差路径有更强的可学习能力。但这类方法如果对可学习矩阵不加约束就可能出现一个问题矩阵连乘后数值越来越大最后把训练推向不稳定甚至梯度爆炸。7.3 MHC 在做什么DeepSeek 的改法可以粗暴理解成一句话不是不要更强的连接方式而是给它加上约束让它在训练中别失控。这里的关键约束来自流形约束因此这套方法被称为MHC。7.4 这一步的价值它的价值不在于“读起来很酷”而在于特别工程化模型更大结构更复杂训练更深那么稳定性就不是锦上添花而是能不能把实验做完、能不能把能力堆上去的前提。8. 长上下文优化DSA、CSA、HCA 在补 DeepSeek 的下一块短板当模型基础能力、推理能力、训练稳定性都越来越强之后下一个现实问题就会冒出来上下文一长注意力成本还是太高。8.1 传统滑动窗口为什么不够优雅一个常见思路是滑动窗口只看最近一段 token更远的上下文直接忽略它当然省算力但很粗暴。因为很多真正重要的信息恰恰可能在更远的位置。8.2 DeepSeek 这几种方案分别在干什么可以把它们粗暴翻译成三类思路方案直觉理解它想解决什么DSA动态选择相关历史信息动态挑重点历史 token别死守固定窗口CSA压缩历史信息表示把远处历史压缩成更紧凑表示别让所有历史都原样参与计算HCA长短距离分层处理近处保细节远处做压缩在效果和成本之间做更精细折中你会发现这三种方案和前面的 MLA 其实气质一致不是简单砍掉信息而是更聪明地保留重要信息。8.3 它们和 V4 的关系放到版本节奏里看DSA被放入V3.2CSA和HCA被放入最新的V4这说明到了 V4DeepSeek 优化的重点已经不是单一模块而是在继续补一整条大模型系统链路。9. 回头看 V4它并不是一个“单点创新”而是前面所有积累的总和如果你看到这里再回头看V4就不太会把它理解成“某一篇新论文突然带来的跨越”。更合理的理解应该是V1 - 先把训练规律摸清 MoE - 先让 FFN 这块别那么贵 MLA - 再让 Attention / KV Cache 更省 V3 - 把这些优化真正堆成一线模型 R1 - 再补推理能力 MHC - 再补大规模训练稳定性 V3.2/V4 - 再补长上下文效率所以 V4 更像一个“总装版本”。它继承的不是单个点状突破而是一整套连续的工程判断哪些地方最贵哪些地方最不稳哪些能力最值得后补哪些优化必须先打地基再往上堆这也是本文最想传达的主结论DeepSeek 的厉害不只是某个版本突然强而是它在几代演进里一直围绕同一条主线做积累。10. 把整条路线压缩成一张图如果你想用一张图记住全文可以记这个版本----------------------------------------------------------------- | 阶段 | 核心任务 | ----------------------------------------------------------------- | V1 | 重新研究 Scaling Law补训练规律地基 | | DeepSeek MoE | 降低 FFN 的激活成本缓解显存和计算压力 | | MLA / V2 | 压缩 KV 表示降低 Attention 显存压力 | | V3 | 把前面技术真正堆成超大模型并稳定落地 | | R1 | 用强化学习直接训练推理能力 | | MHC | 提升更复杂连接结构下的大规模训练稳定性 | | DSA / CSA / HCA | 优化长上下文注意力计算 | | V4 | 汇总前面积累形成更完整的大模型能力体系 | -----------------------------------------------------------------11. 这条路线对工程同学最值得学的不是术语而是方法读完这条路线最有价值的收获其实不一定是记住每个缩写。更值得学的是它背后的方法感11.1 先找系统里的“大头成本”DeepSeek 没有平均用力而是先盯住几个最贵的位置FFN 太贵KV Cache 太占显存大模型训练不够稳长上下文成本太高这很像成熟工程团队做性能优化不是每个模块都抠 5%而是先盯住真正吃资源的地方。11.2 先打地基再冲结果V1 到 V3 的路线说明了一点很多最终看起来像“结果”的东西前面其实是长期的地基投入。如果没有前面对训练规律、MoE、MLA 的积累后面的 V3 很难站住。11.3 不把“能力问题”只理解成架构问题R1 这一步特别值得注意。因为它说明有些能力不一定靠改模型结构解决也可能靠训练目标、优化方式、奖励机制去解决这是一种非常典型的系统视角。12. 最后一句话为什么 DeepSeek V4 值得看因为它让很多人第一次清楚看到一个一线大模型不一定非得靠“无上限烧钱”才能出来。它也可以走另一条路先把规律研究清楚再把最贵的模块做便宜再把系统做稳再把推理和长上下文补齐从这个角度看DeepSeek V4 最值得看的地方不只是“它有多强”而是它展示了一条更像工程团队会走出来的大模型演进路径。如果你把这篇文章读完只记住一句话我希望是这句V4 只是你来时路的总和。附读完你应该能回答的 6 个问题DeepSeek V1 在做什么重新研究和细化 Scaling Law为后续训练路线打地基。DeepSeek 为什么要做 MoE因为 FFN 太贵希望总参数能继续做大但每一步真正参与计算的参数别那么夸张。MLA 在解决什么KV Cache 显存太大希望压缩注意力中的历史表示。V3 为什么重要因为它证明前面的优化不是实验室技巧而是真的能堆成一线大模型。R1 为什么关键因为它把焦点从“模型能不能更省”推到“模型会不会真正推理”。V4 应该怎么理解不是单点奇迹而是前面几代技术积累的系统性收束。