DeepSeek LLM(初代)阅读报告

概况

这个是deepseek发布的第一版模型对应的技术报告，模型发布于23年11月，本报告发布于24年1月。

模型有7B和67B两个版本。

虽然本报告中还没有用上后面V2/V3和R1中的关键技术例如MLA、MTP、GRPO，但是报告中已经指明了MoE、强化学习等未来的方向，并且在infra方面给了比较多的重视，这也将是后续训练成本低的关键。

模型结构

模型设计上遵循了Llama的结构，也就是RMSNorm+RoPE位置编码等特征，MLP表达式： ，MLP的维度是隐藏层维度的8/3。

在67B模型中，使用了GQA，下图可以看出，64个注意力头被分成了8组，每组的8个头共享相同的计算KV时的权重参数。

还有一点值得注意，67B模型的层数是95层，MLP的维度是隐藏层维度的8/3；而Llama-70B的模型层数是80层，MLP的维度是隐藏层维度的3.5倍。也就是说，deepseek LLM的结构更深更细。

训练

在训练过程中，没有使用余弦学习率调度器，而是使用多步学习率调度器：在2000个预热步骤之后达到最大学习率，处理80%的训练数据后学习率降到最大值的31.6%，处理90%后降低到10%

infra

• 使用幻方自己研发的HAI-LLM训练框架来训练和评估大型语言模型。该框架集成了数据并行性、张量并行性、序列并行性和1F1B流水线并行性，正如在Megatron中所做的那样。
• 我们还利用了flash attention技术来提高硬件利用率。
• ZeRO-1被用来将 优化器状态 分割到 数据并行的各个 rank 上。
• 我们还努力重叠计算和通信，以最小化额外的等待开销，包括最后一个微批处理的反向过程和ZeRO-1中的reduce-scatter操作，以及序列并行中的GEMM计算和all-gather/reduce-scatter。
• 使用图融合和算子融合以加快训练速度，包括尽可能的LayerNorm、GEMM和Adam更新。为了提高模型训练的稳定性，我们在bf16精度下训练模型，但在fp32精度下累积梯度。
• 在位交叉熵被用来减少GPU内存消耗，即：我们在交叉熵CUDA内核中实时将bf16日志转换为fp32精度（而不是预先在HBM中转换），计算相应的bf16梯度，并用其梯度覆盖日志。
• 模型权重和优化器状态每5分钟异步保存一次，这意味着在偶尔的硬件或网络故障的最坏情况下，我们不会丢失超过5分钟的训练。这些临时模型检查点定期被清理，以避免消耗过多的存储空间。我们还支持从不同的3D并行配置恢复训练，以应对计算集群负载的动态变化。
• 至于评估，在生成任务中使用vLLM，并在非生成任务中使用连续批处理，以避免手动批处理大小调整并减少标记填充。

可以看出deepseek在最初的训练过程中，就注重通过优化infra来降低训练成本。

scaling law

这一块的研究，就是为了从模型的规模找到该规模对应的最佳超参数，即最佳lr和最佳batch_size

讨论了scaling-law和超参数之间的关系，最主要的超参数就是learning_rate和batch_size。通过研究超参数与计算预算（模型规模*数据量）之间的关系，提出了超参数的scaling-law，以确保不同计算预算下的模型能达到最优性能。

模型规模并没有用模型参数量来衡量，而是用非嵌入的 FLOPs/token (M) ，也就是每个token计算时需要的浮点计算数。报告中使用了来表示模型规模，也就是每个token需要经历的transformer layer中的计算量，而没有把也计算在参数量中的词表嵌入考虑在内。

于是计算预算的公式由变成了，N是模型参数，M是上面的非嵌入的flops/token，D是数据量

超参数的scaling-law：

下边这个公式展示了两个超参数与模型规模之间的关系，下图表示了随着模型规模的变化，超参数也发生变化。

通过计算预算来选择合适的数据量和模型规模：

通常情况下，都是现有硬件和训练时长的预算，下一步才开始规划模型的规模和训练数据的规模。因此，需要通过给定的C来得到M和D，使得训练过程的损失最小。

具体是如何选择的：

• 选择了不同的计算预算范围（例如从 1e17到 3e20），对每个计算预算 C，设计了多个不同的 模型规模（M） 和 数据规模（D） 分配方案。
• 通过 IsoFLOP 方法，可以为每种分配方案计算出相应的 泛化误差。
• 得到一堆泛化误差的数据点，这些数据点构成了一个 损失缩放曲线，表示随着计算预算的变化，模型的泛化误差如何变化。

对齐

人类偏好对齐分成SFT和DPO两步，共有150万条数据

SFT的数据集主要有分成有用信息和无害化两部分，其中有用信息有一般对话、数学和编程。

在微调过程中，有可能出现无限重复问题，也就是不停输出相同的内容。这一现象会随着SFT中数学内容比例增加而提升，这是因为数学中偶尔包含推理中的相似模式。为了解决这一问题，使用了两阶段SFT和DPO来减少重复。

两阶段SFT，第一阶段涉及使用所有可用数据进行微调，第二阶段专注使用对话数据进行微调。

一些讨论：

• 在训练数据中添加多选题能显著提升模型解答多选的能力，因为解答多选不仅需要拥有相关知识，还需要理解选项含义。但是这并不会带来对话任务上的提升，因此为了防止在基准任务过拟合，在训练和微调中完全排除掉了多选数据
• 关于system prompt，deepseek LLM在Llama的基础上进行了轻微改动，最终在67B的模型上有所提升，但7B模型上性能反而下降。这可能是因为：更大的模型对系统提示背后的意图有更好的理解，使它们能够更有效地遵循指示并生成更优秀的回答。另一方面，较小的模型难以充分理解系统提示，训练和测试之间的一致性可能对它们的性能产生负面影响。

总结

我们介绍了DeepSeek LLMs，一系列开源模型，这些模型是基于2T tokens的庞大数据集从零开始训练的。在本文中，我们提供了关于超参数选择、scaling-law以及我们进行的各种微调尝试的深入解释。

• 我们校准了之前工作的scaling-law，并提出了一种新的最优模型/数据扩展分配策略。
• 此外，我们提出了一种方法，可以在给定的计算预算下预测接近最优的批量大小和学习率。
• 我们进一步得出结论，扩展规律与数据质量有关，这可能是不同工作中扩展行为变化的根本原因。在扩展规律的指导下，我们使用最佳超参数进行预训练，并提供了全面的评估。

DeepSeek Chat具有其他大型语言模型普遍存在的公认限制，包括预训练后缺乏持续的知识更新、可能生成未经验证的建议等非事实信息，以及倾向于产生幻觉。此外，值得注意的是，我们的中文数据的初始版本并不全面，这可能导致在某些特定中文主题上的性能不佳。由于我们的数据主要由中文和英文来源组成，模型在其他语言上的熟练程度仍然微妙，应谨慎对待。

DeepSeek LLM是一个长期项目，致力于推进开源语言模型。

• 很快，我们将分别发布我们在代码智能和**混合专家（MoE）**技术报告。它们展示了我们如何创建高质量的代码数据进行预训练，以及如何设计稀疏模型以实现密集模型的性能。
• 目前，我们正在构建一个更大且改进的数据集，用于即将到来的DeepSeek LLM版本。我们希望在下一个版本中，推理能力、中文知识、数学和代码能力将得到显著提升。
• 我们的对齐团队致力于研究如何向公众提供有帮助、诚实和安全的模型。我们的初步实验表明，强化学习可以提升模型的复杂推理能力。

个人总结：23年发布的第一版本的DeepSeek LLM是对开源LLM Llama的复刻，技术团队在复刻的过程中积累了自己构建的训练数据和训练经验，其中也包含了一些对超参数选择的探究。但整体来说，由于训练数据量不够大等原因，表现上也没有很突出。不过，此时团队已经发现这些问题，并已经在数据集、MoE架构以及RL方面有了清晰的认知和具体的行动，这将为V2和V3的出现奠定基础。