详解DeepSeek模型底层原理及和ChatGPT区别点

一、DeepSeek大模型原理

架构基础

        DeepSeek基于Transformer架构，Transformer架构主要由编码器和解码器组成，在自然语言处理任务中，通常使用的是Transformer的解码器部分。它的核心是自注意力机制（Self - Attention），这个机制允许模型在处理输入序列时，关注序列中不同位置的信息。例如，在处理句子 “The cat chased the mouse” 时，自注意力机制可以让模型知道 “cat” 和 “mouse” 是相关的实体，“chased” 描述了它们之间的动作关系。

训练过程

1. 数据收集与预处理
   DeepSeek使用了大量的文本数据进行训练，这些数据来自互联网、书籍、新闻等多个来源。在训练之前，需要对数据进行预处理，包括分词、去除噪声、将文本转换为数字表示（词嵌入）等操作。例如，将句子 “Hello, how are you?” 分词为 “Hello”、“,”、“how”、“are”、“you”、“?” ，然后将每个词转换为对应的词向量。
2. 预训练阶段
   在预训练阶段，DeepSeek采用无监督学习的方式，通过语言模型任务来学习语言的模式和规律。最常见的任务是掩码语言模型（Masked Language Model，MLM）和下一句预测（Next Sent