【大模型基础_毛玉仁】2.5 基于 Decoder-only 架构的大语言模型 -- GPT和LLaMa模型介绍

---

更多内容：XiaoJ的知识星球

---

---

.

2.5 基于 Decoder-only 架构的大语言模型

在开放式（Open-Ended）生成任务中，通常输入序列较为简单，甚至没有具体明确的输入，因此维持一个完整的编码器来处理这些输入并不是必要的。

对于这种任务，Encoder-Decoder 架构可能显得过于复杂且缺乏灵活性。在这种背景下，Decoder-only 架构表现得更为优异。

本节将对 Decoder-only 架构及其代表性模型进行介绍。

.

---

2.5.1 Decoder-only 架构

1）自回归方法：逐字生成文本，不仅保持了长文本的连贯性和内在一致性，而且在缺乏明确输入或者复杂输入的情况下，能够更自然、流畅地生成文本。

2）去除了编码器部分：使得模型更加轻量化，从而加快了训练和推理的速度。

.

GPT 系列是起步最早的 Decoder-only 架构，在性能上也成为了时代的标杆。但从第三代开始，GPT 系列逐渐走向了闭源。

而 LLaMA 系列虽然起步较晚， 但凭借着同样出色的性能以及始终坚持的开源道路，也在 Decoder-only 架构领域占据了一席之地。

接下来将对这两种系列的模型进行介绍。

.

---

2.5.2 GPT 系列语言模型

GPT（Generative Pre-trained Transformer）：

• GPT系列模型基于 Decoder-only 架构的大语言模型。

• 其演进历程可以划分为五个阶段，如下表所示。

表 2.3: GPT 系列模型参数和语料大小表。

模型	发布时间	参数量（亿）	语料规模
GPT-1	2018.06	1.17	约 5GB
GPT-2	2019.02	1.24 / 3.55 / 7.74 / 15	40GB
GPT-3	2020.05	1.25 / 3.5 / 7.62 / 13 / 27 / 67 / 130 / 1750	1TB
ChatGPT	2022.11	未知	未知
GPT-4	2023.03	未知	未知
GPT-4o	2024.05	未知	未知

GPT 系列模型参数规模与预训练语料规模呈现出激增的趋势。自 ChatGPT 版本起，GPT 系列模型转向了闭源模式，其具体的参数量和预训练数据集的详细信息已不再公开。

.

1）初出茅庐：GPT-1 模型

但当时所用的 RNN 模型无法很好解决长距离依赖问题，Transformer 的出现为这一问题提供了新的解决方案了。

GPT-1 开创了 Decoder-only 架构下，通过下一词预测解决无监督文本生成的先河，为自然语言处理领域带来了革命性的影响。

.

(1) GPT-1 模型结构

在模型架构方面，GPT-1 使用了 Transformer 架构中的 Decoder 部分：

• 省略了 Encoder 部分以及交叉注意力模块。

• 12 个解码块堆叠而成，每个解码块包含一个带掩码的自注意力模块和一个全连接前馈模块。

下图对比了 BERT-Base 以及 GPT-1 的模型结构。从图中可以看出：

• GPT-1 在结构上与 BERT-Base 高度类似；

• 本质区别：BERT-Base 中的自注意力模块是双向的自注意力机制，而 GPT-1 中的自注意力模块则是带有掩码的单向自注意力机制。

图 2.13: BERT-Base 和 GPT-1 模型。

.

(2) GPT-1 预训练方法

GPT-1 使用小说数据集 BookCorpus 来进行预训练。

在预训练方法上，GPT-1 采用下一词预测任务。以自回归的方法不断完成下一词预测任务，模型可以有效地完成文本生成任务，如图所示。

图 2.14: GPT-1 语言建模预训练任务

这不仅提高了模型的泛化能力，而且减少了 对标注数据的依赖，为自然语言处理领域带来了新的研究方向和应用前景。

.

(3) GPT-1 下游任务

GPT-1模型预训练后有潜力但任务泛化受限，通常需有监督微调提升下游任务表现，微调用特定任务标注数据优化模型参数，输入输出为文本序列，需构建适配应用场景的微调策略。

• 文本分类：GPT-1 能够接收一段文本作为输入，并根据预定义的类别标签，如情感倾向（积极、消极或其他），对文本进行分类。这在情感分析、主题分类等场景中非常有用。

• 文本相似度评估：当需要衡量两段文本之间的相似性时，GPT-1 能够分析并量化它们的内容和语义相似度。这项功能在比较文档、搜索结果优化和推荐系统中尤为重要。

• 多项选择题解答：GPT-1 还可以处理多项选择问题。模型能够理解问题文本和选项内容，从给定的选项中识别并输出最合适的答案。

.

2）小有所成：GPT-2 模型

相较于 GPT-1，GPT-2 在模型规模和预训练样本的质量上都进行了显著的提升，显著增强了模型的任务泛化能力。

.

(1) GPT-2 模型结构

GPT-2 模型延续了 GPT-1 的 Decoder-only 架构，并在此基础上进一步加大了参数数量。GPT-2 一共发布了四个版本，分别是 GPT-2 Small、GPT-2 Medium、GPT-2 Large 以及 GPT-2 XL。

GPT-2 Small在模型规模上接近GPT-1及BERT-Base，GPT-2 Medium在模型规模上接近BERT-Large。

(2) GPT-2 预训练方法

在预训练中，GPT-2 继续采用下一词预测任务，但进一步提升了预训练数据的数量和质量。

通过使用 WebText 数据集进行预训练，GPT-2 的语言理解能力得到了显著增强，接触到了更多样化的语言使用场景，还学习到了更复杂的语言 表达方式。

.

(3) GPT-2 下游任务

GPT-2 的任务泛化能力得到了改善，在某些任务上可以不进行微调，直接进行零样本学习。这种能力大大增加了 GPT-2 在处理下游任务时的灵活性，降低了下游任务适配所需的成本。这为 Decoder-only 架构博得了更多关注。

.

3）崭露头角：GPT-3 模型

与前两代模型相比，GPT-3 在模型规模和预训练语料上进一步提升，并涌现出了优良的上下文学习（In-Context Learning, ICL）能力。

在上下文学习能力的加持下，GPT-3 可以在不进行微调的情况下，仅通过任务描述或少量示例即可完成多 样化的下游任务。

.

(1) GPT-3 模型架构

GPT-3在架构上继承并扩展前两代，增加解码块数量、隐藏层维度和自注意力头数量，参数量最高达1750亿，能捕获更细微复杂的语言模式，提升文本生成能力，且设计了多个不同参数规模版本以满足不同场景需求。

表 2.4: GPT-1 至 GPT-3 模型具体参数表。

模型版本	解码块数量	隐藏层维度	自注意力头数量	总参数量（亿）
GPT-1	12	768	12	1.17
GPT-2 Small	12	768	12	1.24
GPT-2 Medium	24	1024	16	3.55
GPT-2 Large	36	1280	20	7.74
GPT-2 XL	48	1600	36	15
GPT-3 Small	12	768	12	1.25
GPT-3 Medium	24	1024	16	3.5
GPT-3 Large	24	1536	16	7.62
GPT-3 XL	24	2048	24	13
GPT-3 2.7B	32	2560	32	27
GPT-3 6.7B	32	4096	32	67
GPT-3 13B	40	5120	40	130
GPT-3 175B	96	12288	96	1750

.

(2) GPT-3 预训练方法

延续了前两代的预训练方法，GPT-3 继续采用下一词预测作为预训练任务。

使用了更大规模和更多样化的互联网文本数据集，以确保数据的质量和多样性。基于这些数据，GPT-3 学习到了更加丰富和多元的语言知识和世界知识。

.

(3) GPT-3 下游任务

GPT-3 模型涌现出了良好的上下文学习能力，使其可以在无需微调的情况下，仅通过在输入文本中明确任务描述和提供少量示例，便能够执行多种下游任务。

上下文学习能力极大地增强了 GPT-3 的任务泛化能力，使其能够快速适应不同的应用场景。GPT-3 开始在文本生成、问答系统、语言翻译等众多自然语言处理任务中崭露头角。

.

4）蓄势待发：InstructGPT 等模型

在 GPT-3 的基础上，OpenAI 进一步推出了一系列衍生模型。这些模型在 GPT-3 网络结构之上通过特定的训练方法，各个“身怀绝技”。

其中，最具启发意义的是 InstructGPT，其也是 ChatGPT 的前身。它通过引入了人类反馈强化学习（Reinforcement Learning from Human Feedback, RLHF）， 显著提升了模型对用户指令的响应能力。

人类反馈强化学习通过三个步骤提升模型输出质量：

• （1）有监督微调：用“问题-人类回答”对微调大语言模型；

• （2）训练奖励模型：生成多个候选输出，人工评估排名，训练奖励模型打分；

• （3）强化学习微调：用奖励模型评分，通过强化学习调整模型参数，提升高质量输出概率。

图 2.15: 人类反馈强化学习（RLHF）过程

RLHF计算成本高，因奖励模型训练复杂且需多模型联合训练。

为解决此问题，2023年斯坦福大学提出直接偏好优化（Direct Preference Optimization, DPO）算法，直接利用人类偏好数据训练模型，省略构建奖励模型和应用强化学习步骤，简化流程，提高训练效率和模型稳定性，虽在处理复杂偏好时略逊于RLHF，但计算优势使其广泛应用。

.

5）一鸣惊人：ChatGPT 以及 GPT-4 等模型

ChatGPT（Chat Generative Pretrained Transformer）：

以强大的对话能力展示了令人惊讶的智能，一度引发其是否可以通过“图灵测试”的讨论。

用户可以通过OpenAI提供的网页端或API轻松使用预训练后的ChatGPT模型，无需本地部署，标志着一种新的服务模式LLMaaS（LLM as a Service）的出现。

GPT-4：

2023年3月，OpenAI发布了GPT-4，它在理解复杂语境、捕捉语言细微差别、生成连贯文本等方面优于ChatGPT，还能更有效地处理数学问题和编程挑战，并且支持图文双模态，可在图像描述和视觉问答等领域应用。

GPT-4o：

2024年5月，OpenAI又推出了GPT-4o，它在GPT-4的基础上进一步提升了响应速度，降低了延迟，并增强了多模态处理能力和多语言支持能力。GPT-4o在客户支持、内容创作和数据分析等领域表现出色，标志着AIGC应用的成熟度不断提高。

.

---

2.5.3 LLAMA 系列语言模型

LLaMA（Large Language Model Meta AI）

• LLaMA 借鉴了 GPT 系列的设计理念，同时在技术细节上进行了创新和优化。

• LLaMA 与 GPT 区别：GPT升级主线聚焦于模型规模与预训练语料的同步提升，而 LLaMA 则在模型规模上保持相对稳定，更专注于提升预训练数据的规模。

当前，Meta AI 共推出三个版本的 LLaMA 模型。

表 2.5: LLaMA 系列模型参数和语料大小表

模型	发布时间	参数量（亿）	语料规模
LLAMA-1	2023.02	67/130/325/652	约 5TB
LLAMA-2	2023.07	70/130/340/700	约 7TB
LLAMA-3	2024.04	80/700	约 50TB

.

1）LLaMA1 模型

LLaMA1是Meta AI于2023年2月推出的大语言模型，遵循“小模型 + 大数据”理念，利用大规模优质数据训练较小模型，以实现更快推理速度，适应计算资源有限场景。

.

（1）预训练数据：

LLaMA1的预训练数据来源广泛，包括Common Crawl、C4、Github、Wikipedia、Books、ArXiv和StackExchange等数据集。这些数据集涵盖了多种领域和类型。

（2）模型架构：

在模型架构方面，LLaMA1 采用了与 GPT 系列同样的网络架构。但是，其在 Transformer 原始词嵌入模块、注意力模块和全连接前馈模块上进行了优化。

• 词嵌入模块上：参考 GPTNeo 模型，使用旋转位置编码（Rotary Positional Embeddings, RoPE）增强了模型对序列顺序的理解。

• 注意力模块上：参考 PaLM 模型，将 Transformer 的 RELU 激活函数改为 SwiGLU 激活函数。这种激活函数的改进显著提高了模型的性能。

• 全连接前馈模块上：LLaMA1 借鉴 GPT-3 中的 Pre-Norm 层正则化策略，将正则化应用于自注意力和前馈网络的输入。

在注意力模块和全连接前馈模块上的改进，如图下所示。

图 2.16: LLaMA 解码块架构与标准 Transformer 解码器架构对比

.

2）LLaMA2 模型

秉承 “小模型 + 大数据”的设计理念，LLaMA2 在 LLaMA1 的基础上进一步优化和扩充 了训练数据

.

（1）预训练阶段

在预训练阶段之后，LLaMA2 采纳了人类反馈强化学习的方法，进一 步提升了模型的性能。

• 首先，使用大规模且公开的指令微调数据集对模型进行有监督的微调。

• 然后，训练 RLHF 奖励模型，并基于近似策略优化（Proximal Policy Optimization, PPO）以及拒绝采样（Rejection Sampling）进行强化学习对模型进行更新。

.

（2）模型架构上：

在模型架构上，LLaMA2 继承了 LLaMA1 的架构。LLaMA2推出了四个版本的模型：LLaMA2-7B、LLaMA2-13B、LLaMA2-34B、LLaMA2-70B。

其中，LLaMA2-34B和LLaMA2-70B引入了分组查询注意力（Grouped Query Attention, GQA）机制，键（key）以及值（value）不再与查询（query）一一对应，而是让一组查询共享相同的键和值，有效降低了内存占用和模型总参数量，从而提升了计算效率。

.

3）LLaMA3 模型

（1）预训练阶段

LLaMA3在训练数据规模、多语言支持、模型性能及训练策略上均有提升。其预训练语料达50TB，是LLaMA2的7倍，含丰富代码数据及超5%的涵盖30多种语言的非英文数据，提升了逻辑推理与跨语言处理能力。LLaMA3延续了LLaMA2的人类反馈强化学习策略，性能全面超越前代，如80亿参数版性能超LLaMA2的700亿参数版，700亿参数版在多项任务上超越GPT-4模型。

.

（2）模型架构上：

在模型架构上，LLaMA3 与前一代 LLaMA2 几乎完全相同，只是在分词（tokenizer）阶段字典长度扩大了三倍，极大提升了推理效率。

.

4）LLaMA 衍生模型

下面对三类主流的 LLaMA 衍生模型进行简要介绍。

（1）性能改进类模型：一些研究者专注于通过微调继续提升 LLaMA 模型性能。

• Alpaca：基于 GPT-3.5 生成的指令遵循样例数据对 LLaMA1 进行微调， 以较小的模型规模实现了与 GPT-3.5 相媲美的性能。

• Vicuna：利用 ShareGPT 平台上累积的日常对话数据微调 LLaMA1 模型，进一步提升了它的对话能力。

• Guanaco：通过在微调 LLaMA1 的过程中引 入 QLoRA 技术，显著降低了微调的时间成本。

（2）垂域任务类模型：大量研究者们针对特定领域对 LLaMA 进行微调。

• CodeLLaMA：在 LLaMA2 的基础上，利用大量公开代码数据进行微调，使其能更好地适应自动化代码生成、错误检测、以及代码优化等任务。

• LawGPT：通过 30 万条法律问答对 LLaMA1 模型进行指令微调，显著增强了其对法律内容的处理能力。

• GOAT：通过 Python 脚本生成的数学题库对 LLaMA1 模型进行微调，提高其解决各类数学题的准确率。

• Cornucopia：利用金融问答数据进行微调，增强了金融问答的效果。

（3）多模态任务类模型：研究者们将 LLaMA 模型扩展到多模态任务上。

• LLaVA：在 Vicuna 的基础上利用 CLIP 提取图像特征并利用一个线性投影层实现图片和文本之间的对齐。

• MiniGPT4：在 Vicuna 的基础上使用 VIT-G/14 以及 Q-Former 作为图像编码器，并同样使用线性投影层来实现图片和文本之间的对齐，展现了多模态任务处理能力。

.

---

Decoder-only 架构的大语言模型小结：

基于Decoder-only架构的大语言模型，因卓越的生成能力，引领了生成式人工智能的发展。

表2.8显示，GPT和LLaMA系列模型的参数数量及预训练语料规模增长迅速。随着算力和数据资源的进一步丰富，这类模型将展现更强大的性能。

表 2.8: GPT 系列和 LLaMA 系列模型参数和语料大小表。

模型	发布时间	参数量（亿）	语料规模
GPT-1	2018.06	1.17	约 5GB
GPT-2	2019.02	1.24 / 3.55 / 7.74 / 15	40GB
GPT-3	2020.05	1.25 / 3.5 / 7.62 / 13 / 27 / 67 / 130 / 1750	1TB
ChatGPT	2022.11	未知	未知
GPT-4	2023.03	未知	未知
GPT-4o	2024.05	未知	未知
LLAMA-1	2023.02	67 / 130 / 325 / 652	约 5TB
LLAMA-2	2023.07	70 / 130 / 340 / 700	约 7TB
LLAMA-3	2024.04	80 / 700	约 50TB

.

---

其他参考：【大模型基础_毛玉仁】系列文章

---

声明：资源可能存在第三方来源，若有侵权请联系删除！