人工智能大语言模型起源篇（二），从通用语言微调到驾驭LLM

上一篇：《人工智能大语言模型起源篇（一），从哪里开始》

（5）Howard 和 Ruder 于2018年发表的《Universal Language Model Fine-tuning for Text Classification》，https://arxiv.org/abs/1801.06146

这篇论文从历史的角度来看非常有意思。尽管它是在原始的《Attention Is All You Need》变换器发布一年后写的，但它并没有涉及变换器，而是专注于递归神经网络。然而，它仍然值得注意，因为它有效地提出了语言模型的预训练和迁移学习，用于下游任务。

尽管迁移学习在计算机视觉中已经被确立，但在自然语言处理（NLP）中还不普遍。ULMFit 是首批展示预训练语言模型并对其进行微调，从而在许多NLP任务中取得最先进成果的论文之一。

ULMFit 提出的微调语言模型的三阶段过程如下：

1. 在大规模文本语料库上训练语言模型。

2. 在任务特定的数据上微调这个预训练的语言模型，使其能够适应文本的特定风格和词汇。

3. 在任务特定数据上微调分类器，并逐步解冻各层，以避免灾难性遗忘。

这个过程——在大规模语料库上训练语言模型，然后在下游任务上进行微调——是基于变换器的模型和像BERT、GPT-2/3/4、RoBERTa等基础模型所使用的核心方法。

然而，ULMFiT的关键部分——逐步解冻，通常在实践中不会常规进行，尤其是在使用变换器架构时，通常会一次性微调所有层。

来源：https://arxiv.org/abs/1801.06146

（6）Devlin、Chang、Lee 和 Toutanova 于2018年发表的《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》，https://arxiv.org/abs/1810.04805

继原始的变换器架构之后，大型语言模型的研究开始分为两个方向：一种是用于预测建模任务（如文本分类）的编码器风格变换器，另一种是用于生成建模任务（如翻译、总结和其他形式的文本生成）的解码器风格变换器。

上面的BERT论文介绍了掩蔽语言模型（masked-language modeling）和下一句预测（next-sentence prediction）这一原始概念。它仍然是最具影响力的编码器风格架构。如果你对这一研究方向感兴趣，我推荐你进一步了解RoBERTa，它通过去除下一句预测任务，简化了预训练目标。

来源：https://arxiv.org/abs/1810.04805

（7）Radford 和 Narasimhan 于2018年发表的《Improving Language Understanding by Generative Pre-Training》，https://www.semanticscholar.org/paper/Improving-Language-Understanding-by-Generative-Radford-Narasimhan/cd18800a0fe0b668a1cc19f2ec95b5003d0a5035

原始的GPT论文介绍了流行的解码器风格架构，并通过下一个词预测进行预训练。BERT可以被看作是一个双向变换器，因为它的预训练目标是掩蔽语言模型，而GPT是一个单向的、自回归模型。虽然GPT的嵌入也可以用于分类任务，但GPT方法是当今最具影响力的大型语言模型（LLM）的核心，例如ChatGPT。

如果你对这个研究方向感兴趣，我建议你进一步阅读GPT-2 https://www.semanticscholar.org/paper/Language-Models-are-Unsupervised-Multitask-Learners-Radford-Wu/9405cc0d6169988371b2755e573cc28650d14dfe和GPT-3 https://arxiv.org/abs/2005.14165的论文。这两篇论文展示了LLM能够进行零-shot和少-shot学习，并突出了LLM的突现能力。GPT-3仍然是当前一代LLM（如ChatGPT）训练的流行基准和基础模型——我们稍后会作为单独的条目讨论导致ChatGPT的InstructGPT方法。

来源: https://www.semanticscholar.org/paper/Improving-Language-Understanding-by-Generative-Radford-Narasimhan/cd18800a0fe0b668a1cc19f2ec95b5003d0a5035

（8）Lewis、Liu、Goyal、Ghazvininejad、Mohamed、Levy、Stoyanov 和 Zettlemoyer 于2019年发表的《BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension》，https://arxiv.org/abs/1910.13461

如前所述，BERT类型的编码器风格LLM通常更适用于预测建模任务，而GPT类型的解码器风格LLM则更擅长生成文本。为了兼顾两者的优点，上面的BART论文将编码器和解码器部分结合在一起（这与原始的变换器架构（本清单中的第二篇论文）并无太大区别）。

来源：https://arxiv.org/abs/1910.13461

（9）Yang、Jin、Tang、Han、Feng、Jiang、Yin 和 Hu 于2023年发表的《Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond》，https://arxiv.org/abs/2304.13712

这不是一篇研究论文，但可能是迄今为止最好的架构综述，展示了不同架构的演变过程。然而，除了讨论BERT风格的掩蔽语言模型（编码器）和GPT风格的自回归语言模型（解码器）外，它还提供了关于预训练和微调数据的有用讨论和指导。

现代 LLM 的进化树，来自 https://arxiv.org/abs/2304.13712。