大语言模型--能力

能力

---

从语言模型到任务模型的转化

在自然语言处理的世界中，语言模型$p$是一种对代币序列$x_{1:L}$这样的模型能够用于评估序列，例如$p(the,mouse,ate,the,cheese)$同样，它还可以用于在给定提示的条件下生成的序列，如$\text{the mouse ate}⇝\text{the cheese}$。

我们使用“适应（Adaptation）”来指代将语言模型转化为任务模型的过程。这个过程需要以下两个输入：

• 任务的自然语言描述
• 一组实例训练（输入-输出对）

我们主要有两种方式来进行这种适应：

• 训练（标准的有监督学习）：训练一个新模型，生成能够将输入映射到输出。这可以通过创建一个新模型并利用语言模型作为特征（标记法），或者从现有的语言模型出发，根据实例训练进行更新（配置），或者在这两者之间找到平衡（轻量级的配置）。以上内容将在第十一章进行学习（大模型之适配）。
• 提示（上下文描述）学习：根据对任务的建一个或一组提示/上下文信息，将其输入到语言模型中以获取基于该任务的生成结果。

语言建模

在语言自然处理（NLP）领域，除了研究大型语言模型，我们还需要深入探讨一些基础任务。比如，我们要对GPT-3的各种功能有研究的认知，并真正理解如何优化给定模型的提示（当前仅通过基于提出的信息就可获得性能的提示已经成为了认知）。这些都是语言模型研究的核心部分。最深入的方法是验证语言模型是否能够有效地模仿和理解语言。

困惑度（Perplexity）是一个重要的指标，是自然语言处理和语言模型中的一个重要概念，用于简化语言模型的性能。它可以解释模型在预测下一个词时的平均不确定性。也就是说，如果一个模型的困惑度较低，那么它在预测下一个词的时候就会更加准确。对于给定的语言模型和一个测试数据集，困惑度被定义为：

$$P(X)=P(x_1,x_2,...,x_N{)}^{(-1/N)}$$

其中，$X=x_1,x_2,...,x_N$是集中测试的词序列，$N$是测试集中的总词数。困惑度与语言模型的质量紧密相关。一个优秀的语言模型能够准确预测测试数据中的词序列，因此它的困惑度应该更低。相反，如果语言模型经常做出了错误的预测，那么它的困惑度就会随之而来。

一个序列的联合概率取决于其长度，并且随着长度的增长，其值趋近于零，这使得困惑度变得难以追踪。在观察上，我们希望对每个词标记（token）的概率$p(x_i\mid x_{1:i-1})$进行平均。这里的 p(xi∣x1:i−1) 表示给定之前的词序列$x_{1:i-1}$后，下一个词$x_i$出现的概率。这样做的目的是评估模型在处理各种词标记时的平均性能。

总结

增加模型的大小和示例的数量都有助于提高性能。
有一些启发式的方法可以使语言模型适应感兴趣的任务。
但为什么会有这样的表现，没有人知道。