大语言模型领域的重要术语解释

前言

本人对人工智能非常感兴趣，目前是一名初学者，在研究大语言模型的一些内容。很多模型都是用英文提出的，其中也包括很多概念，有些概念的中文翻译和其想表达的意思不完全一样，所以在这里，想更加精准地帮助大家理解这些词汇。

术语解释

为了方便查找，接下来的词汇将按照字典序进行解释。

ablation study

消融实验。为了测试论文中提出的创新点是否有效，将加上创新点的代码效果与不加上创新点的代码效果进行对比，从而证明该创新点的有效性。这个实验被称为消融实验。

baseline

基线，或者翻译为参照物。一般是指一个简单、易于实现的基准模型，用来与论文中提出的新模型做对比的。

cross entropy

交叉熵。交叉熵是一种计算两个向量之间距离的方式，常用于损失函数当中。交叉熵越小，表明两个向量之间越接近。

假设有两个向量$X=(x_1,x_2,\dots ,x_n),Y=(y_1,y_2,\dots ,y_n)$

则这两个向量的交叉熵为${\sum }_{i=1}^n{x}_{i}lo{g}_2(y_i)$

decoding

解码。decoding是跟encoding相反的过程，将编码转换为离散属性。

encoding

编码。编码是处理离散属性的一个重要方式。独热编码（one-hot encoding)就是一种常见编码。

max pooling

最大值池化。pooling是池化的意思。max pooling这个操作可以把矩阵中$2\times 2$的格子，通过取最大值的方式，变成一个$1\times 1$的格子。该操作常用于图像处理。

NLP

自然语言处理。是Natural Language Processing的简称。著名的BERT模型、GPT模型都是用来处理NLP任务的。

normalization

归一化。归一化是对原始数据的线性变换，通常将数据映射到$[0,1]$，转换函数为$x^{\prime }=\frac{x-min(x)}{max(x)-min(x)}$

softmax

归一化指数函数。softmax是一个函数的名字，这个函数的作用是对一个向量进行处理，且使得处理完的向量所有分量之和为1，且可以放大分量中的最大值在所有分量中的占比，并且所有分量均为正值。该函数常用于多分类预测模型。

假设有一个向量$X=(x_1,x_2,\dots ,x_n)$，那么对这个向量进行softmax处理的公式为$x_i^{\prime }=\frac{e^{x_i}}{{\sum }_{j=1}^n{e}^{x_j}}$

经过softmax处理后的向量为$X^{\prime }=(x_1^{\prime },x_2^{\prime },\dots ,x_n^{\prime })$

SOTA

最先进的技术。是State Of The Art的缩写。指在公开的数据集上，目前检测到的效果最好，识别率最高，正确率最高的模型。一般在论文中会把自己提出的模型与SOTA进行比较。

token

词元。token是语言类模型中的最小语义单位。通常可以是一个单词、一个词组、一个标点符号、一个字符等，取决于文本处理的需求和方法。

word embedding

理解1（简单的理解）

词向量。很多大语言模型的一个重要的目标，就是把每个单词（或者汉字）用一个向量来表示。embedding可以简单理解为向量的意思，word embedding就是这个单词的向量表示。

理解2（真实的理解）

词嵌入。嵌入，顾名思义，就是把高维的信息映射到低维空间上。经典的one-hot编码，就是采用N维向量来表示N个单词。但是由于单词量过大，会导致向量维数过大。为了解决这个问题，就需要通过某种方法，把这个高维向量用低维的向量表示，这个低维的向量，就被称为word embedding。

zero-shot learning

零样本学习。零样本学习就是让计算机模拟人类的推理方式，来识别从未见过的新事物。

总结

本人是一个机器学习领域的萌新，对于很多概念可能还理解不到位，但是尽量把自己的一些见解呈现给大家。希望可以对大家（尤其是新手）有所帮助。