大语言模型-GPT-Generative Pre-Training

一、背景信息：

GPT是2018 年 6 月由OpenAI 提出的预训练语言模型。
GPT可以应用于复杂的NLP任务中，例如文章生成，代码生成，机器翻译，问答对话等。
GPT也采用两阶段的训练过程，第一阶段是无监督的方式来预训练生成式的语言模型，第二阶段根据特定任务进行微调。
GPT的网络架构使用的是多层Transformer Decoder改的结构。

二、整体结构：

GPT 使用Transformer的 Decoder 结构，并进行了一些改动，GPT 中的Decoder只保留了原Decoder中的第一个Attention模块Mask Multi-Head Attention。

GPT堆叠了12个Transformer的Decoder模块作为解码器，然后通过全连接得到输出的概率分布。
GPT中采用的是单向的语言模型，即通过上文预测当前的词，而Decoder中的Masked Multi Self-Attention可以起到遮掩待预测的下文内容的效果。

GPT 处理不同任务时的输入变换

GPT模型由输入嵌入层、多层Transformer Decoder以及输出层这三个部分组成。
其中
1、输入嵌入层： 将输入的文本序列转换为词向量、位置向量并将二者相加得到输入向量。
2、多层Transformer Decode： 其中每一层由以残差和的方式做LayerNorm的掩码多头自注意力机层与以残差和的方式做LayerNorm的双层前馈神经网络组成。
$$\begin{array}{c}\\ X_{output}=X_{ouput-ori}\otimes X_{Mask}\\ X=LayderNorm(X_{output}+MaskMultiHeadAttention(X_{ouput}))\\ X=FeedForword(X)=max(0,X{W}_1+b_1)W_2+b_2\begin{array}{}\end{array}\end{array}$$
3、输出层： GPT模型的输出层通常为一个全连接层，将多层解码器的输出转换为对应的单词概率分布。

• 分类任务(Classification)：将起始和终止token加入到原始序列两端，输入transformer中得到特征向量，最后经过一个全连接得到预测的概率分布。
• 自然语言推理(Entailment)：将前提(premise)和假设(hypothesis)通过分隔符(Delimiter)隔开，两端加上起始和终止token。再依次通过Transformer多层Decoder和全连接得到预测结果。
• 语义相似度(Similarity)：输入的两个句子，正向和反向各拼接一次，然后分别输入给Transformer多层Decoder，得到的特征向量拼接后再送给全连接得到预测结果；
• 多项选择(MutipleChoice)：将n个选项的问题抽象化为n个二分类问题，即每个选项分别和内容进行拼接，然后各送入Transformer多层Decode和全连接中，最后选择置信度最高的作为预测结果。
  

三、GPT训练

GPT的训练包含无监督预训练和有监督fine-tune两个阶段。

GPT的无监督预训练:

假设未标注的词汇集合为 U = { u 1 , u 2 , . . . u n } U = \left \{ {{u_{1},u_{2},...u_{n}}}\right \} U={u1​,u2​,...un​}，GPT模型的优化目标是对参数进行最大似然估计：
$$L_1(U)=\sum _{i}logP(u_i|u_1,...,u_{k-1};\Theta )$$
其中，k是滑动窗口的大小, P 为条件概率, $\Theta$为条件概率的参数, 参数更新采用随机梯度下降(SGD)方法。
下面是整个过程的公式示例：
$$\{\begin{array}{c}{h}_0=U{W}_e+Wp\\ h_l=TransformerDecoderBlock(h_{l-q})\\ P(u)=softmax(h_n{W}_e^T)\end{array}$$

1. 输入嵌入层：$W_e$是token的词向量Embedding矩阵，$W_p$是位置编码的Embedding矩阵，二者求和得到输入向量矩阵$h_0$
2. 多层Transformer Decode：TransformerDecoderBlock指多层Decoder模块
3. 输出层：通过Softmax函数将输出的词向量转换为对应的单词概率分布

GPT的有监督fine-tune：

预训练后，需要针对特定任务进行有监督Fine-Tuning。
这里以一个文本分类任务举例，展示GPT在某一任务有监督微调的过程。
假设带标注的数据集C中的输入序列X为$[x^1,...,x^m]$；模型的输出y是一个分类标签；$h_l^m$代表Decoder层最后的输出；$W_y$代表输出层的Softmax参数。$L_2(C)$是分类任务的最大似然函数，$L_3(C)$是整体的最大似然函数；GPT 在微调的时候需要同时考虑预训练的损失函数，因此微调的训练目标是最大化似然函数$L_3(C)$.
$$\{\begin{array}{c}P(y|x^1,...,x^m)=softmax(h_l^m{W}_y)\\ L_2(C)={\sum }_{x,y}^{}logP(y|x^1,...,x^m)\\ L_3(C)=L_2(C)+\lambda \times L_1(C)\end{array}$$

Reference

1.Attention Is All You Need
2.BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
3.Improving Language Understanding by Generative Pre-Training