GPT与BERT模型

        NLP任务的核心逻辑是“猜概率”的游戏。BERT和GPT都是基于预训练语言模型的思想，通过大量语料训练得到语言模型。两种模型都是基于Transformer模型。

        Bert 类似于Transformer的Encoder部分，GPT类似于Transformer的Decoder部分。两者最明显的在结构上的差异为Multi-Head-Attention和Masked Multi-Head-Attention。

• BERT：双向 预训练语言模型+fine-tuning（微调）

        BERT是基于Transformer网络架构和预训练语言模型提出的。在不同语言任务上达到最先进的水平，展示了预训练语言模型对于自然语言理解任务的巨大潜力。

        BERT分为预训练和微调两部分，预训练是BERT模型的基础部分，使用大量的文本来训练语言模型。预训练时BERT模型会学习语言知识，如词汇、语法、句子结构等，预训练是为了让BERT模型有足够的语言能力处理不同的自然语言任务；微调过程是在预训练模型的基础上，使用少量标注数据调整模型参数。

BERT更适用于自然语言理解任务：

        问答系统：在问答系统中用来理解问题并生成答案。

        句子相似度比较：比较两个句子之间的相似程度。

        文本分类：对文本进行分类。

        情感分析：对文本进行情感分析。

        命名实体识别：识别文本中的命名实体。

Bert 使用填空的方式完成预训练，随机盖住一些输入的文字，被mask的部分是随机决定的。

第一种方法，用一个特殊的符号替换句子中的一个词， MASK 标记来表示特殊符号，作为一个新字，这个字完全是一个新词，它不在字典里，代表mask了原文。另外一种方法是随机把某一个字换成另一个字。两种方法方法随机使用，BERT 训练时，向BERT输入一个句子，先随机决定哪一部分的汉字被mask，mask后输入一个序列，把BERT的相应输出看作是另一个序列，在输入序列中寻找mask部分的相应输出，这个向量通过一个Linear transform，输入向量将与一个矩阵相乘，在做softmax，输出一个分布，一个很长的向量，包含要处理的每个汉字，每个字对应一个分数。mask的字符类似标签，用one-hot vector 表示这个字符，使输出和one-hot vector之间的交叉熵损失最小。BERT 是预测被MASK的内容，在训练中，在BERT后添加一个线性模型一起训练，预测被MNASK的字符。

• GPT：自回归 预训练语言模型+Prompting（指示/提示）

        起源于对传统预训练语言模型(ELMO\ULMFit)的改进和升级，采用Transformer架构，使用预训练+微调的方式实现语言理解和生成。GPT预训练数据来源于网络文本数据。模型学习了基本的语言知识和结构，再在特定任务上微调，模型根据特定任务的需要来学习相关的知识。

        GPT主要具体应用：文本生成、文本自动完成、语言翻译、对话生成、摘要生成

        GPT 的任务是预测后面的序列，相同大小数据集时Bert 会更好，如果预训练数据很大，GPT网络训练是不需要标注的，适于超大数据量的情况的特点。

     

GPT与BERT训练的不同：

• GPT使用的是Transformer模型；BERT使用的是双向Transformer模型。
• GPT的预训练使用大量的网络文本数据；BERT的预训练使用Wikipedia和BooksCorpus。
• GPT预训练采用语言模型的方法，通过预测下一个词来学习语言模型；BERT预训练过程中采用了双向预测的方法，即通过预测句子中丢失的词来学习语言模型。
• GPT微调时，需要指定输入输出的语言模型任务；BERT微调时可应用在多种任务上。

参考：

关于ChatGPT：GPT和BERT的差别（易懂版） - 知乎