[论文笔记]GPT-2

引言

今天继续GPT系列论文， 这次是Language Models are Unsupervised Multitask Learners，即GPT-2，中文题目的意思是 语言模型是无监督多任务学习器。

自然语言任务，比如问答、机器翻译、阅读理解和摘要，是在任务相关数据集上利用监督学习的典型方法。作者展示了语言模型在训练名为WebText的新数据集时，即使是无监督，也能开始学习这些任务。基于一个文档和问题的情况下，语言模型生成的回答在CoQA数据集上达到了55 F1得分，超过了4个基准系统中的3个，是在没有利用剩下127000+个训练样本的情况下。

语言模型的容量对于零样本任务成功迁移至关重要，并且以对数线性的方式提高任务之间的性能。最大的GPT-2模型是一个1.5B参数的Transformer，在零样本设定下载8个测试语言模型数据集中的7个达到了SOTA结果。

总体介绍

如今，机器学习系统通过使用大量数据集、高容量模型和监督学习组合的方式，在其训练任务上表现出色。然而，这些系统对数据分布的细微变化和任务规范非常脆弱和敏感。当前的系统更适合被描述为精通单一任务的专家，而不是可以胜任各种任务的万事通。

作者怀疑在单一领域数据集上进行单一任务训练的流行是当前系统泛化能力不足的一个主要原因。在当前架构下，朝着健壮系统的进展可能需要在各种领域和任务上进行训练和性能测量。

多任务学习是提高整体性能的一个有潜力的框架。然而，在自然语言处理领域，多任务训练仍处于初级阶段。