【四范式】浅谈NLP发展的四个范式

自然语言处理（Natural Language Processing，NLP）是计算机科学，人工智能，语言学关于计算机和人类自然语言之间的相互作用的领域，是计算机科学领域与人工智能领域中的一个重要方向。NLP发展到今天已经进入到了LLM（大语言模型）的时代，学术界按发展时间线将NLP归纳到四个范式，即NLP四范式：

第一范式：基于「传统机器学习模型」的范式，利用特定的规则或数学、统计学的模型来对特征进行匹配和利用，进而完成特定的NLP任务，靠人工来进行大量的特征提取，依赖于大量的监督数据，并且需要专业知识和技能。如序列标注、朴素贝叶斯等算法。

第二范式：基于「深度学习模型」的范式，来到了深度学习时代，实现了自动获取特征来进行端到端的分类，从而减少了手动构建特征的需求，模型准确度有所提高，特征工程的工作量也有所减少。如CNN、RNN等神经网络模型。

第三范式：基于「预训练模型+fine-tuning」的范式，分为两个阶段，先利用大型语料库完成预训练模型的无监督学习，然后利用预训练好的模型在下游任务的特定数据集上进行fine-tuning，模型准确度得到显著提高。如GPT、Bert等模型。

第四范式：基于「预训练模型+Prompt+预测」的范式，prompt 将下游的输入输出形式改造成预训练任务中的形式（重构下游任务），使得小样本、零样本学习成为可能，模型训练所需的训练数据显著减少。