人工智能-NLP简单知识汇总01

人工智能-NLP简单知识汇总01

1.1自然语言处理的基本概念

自然语言处理难点：

1. 语音歧义
2. 句子切分歧义
3. 词义歧义
4. 结构歧义
5. 代指歧义
6. 省略歧义
7. 语用歧义

总而言之：！！语言无处不歧义

1.2自然语言处理的基本范式

1.2.1基于规则的方法

通过词汇、形式文法等制定的规则引入语言学知识，从而完成相应的自然语言处理任务

对于机器翻译任务可以构造如下规则库：

if 汉语主语=我 then 英语主语 = I
if 英语主语=I then 英语 be动词 = am/was
if 汉语 = 苹果 and 没有修饰量词 then 英语 = apples

就是基于固定规则，优缺点显而易见

1.2.2基于机器学习的方法

将自然语言处理任务转化为某种分类任务

• 数据构建既是构建语料库（Corpus）

• 数据预处理既是简单的数据处理划分。

• 特征构建阶段是提取对于机器学习模型有用的特征。

• 模型学习阶段既是选择合适的机器学习模型，确定学习准则，训练模型参数。

需要人工处理的特别多

1.2.3基于深度学习的方法

将特征学习和预测模型融合，通过优化算法使得模型自动地学习出好的特征表示，并基于此进行结果预测

• 数据预处理简单
• 通过多层特征转换，将原始数据转换为更加抽象的表示。可以在一定程度上完全代替人工设计的特征。也称为：表示学习。
• 利用自监督任务进行预处理，通过海量的数据得到更加通用语言表示，根据下游任务进行网络调整。

1.2.4基于大模型的方法

将大量各类型自然语言处理任务，统一为生成式自然语言理解框架

• 在大规模语言模型构建阶段，通过大量的文本内容，训练模型长文本的建模能力，使得模型具有语言生成能力，并使得模型获得隐式的世界知识。
• 在通用能力注入阶段，利用包括阅读理解、情感分析、信息抽取等现有任务的标注数据，结合人工设计的指令词对模型进行多任务训练，从而使得模型具有很好的任务泛化能力。
• 特定任务使用阶段则变得非常简单，由于模型具备了通用任务能力，只需要根据任务需求设计任务指令，将任务中所需处理的文本内容与指令结合，然后就可以利用大模型得到所需结果。