从 ChatGPT 爆火回溯 NLP 技术

ChatGPT 火遍了全网，多个话题频频登上热搜。见证了自然语言处理（NLP）技术的重大突破，体验到通用技术的无限魅力。

GPT 模型是一种 NLP 模型，使用多层变换器（Transformer）来预测下一个单词的概率分布，通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本。而 NLP 技术是人工智能领域的重要研究分支，被视为人工智能皇冠上的明珠。图灵测试的假设就是针对自然语言处理技术而设计的。本质上说，自然语言处理技术就是为了让计算机理解人类语言。

NLP 技术其实由来已久

从 1940 年代 Warren Weaver 提出机器翻译的思想以来，NLP 经历了 70 多年的发展，从技术的角度大致可分为三个阶段：

• NLP 1.0：基于规则的 NLP，即按照提前设定好的规则，进行自然语言理解；

• NLP 2.0：基于统计学的 NLP，即根据语料库中对应搭配出现的概率大小来做出自然语言的理解；

• NLP 3.0：基于深度学习的 NLP，利用深度学习技术，构建类似“人脑”的神经网络，能够像人脑一样理解自然语言。

NLP 技术可分为自然语言生成（NLG）和自然语言理解（NLU）两部分。NLG 会使用计算机创建人类语言文本，如 ChatGPT。NLU 会录入文本，理解上下文和意图，然后生成智能回复，如 Siri。

NLP 基本任务

从实践的角度讲，NLP 领域绝大多数任务都可以归结为下面的四大任务当中：

（1）序列标注：最基础的自然语言处理任务，包括分词、词性标注、命名实体识别等。总的来说，一切需要将每个单词/单字都给出一个类别的任务都可以归结为这一类。这一类任务是 NLP 中最典型的任务，也是很多其他任务的上游任务。典型的如中文自然语言处理，由于中文的 token 是汉字，而最小语素是由一个或多个汉字构成的词语，这就需要对中文文本进行分词。分词过程就是典型的序列标注任务。

（2）文本分类（聚类）：分类任务是机器学习领域的基础性任务，文本分类也是常见的自然语言处理任务，旨在将不同长度的文本最终归纳到某个类别当中，典型如文本分类、文本聚类、情感识别、情感计算等等都可以归于此。从某种角度说，序列标注任务也是一种连续进行的分类任务。

（3）关系判断：关系判断用于判断两个句子的某种关系。该类任务的场景繁杂，简单的如文本相似度识别、文本关联识别，复杂的如机器阅读理解，机器问答、语义改写等等都可以划分为此类。

（4）生成任务：生成任务用于在输入某个文本内容后，根据需要自动生成另一段文字。典型的如机器翻译，文本摘要、文本扩充等等。

此外，还有一些如机器阅读理解、关系提取、推理等任务，可以视为以上四类任务的复杂组合和变体。

日常生活中，垃圾邮件过滤程序、拼写检查程序、语法检查程序、自动更正、语言翻译、情感分析、语义搜索等都属于 NLP 。基于 Transformer 架构的新深度学习（DL）方法的出现，为 NLP 技术的性能和功能带来了革命性的变化。现在，先进的 NLP 模型已成为现代搜索引擎、语音助手和聊天机器人的核心。这些应用程序在自动处理日常订单、路由查询和回答常见问题时也变得日益纯熟。

NLP 现实用例

| 初创公司

自然语言处理应用在过去十年呈爆炸式增长，因为由 GPU 驱动的递归神经网络的改进提供了性能更好的人工智能。这使得初创公司得以提供语音服务、语言教师和聊天机器人等服务。

| 医疗健康

医疗健康面临的困难之一是难以获得。打医生办公室电话并一直等待的情况十分常见，与索赔代表联系可能同样困难。通过实施 NLP 来训练聊天机器人是医疗健康行业的一项新兴技术，可以解决医疗专业人员的短缺问题，并开创与患者的沟通渠道。

NLP 的另一个重要的医疗健康应用程序是生物医学文本挖掘（通常称为 BioNLP）。鉴于生物文献数量众多，以及生物医学出版速度不断提高，自然语言处理是一个关键的工具，可以在已发表的研究中提取信息，推动生物医学领域的知识进步。这非常有助于药物研发和疾病诊断。

| 金融服务

NLP 是为金融服务公司构建更好的聊天机器人和 AI 助理的关键组成部分。在众多用于基于 NLP 的应用程序的语言模型中，BERT 已成为机器学习领域 NLP 的领军者及语言模型。例如，银行可以使用 NLP 来评估信用记录很少或没有信用记录的客户信誉。

| 零售

除了医疗健康外，聊天机器人技术还常用于零售应用程序，能够准确分析客户查询，并生成回复或建议。这可简化客户流程，并提高商店运营效率。NLP 还用于文本挖掘客户反馈和情感分析。

技术只有实际应用才有价值。ChatGPT 的出现，让更多人看到了以 NLP 为代表的人工智能技术的无限可能。作为将科技创新视为第一驱动力的高新技术企业，思腾合力将加大相关技术研发力度，持续探索人工智能在千行百业的海量应用场景。