自然语言处理从入门到应用——自然语言处理的基本问题：文本分类（Text Classification, Text Categorization）

分类目录：《自然语言处理从入门到应用》总目录

---

文本分类（Text Classification, Text Categorization）是最简单也是最基础的自然语言处理问题。即针对一段文本输入，输出该文本所属的类别，其中，类别是事先定义好的一个封闭的集合。文本分类具有众多的应用场景，如垃圾邮件过滤（将邮件分为垃圾和非垃圾两类）、新闻分类（将新闻分为政治、经济和体育等类别）等。在《自然语言处理从入门到应用——自然语言处理的应用任务》文章中介绍的文本情感分类任务就是典型的文本分类问题，类别既可以是褒、贬两类，也可以是喜、怒、哀和惧等多类。在使用机器学习，尤其是深度学习方法解决文本分类问题时，首先，需要使用《自然语言处理从入门到应用——文本的表示方法》中介绍的文本表示技术，将输入的文本转化为特征向量；然后，使用后文将要介绍的机器学习模型（也叫分类器），将输入的特征向量映射为一个具体的类别。

除了直接使用文本分类技术解决实际问题，还有很多自然语言处理问题可以转换为文本分类问题，如文本匹配（Text Matching），即判断两段输入文本之间的匹配关系，包括复述关系（Paraphrasing）即判断两个表述不同的文本语义是否相同、蕴含关系（Entailment），即根据一个前提文本，推断与假设文本之间的蕴含或矛盾关系等。一种转换的方法是将两段文本直接拼接起来，然后按复述或非复述、蕴含或矛盾等关系分类。

参考文献：
[1] 车万翔, 崔一鸣, 郭江. 自然语言处理：基于预训练模型的方法[M]. 电子工业出版社, 2021.
[2] 邵浩, 刘一烽. 预训练语言模型[M]. 电子工业出版社, 2021.
[3] 何晗. 自然语言处理入门[M]. 人民邮电出版社, 2019
[4] Sudharsan Ravichandiran. BERT基础教程：Transformer大模型实战[M]. 人民邮电出版社, 2023
[5] 吴茂贵, 王红星. 深入浅出Embedding：原理解析与应用实战[M]. 机械工业出版社, 2021.