【NLP笔记】文本分词、清洗和标准化

文本分词

参考文章：​一文看懂NLP里的分词（中英文分词区别+3 大难点+3 种典型方法）;

文本分词处理NLP的基础，先通过对文本内容进行分词、文本与处理（无用标签、特殊符号、停用词、大写转小写）、向量化等操作，然后才能够作为各种算法的输入，分词一直是 NLP 的基础，但是现在也不一定了，不过在一些特定任务中，分词还是必要的。如：关键词提取、命名实体识别等，感兴趣的可以看看这篇论文：Is Word Segmentation Necessary for Deep Learning of Chinese Representations?

中文分词

1. HanLP;
2. 斯坦福CoreNLP;
3. ANSJ;
4. 哈工大LTP;
5. KCWS;
6. Jieba;
7. IK;
8. 清华大学THULAC;
9. ICATLAS;

英文分词

1. keras;
2. spaCy;
3. gensim;
4. nltk;

代码示例

• 文本分词：自然语言处理（NLP）（一）文本预处理篇之分词、向量表示和特征处理;
• 文档分词：批量处理文件构造语料库并训练Doc2Vec模型（基于gensim的实现）;

文本清洗和标准化

参考文档：

• NLP文本技术 nlp文本预处理；
• 文本的清洗和标准化：如何处理混乱的数据？;
• Steps for effective text data cleaning (with case study using Python);
• 文本清洗（小技巧）；

经分词后的文本通常包含很多冗余信息，因此需要进行数据清洗，具体包含：文本清洗（无用标签剔除、特殊符号剔除、停用词剔除、大小写转换等）和文本标准化（字符集的转换、单词的统一化、时间和日期的统一化）；

在完成具体任务时，需要根据任务目标对文本数据进行清洗，保证冗余信息的剔除。