Jieba分词实战：5分钟搞定中文文本词频统计（附完整代码）

Jieba分词实战5分钟搞定中文文本词频统计附完整代码中文文本处理是自然语言处理NLP的基础环节而分词则是中文文本处理的第一步。不同于英文等空格分隔的语言中文文本需要专门的工具进行词语切分。本文将带你快速掌握如何使用Python的Jieba库完成中文分词和词频统计即使你是NLP初学者也能轻松上手。1. 环境准备与Jieba安装在开始之前我们需要确保Python环境已经就绪。推荐使用Python 3.6及以上版本这些版本对中文处理有更好的支持。安装Jieba库非常简单只需一条pip命令pip install jieba如果你使用的是Anaconda环境也可以通过conda安装conda install -c conda-forge jieba安装完成后可以通过以下代码验证是否安装成功import jieba print(jieba.__version__)提示建议在虚拟环境中安装Jieba避免与其他项目产生依赖冲突。可以使用python -m venv nlp_env创建虚拟环境。Jieba库具有以下特点支持三种分词模式精确模式、全模式和搜索引擎模式支持自定义词典词性标注功能支持繁体中文分词高性能C实现核心算法2. 基础分词操作让我们从一个简单的例子开始了解Jieba的基本分词功能。2.1 精确模式分词精确模式是Jieba最常用的分词方式试图将句子最精确地切开import jieba text 自然语言处理是人工智能的重要方向 seg_list jieba.cut(text, cut_allFalse) print(精确模式: /.join(seg_list))输出结果精确模式: 自然语言/处理/是/人工智能/的/重要/方向2.2 全模式分词全模式会把句子中所有可能的词语都扫描出来seg_list jieba.cut(text, cut_allTrue) print(全模式: /.join(seg_list))输出结果全模式: 自然/自然语言/语言/处理/是/人工/人工智能/智能/的/重要/方向2.3 搜索引擎模式分词搜索引擎模式在精确模式基础上对长词再次切分seg_list jieba.cut_for_search(text) print(搜索引擎模式: /.join(seg_list))输出结果搜索引擎模式: 自然/语言/自然语言/处理/是/人工/智能/人工智能/的/重要/方向三种模式对比模式类型特点适用场景精确模式精准切分无冗余文本分析、特征提取全模式输出所有可能词语词典构建、词网生成搜索引擎模式对长词再切分搜索引擎索引、查询扩展3. 进阶分词技巧掌握了基础分词后我们来看一些提高分词质量的实用技巧。3.1 使用自定义词典Jieba允许我们添加自定义词典这对于处理专业术语或新词特别有用。假设我们有一个userdict.txt文件内容如下自然语言处理 5 n 深度学习 3 n加载自定义词典jieba.load_userdict(userdict.txt) text 自然语言处理和深度学习都是热门研究方向 seg_list jieba.cut(text) print(/.join(seg_list))输出结果自然语言处理/和/深度学习/都/是/热门/研究/方向如果没有自定义词典自然语言处理可能会被切分为自然/语言/处理。3.2 调整词频对于词典中没有的词我们可以动态调整词频text 李小福是创新办主任 seg_list jieba.cut(text) print(调整前: /.join(seg_list)) jieba.suggest_freq((创新, 办), True) seg_list jieba.cut(text) print(调整后: /.join(seg_list))输出结果调整前: 李小福/是/创新/办/主任 调整后: 李小福/是/创新办/主任3.3 处理停用词停用词是指在文本分析中没有实际意义的词如的、是等。我们可以创建一个停用词列表来过滤它们stopwords [的, 是, 在, 了, 和, 都] text 自然语言处理是人工智能的重要方向 seg_list [word for word in jieba.cut(text) if word not in stopwords] print(过滤停用词: /.join(seg_list))输出结果过滤停用词: 自然语言/处理/人工智能/重要/方向4. 词频统计实战现在我们来完成核心任务——中文文本词频统计。我们将使用一个真实的中文文本作为示例。4.1 基本词频统计首先我们读取一个文本文件并统计词频import jieba from collections import Counter def word_frequency(text_path): with open(text_path, r, encodingutf-8) as f: text f.read() words [word for word in jieba.cut(text) if len(word) 1] # 过滤单字 word_counts Counter(words) return word_counts.most_common(10) # 返回前10个高频词 # 示例使用 top_words word_frequency(sample.txt) print(高频词统计:) for word, count in top_words: print(f{word}: {count})4.2 可视化词频为了更直观地展示词频结果我们可以使用matplotlib进行可视化import matplotlib.pyplot as plt def plot_word_frequency(word_counts, top_n10): words, counts zip(*word_counts[:top_n]) plt.figure(figsize(10, 6)) plt.bar(words, counts) plt.title(词频统计) plt.xlabel(词语) plt.ylabel(出现次数) plt.xticks(rotation45) plt.show() # 使用前面的word_frequency函数结果 plot_word_frequency(top_words)4.3 完整词频统计脚本下面是一个完整的脚本包含文件读取、分词、停用词过滤和词频统计import jieba from collections import Counter import matplotlib.pyplot as plt def load_stopwords(stopwords_path): with open(stopwords_path, r, encodingutf-8) as f: return set([line.strip() for line in f]) def process_text(text_path, stopwords_pathNone): # 加载文本 with open(text_path, r, encodingutf-8) as f: text f.read() # 加载停用词 stopwords load_stopwords(stopwords_path) if stopwords_path else set() # 分词并过滤 words [ word for word in jieba.cut(text) if len(word) 1 and word not in stopwords ] # 统计词频 word_counts Counter(words) return word_counts.most_common() def main(): # 配置路径 text_path sample.txt stopwords_path stopwords.txt # 处理文本 top_words process_text(text_path, stopwords_path) # 输出结果 print(Top 20高频词:) for word, count in top_words[:20]: print(f{word}: {count}) # 可视化 plot_word_frequency(top_words[:10]) if __name__ __main__: main()注意实际使用时需要准备sample.txt待分析文本和stopwords.txt停用词表两个文件。5. 常见问题与解决方案在实际使用Jieba进行分词和词频统计时可能会遇到一些问题。以下是几个常见问题及其解决方法。5.1 分词不准确问题专业术语或新词被错误切分。解决方案使用自定义词典添加专业术语动态调整词频jieba.suggest_freq((词语), True)使用jieba.analyse模块提取关键词5.2 处理速度慢问题处理大文本时速度不理想。优化方法启用并行分词需要安装jieba的并行版本jieba.enable_parallel(4) # 开启并行分词模式参数为并行进程数对文本进行分批处理使用生成器而非列表保存中间结果5.3 内存不足问题处理超大文本时内存溢出。解决方案使用文件流逐行处理def process_large_file(file_path): with open(file_path, r, encodingutf-8) as f: for line in f: words jieba.cut(line.strip()) # 处理每一行的分词结果使用数据库存储中间结果考虑使用更高效的分词工具如pkuseg5.4 特殊符号处理问题文本中包含大量标点、数字等干扰统计。处理方法使用正则表达式预处理文本import re def clean_text(text): # 移除所有非中文字符 return re.sub(r[^\u4e00-\u9fa5], , text)在词频统计时过滤非中文字符words [word for word in jieba.cut(text) if re.match(r^[\u4e00-\u9fa5]$, word)]6. 扩展应用掌握了基础的分词和词频统计后我们可以将这些技术应用到更复杂的场景中。6.1 文本关键词提取Jieba提供了基于TF-IDF算法的关键词提取功能from jieba import analyse # 启用TF-IDF关键词抽取 tfidf analyse.extract_tags text 自然语言处理是人工智能的重要分支它研究如何让计算机理解、生成人类语言 keywords tfidf(text, topK5, withWeightTrue) for keyword, weight in keywords: print(f{keyword}: {weight:.2f})6.2 词性标注Jieba可以标注每个词的词性需要安装jieba.possegimport jieba.posseg as pseg words pseg.cut(我爱自然语言处理) for word, flag in words: print(f{word} ({flag}))输出结果我 (r) 爱 (v) 自然语言处理 (nz)6.3 文本相似度计算结合词频统计我们可以计算文本相似度from collections import defaultdict import math def text_to_vector(text): words jieba.cut(text) vector defaultdict(int) for word in words: if len(word) 1: # 过滤单字 vector[word] 1 return vector def cosine_similarity(vec1, vec2): intersection set(vec1.keys()) set(vec2.keys()) numerator sum([vec1[x] * vec2[x] for x in intersection]) sum1 sum([vec1[x]**2 for x in vec1.keys()]) sum2 sum([vec2[x]**2 for x in vec2.keys()]) denominator math.sqrt(sum1) * math.sqrt(sum2) if not denominator: return 0.0 return float(numerator) / denominator text1 自然语言处理是人工智能的重要分支 text2 人工智能包含自然语言处理等多个方向 vec1 text_to_vector(text1) vec2 text_to_vector(text2) similarity cosine_similarity(vec1, vec2) print(f文本相似度: {similarity:.2f})在实际项目中我发现结合自定义词典和停用词表可以显著提高分词质量。对于特定领域的文本分析建议先收集领域术语构建专业词典这比单纯依赖通用分词效果要好得多。