中文语料分词+生成词表+词频排序

缘起近日批改学生毕业论文有篇初稿的话题是研究《红楼梦》文化负载词的汉英翻译其研究方法一节有以下表述This study adopts a random sampling method. Representative culture-loaded vocabulary is selected from the first 12 chapters of A Dream of Red Mansions. On the basis of Liao’s (2000, quoted in 陈一亮, 2023: 33) definition of culture-loaded words, 100 words conforming to this definition were manually retrieved in this study.不论其他我们只看这里的研究方法本身。该部分的核心内容是想说明《红楼梦》文化负载词的抽样方法但是前后矛盾。他第一句说使用随机抽样random sampling抽取文化负载词第二句却又说在前12回中抽取100个有代表性representative的文化负载词。实际上随机抽取出来的词不可能都正好是有代表性的文化负载词。解决办法将“代表性”初步界定为“高频性”使用频率高的词往往更有代表性然后再在高频词中人工筛选典型的文化负载词。操作步骤先对《红楼梦》进行分词分完词后才能统计各种词的使用情况制作频率排序词表从Top3000或Top5000中人工选择最典型的汉语文化负载词。这样以来选择出来的词既有使用的高频性又有文化典型性不枉“有代表性的文化负载词”之谓。本案例只演示步骤1和2步骤3非技术项请自行解决。其他说明本公众号的一切实用案例都在Anaconda和Jupyter Notebook环境下操作完成需要安装相关软件的同学请点击这里回看前文根据前文的提示安装Anaconda和Jupyter Notebook。2.2.1 语料准备《红楼梦》的下载和整理本案例处理的《红楼梦》电子书下载自Gutenberg官网具体下载地址为https://www.gutenberg.org/cache/epub/24264/pg24264.txt在该电子书的篇首有清晰的知识产权声明This eBook is for the use of anyone anywhere in the United States and most other parts of the world at no cost and with almost no restrictions whatsoever. You may copy it, give it away or re-use it under the terms of the Project Gutenberg License included with this eBook or online at www.gutenberg.org.藉此说明本案例对《红楼梦》的使用也是合规的。从Gutenberg下载电子版的《红楼梦》之后作了以下预处理删除了篇首和篇尾Gutenberg额外附加的说明将前80回与后40回拆分开保存为两个文档本案例只处理前80回的文档保存路径为D:\红楼梦-前80回\《红楼梦》汉语原文前八十回-Gutenberg版.txt需要跟随本教程同步练习的同学请自行下载整理。2.2.2 技术准备jieba分词汉语分词工具有很多其中jieba是一款比较好用的汉语分词库。jieba支持三种分词模式精确模式试图将句子最精确地切开适合文本分析全模式把句子中所有的可以成词的词语都扫描出来速度非常快但是不能解决歧义搜索引擎模式在精确模式的基础上对长词再次切分提高召回率适合用于搜索引擎分词。操作方法简单例示如下# 如果是第一次使用请先安装jieba!pip install jieba# 如果已经安装过旧版的jieba可以更新到新版# !pip install --upgrade jieba输出示例Collecting jieba Downloading jieba-0.42.1.tar.gz (49.2 MB) ---------------------------------------- 49.2/49.2 MB 3.2 MB/s eta 0:00:00 Preparing metadata (setup.py) ... done Building wheels for collected packages: jieba Building wheel for jieba (setup.py) ... done Successfully built jieba Installing collected packages: jieba Successfully installed jieba-0.42.1以下为jieba使用方法的简单例示importjiebaimportjieba.possegaspsegimportjieba.analyse sample我喜欢华南农业大学特别是外国语学院。result_defaultjieba.cut(sample)# 默认是精确模式result_with_pospseg.cut(sample)# 带词性标注的精确模式result_cutalljieba.cut(sample,cut_allTrue)# 全模式result_for_searchjieba.cut_for_search(sample)# 搜索引擎模式print(\n这是精确模式)fortinresult_default:print(t)print(\n这是带词性标注的精确模式)forwinresult_with_pos:print(w.word,/,w.flag,, )print(\n这是全模式)print( /.join(result_cutall))print(\n这是搜索引擎模式)forrinresult_for_search:print(r)输出示例这是精确模式 我 喜欢 华南农业大学 特别 是 外国语 学院 。 这是带词性标注的精确模式 我 / r , 喜欢 / v , 华南农业大学 / nt , / x , 特别 / d , 是 / v , 外国语 / nz , 学院 / n , 。 / x , 这是全模式 我 /喜欢 /华南 /华南农业大学 /农业 /农业大学 /业大 /大学 / /特别 /是 /外国 /外国语 /国语 /学院 /。 这是搜索引擎模式 我 喜欢 华南 农业 业大 大学 华南农业大学 特别 是 外国 国语 外国语 学院 。2.2.3 尝试分词importjiebaimportjieba.possegaspsegimportjieba.analyse pathrD:\红楼梦-前80回\《红楼梦》汉语原文前八十回-Gutenberg版.txtresult[]withopen(path,r,encodingutf-8)asfr:linesfr.readlines()[:5]# 先截取前5行处理一下试试forlineinlines:line_cutjieba.cut(line)# 用精确模式分词line_cut[iforiinline_cut]# 生成器解析为列表result.append(line_cut)print(result)输出示例[[\ufeff, 第一回, \u3000, 甄士, 隱夢幻識, 通靈, \u3000, 賈雨村, 風塵, 怀閨秀, \n], [-----------------------------------------------------------------, \n], [此開, 卷, 第一回, 也, , 作者, 自云, , 因曾, 歷過, 一番, 夢幻, 之后, , 故將, 真事, 隱去, , \n], [而, 借, , 通靈, , 之, 說, , 撰此, 《, 石頭記, 》, 一書, 也, , 故曰, , 甄士, 隱, , 云云, , 但書中, 所記, \n], [何事, 何人, , 自又云, , “, 今風塵, 碌碌, , 一事, 無成, , 忽, 念及, 當日, 所有, 之, 女子, , 一, \n]]思考问以上代码运行的结果是一个嵌套列表为何需要一个嵌套列表呢答是为了更清晰地记录原文的段落结构。当我们使用file.readlines()方法读取文档的时候是逐段读取的。其中的line宜理解为段落一个line就是一个段落换行符\n是段落的分割标记。使用嵌套列表把每条line都用列表[]包裹起来数据结构更清晰更方便段落的区分与处理。2.2.4 正式分词importjiebaimportjieba.possegaspsegimportjieba.analyse# 设计一个汉语语料分词函数deftokenize_file(path_original,path_tokenized):result[]withopen(path_original,r,encodingutf-8)asfr:linesfr.readlines()# 处理全文forlineinlines:line_cutjieba.cut(line)# 精确模式分词line_cut[iforiinline_cut]# 生成器解析为列表result.append(line_cut)# 保存分词结果withopen(path_tokenized,w,encodingutf-8)asfw:forliinresult:forwinli:ifw!\n:fw.write(w )# 逐词加空格写入else:fw.write(w )print(Done!)# 调用函数if__name____main__:path_originalrD:\红楼梦-前80回\《红楼梦》汉语原文前八十回-Gutenberg版.txtpath_tokenizedrD:\红楼梦-前80回\《红楼梦》汉语原文前八十回-分词结果.txttokenize_file(path_original,path_tokenized)输出示例Done!同时会在本地生成分词结果文件2.2.5 尝试制作词表wdlist[]# 只生成词表无频率wdlist_frequency{}# 生成带频率的词表withopen(path_tokenized,r,encodingutf-8)asf:lines_tokenizedf.readlines()[:5]# 先截取前5行试试print(lines_tokenized)forline_tokeninlines_tokenized:forwdinline_token.split( ):# 用空格分词ifwdnotin[, ,\n]and-*10notinwd:ifwdnotinwdlist_frequency:wdlist_frequency[wd]1else:wdlist_frequency[wd]1print(wdlist_frequency)输出示例[\ufeff 第一回 \u3000 甄士 隱夢幻識 通靈 \u3000 賈雨村 風塵 怀閨秀 \n, ----------------------------------------------------------------- \n, 此開 卷 第一回 也 作者 自云 因曾 歷過 一番 夢幻 之后 故將 真事 隱去 \n] {\ufeff: 1, 第一回: 2, \u3000: 2, 甄士: 1, 隱夢幻識: 1, 通靈: 1, 賈雨村: 1, 風塵: 1, 怀閨秀: 1, 此開: 1, 卷: 1, 也: 1, : 1, 作者: 1, 自云: 1, : 1, 因曾: 1, 歷過: 1, 一番: 1, 夢幻: 1, 之后: 1, : 2, 故將: 1, 真事: 1, 隱去: 1}2.2.6 正式制作词表#正式生成词表#并将代码模块化写成函数importjiebaimportjieba.possegaspsegimportjieba.analyseimportpandasaspd# 从分词结果文件中构建带频率的词表defbuild_wordlist_with_frequency(path_tokenized):wdlist_frequency{}withopen(path_tokenized,r,encodingutf-8)asf:lines_tokenizedf.readlines()forline_tokeninlines_tokenized:forwdinline_token.split( ):ifwdnotin[, ,\n]and-*10notinwd:ifwdnotinwdlist_frequency:wdlist_frequency[wd]1else:wdlist_frequency[wd]1returnwdlist_frequency# 将频率字典转换为DataFrame并排序deffrequency_dict_to_dataframe(wdlist_frequency):data{word:list(wdlist_frequency.keys()),frequency:list(wdlist_frequency.values())}dfpd.DataFrame(data)df_sorteddf.sort_values(byfrequency,ascendingFalse)returndf_sorted# 保存为Excel文件defsave_wordlist_to_excel(df_sorted,path_wdlist,add_rankTrue):df_sorteddf_sorted.reset_index(dropTrue)df_sorted.index1df_sorted.index.nameRankifadd_rank:df_sorted.reset_index(inplaceTrue)df_sorted.to_excel(path_wdlist,indexFalse)print(f词表已保存至:{path_wdlist}\n)returndf_sorted# 完整流程函数defprocess_wordlist_pipeline(path_tokenized,path_wdlist,with_frequencyTrue,add_rankTrue):ifwith_frequency:freq_dictbuild_wordlist_with_frequency(path_tokenized)df_sortedfrequency_dict_to_dataframe(freq_dict)df_with_ranksave_wordlist_to_excel(df_sorted,path_wdlist,add_rank)print(df_with_rank.head(10))print(Done!)else:wordlistbuild_wordlist_only(path_tokenized)print(f词表已生成共{len(wordlist)}个词)print(wordlist[:10])print(Done!)# 使用示例if__name____main__:path_tokenizedrD:\红楼梦-前80回\《红楼梦》汉语原文前八十回-分词结果.txtpath_wdlistrD:\红楼梦-前80回\《红楼梦》汉语原文前八十回-频率词表.xlsxprocess_wordlist_pipeline(path_tokenizedpath_tokenized,path_wdlistpath_wdlist,with_frequencyTrue,# True:带频率, False:仅词表add_rankTrue# True:添加排名列, False:不添加)输出示例词表已保存至: D:\红楼梦-前80回\《红楼梦》汉语原文前八十回-频率词表.xlsx Rank word frequency 0 1 41321 1 2 14232 2 3 了 13257 3 4 的 9637 4 5 7940 5 6 “ 7380 6 7 。 5476 7 8 ” 5363 8 9 說 5236 9 10 我 4925 Done!以上即为本案例的全部技术演示内容。后续步骤3从高频词中人工筛选文化负载词为非技术性工作请根据研究需要自行完成。本文为原创转发引用、改编请注明出处