37 Python 时序和文本：词袋模型 BoW 和 TF-IDF 到底怎么理解？

Python 文本分析入门词袋模型 BoW 和 TF-IDF 到底怎么理解上一篇主要解决了两个基础问题为什么中文文本通常要先分词为什么分词之后还要做停用词过滤但文本清洗完成之后新的问题很快就会出现词已经切出来了接下来怎么让模型“看懂”这些词这就是文本分析里下一步要解决的事情文本表征。因为对大多数机器学习算法来说输入通常是数值型特征。而词语本身不是数值所以还需要进一步把文本转换成向量形式。常见做法包括词袋模型BoW和 TF-IDF它们都是文本分析中最基础、也最常用的表示方法 [1]。这篇文章主要回答三个问题为什么文本还要继续做“向量化”词袋模型 BoW 是怎么表示文本的TF-IDF 相比普通词频到底多考虑了什么一、为什么分完词之后还不能直接建模先看一个直观问题。假设一条评论分词之后变成这样电影 / 好看 / 喜欢 / 演员 / 演技 / 不错对人来说这已经足够清楚。但对模型来说这仍然不是一个可以直接计算的输入。因为很多机器学习方法需要的是像下面这样的形式[0, 1, 3, 0, 2, 0, 1]也就是说模型通常并不能直接处理“词”而是需要处理“数字”。所以文本分析里分词之后的下一步不是立刻训练模型而是先把文本转换成数值特征。这一步就是文本表征也可以理解为把文本变成向量[1]。二、文本表征到底在解决什么问题文本表征解决的核心问题其实很简单怎么把一段文本变成模型可以处理的数字形式如果不做这一步后面很多工作都没法进行比如文本分类文本聚类情感分析文本检索因为这些任务最终都需要一个“特征矩阵”作为输入。所以文本表征本质上是在做一件事输入一段自然语言文本输出一组数值特征而在入门阶段最经典的两种方式就是词袋模型BoWTF-IDF三、词袋模型 BoW 是怎么表示文本的词袋模型的思路很直接不考虑词语顺序只统计每个词出现了没有、出现了多少次。也就是说它把一篇文本看成一个“装词的袋子”。袋子里有什么词、每个词出现了几次这些信息会被保留下来但词和词之间的顺序关系不会保留。这就是“词袋模型”这个名字的来源。四、词袋模型为什么叫“词袋”我们用一个简单例子来理解。假设有三条文本文本1电影 很 好看 文本2电影 很 无聊 文本3剧情 很 一般先把所有出现过的词放到一起形成一个总词表[电影, 很, 好看, 无聊, 剧情, 一般]接下来每条文本都可以表示成一个向量文本1[1, 1, 1, 0, 0, 0]文本2[1, 1, 0, 1, 0, 0]文本3[0, 1, 0, 0, 1, 1]这个向量的意思就是词表里有哪些词某个词在当前文本里有没有出现或者出现了多少次这就是最典型的 BoW 表示方式 [1]。五、词袋模型的优点是什么词袋模型很经典不是没有原因的。1. 思路直观它很好理解就是把文本拆成词再把词变成计数结果。2. 实现简单无论是自己写代码还是用sklearn都很容易实现。3. 适合做入门对于刚接触文本分析的人来说BoW 是理解“文本怎么变成数字”的最好入口之一。六、词袋模型有什么局限词袋模型虽然简单但也有几个很明显的问题。1. 向量通常会非常稀疏如果词表很大而一篇文本只包含其中很少一部分词那么向量里就会出现大量的 0导致矩阵非常稀疏 [1]。2. 不保留语法信息BoW 只记录词有没有出现、出现了多少次但不会告诉你这些词之间是什么关系 [1]。3. 不保留词序信息比如下面两句话我喜欢你你喜欢我在词袋模型里它们可能得到非常接近甚至完全相同的表示因为词袋模型不考虑单词顺序 [1]。这也是为什么 BoW 虽然好用但在表达更复杂语义时会显得不够。七、为什么只统计词频还不够词袋模型已经能把文本变成数字了那是不是就够了很多时候还不够。因为有些词虽然在某一篇文本里出现很多次但它在所有文本里都很常见。这种词未必真的有区分能力。比如在影评数据里如果每篇评论里都经常出现“电影”这个词那么它虽然频繁出现但不一定能帮助我们区分“好评”和“差评”。这时候我们就会想到一个更进一步的问题一个词的重要性能不能不仅看它在当前文本里出现了多少次还看它在整个语料里是不是过于常见这就是 TF-IDF 要解决的问题。八、TF-IDF 到底在多考虑什么TF-IDF 的名字看起来有点复杂但核心思想并不难TFTerm Frequency某个词在当前文本中出现得是否频繁IDFInverse Document Frequency某个词在整个文档集合中是否过于常见 [1]直观理解就是一个词在当前文本里出现得越多通常越重要但如果这个词在所有文本里都很常见那它的区分价值就会下降 [1]所以 TF-IDF 本质上是在回答一个更合理的问题这个词不仅常出现而且是不是“只在少数文本里更有代表性”九、怎么理解 TF 和 IDF可以分开看。1. TF词在当前文本里有多常见如果一个词在当前文本中出现很多次说明它和这篇文本关系比较强。例如“好看”在一条影评里反复出现“拖沓”在某条差评里多次出现这些词可能就更值得关注。2. IDF词在整个语料里是不是过于普遍如果一个词几乎在所有文本中都会出现那么它虽然常见但区分能力就弱。比如电影今天一个这些词可能在很多文本中都出现因而不一定能很好地区分类别。所以 TF-IDF 的思路就是保留“当前文本里重要”的信息同时削弱“所有文本里都很常见”的词 [1]十、TF-IDF 相比词袋模型有什么改进它并不是完全推翻词袋模型而是在词频的基础上做进一步加权。可以理解成BoW更关注“出现了几次”TF-IDF更关注“这个词是否真的有区分价值”因此在很多任务中TF-IDF 往往比单纯的词频统计更有效尤其是在文本分类和信息检索中更常见 [1]。十一、代码实操BoW 和 TF-IDF 怎么做下面用一组简单文本来对比这两种表示方式。1. 准备示例文本texts[电影 很 好看 演员 表现 不错,剧情 太 拖沓 电影 不 推荐,画面 很 漂亮 但是 故事 一般,音乐 很 好听 节奏 不错 整体 体验 很好,电影 太 无聊 浪费 时间]2. 用词袋模型表示文本fromsklearn.feature_extraction.textimportCountVectorizer texts[电影 很 好看 演员 表现 不错,剧情 太 拖沓 电影 不 推荐,画面 很 漂亮 但是 故事 一般,音乐 很 好听 节奏 不错 整体 体验 很好,电影 太 无聊 浪费 时间]vectorizerCountVectorizer()X_bowvectorizer.fit_transform(texts)print(词表)print(vectorizer.get_feature_names_out())print(\nBoW 矩阵)print(X_bow.toarray())这段代码做的事情很直接先统计所有文本中出现过的词建立词表把每条文本表示成一个计数向量3. 用 TF-IDF 表示文本fromsklearn.feature_extraction.textimportTfidfVectorizer tfidf_vectorizerTfidfVectorizer()X_tfidftfidf_vectorizer.fit_transform(texts)print(词表)print(tfidf_vectorizer.get_feature_names_out())print(\nTF-IDF 矩阵)print(X_tfidf.toarray())这一步和词袋模型很像但输出的不再是简单词频而是加权后的结果。4. 输出成表格看得更清楚如果想看得更直观一点可以转成DataFrame。importpandasaspd# BoW 结果bow_dfpd.DataFrame(X_bow.toarray(),columnsvectorizer.get_feature_names_out())print(BoW 表示结果)print(bow_df)# TF-IDF 结果tfidf_dfpd.DataFrame(X_tfidf.toarray(),columnstfidf_vectorizer.get_feature_names_out())print(\nTF-IDF 表示结果)print(tfidf_df.round(3))这样就能更清楚地看到BoW 输出的是词频计数TF-IDF 输出的是加权后的特征值十二、完整代码如果想一次性运行下面这份代码可以直接使用。fromsklearn.feature_extraction.textimportCountVectorizer,TfidfVectorizerimportpandasaspd# 1. 示例文本texts[电影 很 好看 演员 表现 不错,剧情 太 拖沓 电影 不 推荐,画面 很 漂亮 但是 故事 一般,音乐 很 好听 节奏 不错 整体 体验 很好,电影 太 无聊 浪费 时间]# 2. BoWbow_vectorizerCountVectorizer()X_bowbow_vectorizer.fit_transform(texts)print( 词袋模型 BoW )print(词表)print(bow_vectorizer.get_feature_names_out())bow_dfpd.DataFrame(X_bow.toarray(),columnsbow_vectorizer.get_feature_names_out())print(\nBoW 表示结果)print(bow_df)# 3. TF-IDFtfidf_vectorizerTfidfVectorizer()X_tfidftfidf_vectorizer.fit_transform(texts)print(\n TF-IDF )print(词表)print(tfidf_vectorizer.get_feature_names_out())tfidf_dfpd.DataFrame(X_tfidf.toarray(),columnstfidf_vectorizer.get_feature_names_out())print(\nTF-IDF 表示结果)print(tfidf_df.round(3))输出 词袋模型 BoW 词表 [一般 不错 但是 体验 剧情 好听 好看 很好 拖沓 推荐 故事 整体 无聊 时间 浪费 漂亮 演员 电影 画面 节奏 表现 音乐] BoW 表示结果 一般 不错 但是 体验 剧情 好听 好看 很好 拖沓 推荐 ... 无聊 时间 浪费 漂亮 演员 电影 画面 \ 0 0 1 0 0 0 0 1 0 0 0 ... 0 0 0 0 1 1 0 1 0 0 0 0 1 0 0 0 1 1 ... 0 0 0 0 0 1 0 2 1 0 1 0 0 0 0 0 0 0 ... 0 0 0 1 0 0 1 3 0 1 0 1 0 1 0 1 0 0 ... 0 0 0 0 0 0 0 4 0 0 0 0 0 0 0 0 0 0 ... 1 1 1 0 0 1 0 节奏 表现 音乐 0 0 1 0 1 0 0 0 2 0 0 0 3 1 0 1 4 0 0 0 [5 rows x 22 columns] TF-IDF 词表 [一般 不错 但是 体验 剧情 好听 好看 很好 拖沓 推荐 故事 整体 无聊 时间 浪费 漂亮 演员 电影 画面 节奏 表现 音乐] TF-IDF 表示结果 一般 不错 但是 体验 剧情 好听 好看 很好 拖沓 推荐 ... \ 0 0.000 0.398 0.000 0.000 0.000 0.000 0.494 0.000 0.000 0.000 ... 1 0.000 0.000 0.000 0.000 0.538 0.000 0.000 0.000 0.538 0.538 ... 2 0.447 0.000 0.447 0.000 0.000 0.000 0.000 0.000 0.000 0.000 ... 3 0.000 0.313 0.000 0.388 0.000 0.388 0.000 0.388 0.000 0.000 ... 4 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 ... 无聊 时间 浪费 漂亮 演员 电影 画面 节奏 表现 音乐 0 0.000 0.000 0.000 0.000 0.494 0.331 0.000 0.000 0.494 0.000 1 0.000 0.000 0.000 0.000 0.000 0.361 0.000 0.000 0.000 0.000 2 0.000 0.000 0.000 0.447 0.000 0.000 0.447 0.000 0.000 0.000 3 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.388 0.000 0.388 4 0.538 0.538 0.538 0.000 0.000 0.361 0.000 0.000 0.000 0.000 [5 rows x 22 columns]十三、这段代码在做什么这段代码可以分成两部分来理解。第一部分CountVectorizer 做 BoW这里得到的是一个“文档-词项矩阵”。每一行是一条文本每一列是一个词值表示这个词在该文本中出现了多少次。第二部分TfidfVectorizer 做 TF-IDF这里同样会形成一个矩阵但矩阵中的值不再只是出现次数而是综合考虑了词在当前文本中的频率以及它在整个文本集合中的常见程度 [1]。这也是为什么 TF-IDF 常被看作是比单纯词频更合理的一种加权方式 [1]。十四、两种方法的结果应该怎么理解通常可以从下面几个角度来看。1. BoW 更适合做最基础的表示如果你的目标是先把文本转成数字BoW 是最直接的起点。2. TF-IDF 更强调区分能力如果某个词在所有文本里都常见它在 TF-IDF 中的权重通常会被压低如果某个词只在少数文本里出现但对这些文本很有代表性它的权重通常会更高 [1]。3. 两者都不理解真正语义虽然 TF-IDF 比 BoW 更进一步但它依然不能真正理解上下文语义。它们都属于比较基础的表示方法因此后来才发展出了 Word2Vec、CBOW、Skip-gram 等词嵌入技术 [1]。十五、练习试着比较两种表示方式的差异练习 1观察同一批文本在 BoW 和 TF-IDF 下的表示结果哪些词在 BoW 中频率比较高哪些词在 TF-IDF 中权重更高为什么会有这种差异练习 2如果有一个词在每条文本里都出现那么它在 TF-IDF 中的权重通常会有什么变化练习 3下面两句话在词袋模型里为什么可能很接近我喜欢你你喜欢我这说明了词袋模型的什么局限十六、小结这篇文章主要解决了三个问题为什么文本还要继续做向量化词袋模型 BoW 是怎么表示文本的TF-IDF 比普通词频多考虑了什么可以简单概括为BoW把文本表示成词频向量TF-IDF在词频基础上进一步考虑词的区分能力 [1]两种方法都很基础但也都非常重要。因为后面的文本分类、文本聚类、信息检索很多时候都是从这里开始的 [1]。