TF-IDF BM25 原理及应用

1. 什么是TF-IDFTF-IDF(Term Frequency-Inverse Document Frequency,词频-逆文档频率)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加但同时会随着它在语料库中出现的频率成反比下降词频 (term frequency, TF)指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化(一般是词频除以文章总词数), 以防止它偏向长的文件。同一个词语在长文件里可能会比短文件有更高的词频而不管该词语重要与否。逆文档频率Inverse Document FrequencyIDF指的是文件总数和某个词语出现文件数之比。TF-IDF就是TF和IDF的乘积。TF是一个词语在一篇文章中的出现次数IDF是一个词语在所有文档中出现次数的倒数一个词语在一篇文档中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章所以二者相乘的TF-IDF就可以用来衡量一个词在一篇文档中的重要性。对于语料库D中给定的文档d里的词项t有tf(t,d)(t在d中出现的次数)/(d的长度)tf(t, d) (t在d中出现的次数)/(d的长度)tf(t,d)(t在d中出现的次数)/(d的长度)idf(t,D)log(文档数)/(包含t的文档数)idf(t, D) log(文档数)/(包含t的文档数)idf(t,D)log(文档数)/(包含t的文档数)tfidf(t,d,D)tf(t,d)×idf(t,D)tfidf(t, d, D) tf(t, d)\times idf(t, D)tfidf(t,d,D)tf(t,d)×idf(t,D)2. 用TF-IDF找到文档的主题认为在一篇文档中某个词的TF-IDF值越大这个词就越能代表这篇文档。1fromsklearn.feature_extraction.textimportTfidfVectorizer23if__name____main__:6docs[The faster Harry got to the store, the faster and faster Harry would get home.]7docs.append(Harry is hairy and faster than Jill.)8docs.append(Jill is not as hairy as Harry.)9corpusdocs10vectorizerTfidfVectorizer(min_df1)11modelvectorizer.fit_transform(corpus)12print(vectorizer.get_feature_names())13print(model.todense().round(2))~这是一段使用sklearn来计算文档TF-IDF的代码结果如下根据TF-IDF的数值可以看到这种方法认为第一、二个句子中the这个词的最重要而第三个句子认为as这个词最重要但是在常识上我们知道这两个词是不能够代表这三个句子的。这种常见的但对短语而言承载实际意义很少的词被称为“停用词”在实际用的时候回去掉的或者当语料足够多的情况下因为它们在每一个文档中都大量存在所以TF-IDF分数会变小。3. 用TF-IDF的向量计算两个文档的相关度我们已经得到了每篇文档使用TF-IDF表示的向量之后只要对两个向量做点乘就可以得到对应的两篇文档的相关性了。4. BM25BM25 是信息检索IR里最经典、工程上仍然大量使用的 稀疏检索打分函数本质是在 TF-IDF 基础上的一个概率化 饱和 长度归一化改进版本。4.1 BM25 在干什么直观理解给定 queryqqq和文档dddBM25 做的是计算这个 query 和文档的相关性分数用于排序ranking核心思想词出现越多 → 越相关TF词越稀有 → 越重要IDF文档太长 → 要惩罚length normalization同一个词出现很多次 → 收益递减饱和4.2 BM25 公式核心BM25(q,d)∑t∈qIDF(t)⋅f(t,d)⋅(k11)f(t,d)k1⋅(1−bb⋅∣d∣avgdl)BM25(q,d)\sum_{t\in q} IDF(t)\cdot \frac{f(t,d)\cdot(k_11)}{f(t,d)k_1\cdot(1-bb\cdot\frac{|d|}{avgdl})}BM25(q,d)t∈q∑​IDF(t)⋅f(t,d)k1​⋅(1−bb⋅avgdl∣d∣​)f(t,d)⋅(k1​1)​f(t,d)f(t,d)f(t,d)词频query 中的词ttt在文档ddd中出现的次数IDF(t)IDF(t)IDF(t)逆文档频率常见形式IDF(t)log⁡N−nt0.5nt0.5IDF(t)\log \frac{N-n_t0.5}{n_t0.5}IDF(t)lognt​0.5N−nt​0.5​NNN表示总文档数ntn_tnt​表示包含词ttt的文档数分母长度归一化 饱和控制关键在这一项f(t,d)k1⋅(1−bb⋅∣d∣avgdl)f(t,d)k_1\cdot(1-bb\cdot\frac{|d|}{avgdl})f(t,d)k1​⋅(1−bb⋅avgdl∣d∣​)包含两个机制长度归一化b其中∣d∣|d|∣d∣表示文档长度avgdlavgdlavgdl表示平均文档长度b∈[0,1]b\in[0,1]b∈[0,1]是可调节参数文档越长 → 分母越大 → 得分降低TF 饱和k1可调节参数k1∈[1.2,2.0]k_1\in[1.2,2.0]k1​∈[1.2,2.0]词出现 1 次 vs 10 次 → 不会差 10 倍防止关键词堆砌spam