TF-IDF、BM25传统算法总结

1. TF-IDF算法

F-IDF（词频-逆文档频率）是一种用于衡量文本中词语重要性的方法，特别适用于信息检索和文本挖掘任务。下面会拆分为两部分深入讲解TF-IDF的计算过程，以便更好地理解。

    TF-IDF的计算过程可以分为两个主要部分：词频（TF）和逆文档频率（IDF）。

1.1 TF(词频)

词频是指某个词语在文档中出现的频率。TF表示了一个词语在文档中的重要性，通常通过以下公式计算：

计算出的TF值表示了词语在单个文档中的相对重要性，值越大表示词语在文档中越重要。

1.2 IDF(逆文档频率)

逆文档频率度量了一个词语在整个文档集合中的重要性。IDF值越大，表示词语在整个文档集合中越不常见，因此在文档中的重要性越高。IDF通常通过以下公式计算：

计算出的IDF值反映了词语的全局重要性，较不常见的词语具有较高的IDF值。

1.3 TF-IDF

TF-IDF的计算是将词频（TF）和逆文档频率（IDF）相结合，以确定词语在文档中的整体重要性。计算公式如下：

计算出的TF-IDF值表示了词语在文档 d 中的重要性，同时考虑了在整个文档集合 D 中的全局重要性。

2. BM25算法