Elasticsearch 相似度评分模型介绍

前言

Elasticsearch 是基于 Lucene 的世界范围内最流行的全文检索框架，其文档相似度算法包含 TF/IDF 和 BM25，从 ES 5.0开始 BM25 算法已经成为 ES 默认的相似度评分模块。

TF-IDF 与 BM25 的区别

TF-IDF 和 BM25 都是计算文本相似性的常用算法。TF-IDF 的计算方法简单，计算复杂度低，但对高频词不敏感，参数难以调节。BM25 是在 TF-IDF 的基础上进行改进的，它考虑了文档的长度和查询词在文档中出现的次数，在大多数情况下都能够产生比 TF-IDF 更准确的相关性评分

TF-IDF 和 BM25 的主要区别在于计算方法的不同。TF-IDF 的计算方法为：

TF-IDF(t,d) = TF(t,d) * IDF(t)

其中：

• TF(t,d) 表示词 t 在文档 d 中的词频
• IDF(t) 表示词 t 的逆文档频率

BM25 的计算方法为：

BM25(t,d) = (k1 + 1) * TF(t,d) / (k1 * (1 - b + b * df / docLength) + TF(t,d))

其中：

• k1 是控制词频对权重的贡献的参数
• b 是控制逆文档频率对权重的贡献的参数
• d 是控制文档长度对权重的贡献的参数

TF-IDF 和 BM25 的区别主要体现在以下几个方面：

• 参数数量：TF-IDF 只需要一个参数，即逆文档频率。BM25 需要三个参数，即 k1、b 和 d，可以根据实际需求进行调节，以提高相关性评分的准确性
• 计算复杂度：TF-IDF 的计算复杂度为 O(n)，其中 n 是文档中的词数。BM25 的计算复杂度与 TF-IDF 相当，即 O(n)。
• 相关性评分：BM25 在大多数情况下都能够产生比 TF-IDF 更准确的相关性评分。

评分在查询业务场景中的应用

在实际业务中，有关查询场景的评分可以分为如下四类：

不关注评分

这类场景下，纯粹把 ES 当作检索库使用，不关注相似度评分，那么可以使用 constant query 或者使用 bool query 中的 filter 来进行过滤即可，这样可以提高检索性能

默认评分

默认评分，也就是框架默认评分。这类场景下，仅使用最简单的查询方式，比如 查询 name:"tom"，并没有人为额外干预评分的机制，仅靠默认的评分算法的得到 rank 列表 ，做为检索结果

业务评分 + 框架评分

此种场景下比较常见，比如查询 name:"tom"^10 name:"cat"^5, 或者更加复杂的结合通过 Function Score Query 来完成更加复杂的业务

仅业务评分

这种场景下，一般在推荐业务中比较常见，其完全忽略框架的评分策略，而采纳业务方或者产品方定义的评分规则，实现起来一般比较复杂，看一个例子：

GET /pi_ent_work/_search
{"query": {"function_score": {"query": {"bool": {"must": [{"query_string": {"boost": 0, # 注意此处禁用框架评分"query": "prov:(33 OR 36)"}}], "must_not": [{"terms": {"id": ["123"]}}], "filter": [{"term": {"count": {"value": "1"}}}]}}, "score_mode": "sum", "boost_mode": "replace", "functions": [{"script_score": {"script": {"lang": "expression", # 完全采用自定义评分并与数据中的某个字段关联"source": " _score*0.8 + doc['custom_score'].value*0.4"}}}, {"weight": 6, "filter": {"query_string": {"query": "prov:(33 OR 36)"}}}, {"weight": 4, "filter": {"query_string": {"query": " product_id:112900 "}}}, {"weight": 2, "filter": {"query_string": {"query": "price:[* TO 3]"}}}]}}, "size": 100, "_source": {"includes": ["id","_score","prov","product_id","custom_score","count"]}
}

上面的例子完全忽略了框架评分，而全部采用自己指定的规则评分，在 ES 中可以结合 Function Score Query来实现

总结

在实际工作中，搜索和推荐业务会比较依赖全文检索框架，很多情况下框架的默认的评分机制并不能很好的满足我们的需求，所以需要结合一些自定义评分策略来完善我们的 rank 效果