重生之我们在ES顶端相遇第15 章 - ES 的心脏-倒排索引
文章目录
- 前言
- 为什么叫倒排索引
- 数据结构
- 如何生成
- 如何查询
- TF、IDF
- 参考文档
前言
上一章，简单介绍了 ES 的节点类型。
本章，我们要介绍 ES 中非常重要的一个概念：倒排索引。
ES 的全文索引就是基于倒排索引实现的。
本章内容建议重点学习，因为面试也常问。
为什么叫倒排索引
倒排索引指的是将每一个关键字映射到它出现的文档中。如下图所示
因为结构是倒着的，因此被称为倒排索引。
数据结构
倒排索引分为 2 部分：一部分叫 term directory(term 词典)，一部分叫 posting list(倒排列表)。如下图所示
-
term directory
term 字典，存放着每个单词到对应倒排列表的映射关系 -
posting list
Docs 是一个数组。其中 1:2:[2,6] 意思如下- 1：文档ID
- 2：词频(term frequency)
- [2,6]：出现在文档中的第 2，6 个 term。
如何生成
这里涉及到我们之前讲过的分词器。工作流程如下图所示
大体就包含2部分，根据分词器将文本分词，然后根据分词生成倒排索引。
如何查询
例如我们查询：To do right。
则该文本会先被分词为：to, do, right
对应的结果如下图所示：
TF、IDF
默认情况下，ES 会根据文档与搜索词的相关性得分对结果降序返回。相关性得分与以下 2 个概念有关(稍做了解，后续会出文章做更深入的介绍)
- Term Frequency(TF)：term 在文档中出现的频率，得分正相关。出现频率越高，得分越高
- Inverted Document Frequency(IDF)：term 在
所有文档中出现的频率，得分负相关。出现频率越高，得分越低。
参考文档
Indexing: Inverted Index
相关文章：
重生之我们在ES顶端相遇第15 章 - ES 的心脏-倒排索引
文章目录 前言为什么叫倒排索引数据结构如何生成如何查询TF、IDF参考文档 前言 上一章，简单介绍了 ES 的节点类型。 本章，我们要介绍 ES 中非常重要的一个概念：倒排索引。 ES 的全文索引就是基于倒排索引实现的。 本章内容建议重点学习&…...
金刚石切削工具学习笔记分享
CVD钻石-合成单晶钻石之一 金刚石具有极高的硬度和耐磨性、较低的摩擦系数、较高的弹性模量、较高的热导率、较低的热膨胀系数、与有色金属的亲和力较小等优点，是目前最硬的工具材料，主要分为单晶金刚石和聚晶金刚石两大类。单晶金刚石又分为天然单晶金…...
【文献阅读】基于原型的自适应方法增强未见到的构音障碍者的语音识别
基于原型的自适应方法增强未见到的构音障碍者的语音识别 文献原文链接 https://www.isca-archive.org/interspeech_2024/wang24x_interspeech.pdf 引言 构音障碍是一种由神经系统疾病或肌肉异常引起的言语障碍，影响了个体清晰发音的能力。这种情况常伴随脑瘫、帕金森病和头部…...
Kafka-Go学习
文章目录 1. **安装 kafka-go**2. **基本概念**3. **kafka-go 基本用法**3.1 创建 Producer（生产者）3.2 创建 Consumer（消费者）3.3 生产者和消费者配置详解生产者配置 (kafka.WriterConfig)消费者配置 (kafka.ReaderConfig) 4. **…...
Nginx反向代理出现502 Bad Gateway问题的解决方案
🎉 前言 前一阵子写了一篇“关于解决调用百度翻译API问题”的博客，近日在调用其他API时又遇到一些棘手的问题，于是写下这篇博客作为记录。 🎉 问题描述 在代理的遇到过很多错误码，其中出现频率最高的就是502&#x…...
通信工程学习：什么是VLAN虚拟局域网
VLAN：虚拟局域网 VLAN（Virtual Local Area Network，虚拟局域网）是一种将物理局域网在逻辑上划分成多个广播域的通信技术。以下是关于VLAN的详细解释： 一、VLAN虚拟局域网的定义与概述 VLAN通过逻辑方式将网络中的设备…...
python qt5 常用
QT5中如何设置让窗口根据屏幕比例显示设置？ desktop QDesktopWidget().screenGeometry() self.resize(int(desktop.width() * 0.3), int(desktop.height()*0.5)) QT5中关于背景穿透问题的处理方式？ 场景如下：我们在开发的时候，…...
漏洞复现_永恒之蓝
1.概述 永恒之蓝（EternalBlue）是一个影响Windows操作系统的远程代码执行漏洞，编号为CVE-2017-0144，最初由美国国家安全局（NSA）开发并利用，后来被黑客组织Shadow Brokers泄露。该漏洞存在于SMBv…...
PyCharm的使用
PyCharm的入门使用教程 下载和安装PyCharm： 首先，访问JetBrains官方网站（https://www.jetbrains.com/pycharm/）下载PyCharm的最新版本。根据您的操作系统选择合适的版本进行下载。 安装完成后，打开PyCharm。 创建新…...
浅谈C#之AutoResetEvent和ManualResetEvent
一、基本介绍 AutoResetEvent和ManualResetEvent都是同步原语，它们用于线程之间的协调和通信。它们都是从EventWaitHandle类派生的，但它们在重置事件状态的行为上有所不同。 二、简单示例 AutoResetEvent AutoResetEvent是一个自动重置的事件。当一个线…...
【网络安全 | 靶机搭建】修改镜像源、更新软件源、安装git、更改python版本等
文章目录 0x00、必要准备0x01、修改镜像源0x02、更新软件源并清除缓存0x03、安装git0x04、更改默认Python版本为python30x05、安装增强功能0x06、vmware虚拟机导出iso0x00、必要准备 安装虚拟机时必须保存用户名、密码，用于后续操作，可以截图保存： 以下内容按个人需要进行配…...
VuePress搭建文档网站/个人博客（详细配置）主题配置
天行健，君子以自强不息；地势坤，君子以厚德载物。 每个人都有惰性，但不断学习是好好生活的根本，共勉！ 文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。…...
Go语言笔记
目录 一、变量声明 二、流程控制 if（条件判断） for（循环结构） Switch（简化if） goto（跳出循环） 三、运算符 1、算数运算符 2、关系运算符 3、逻辑运算符 4、位运算符 5、…...
java缓存介绍
在Java编程中，缓存技术是一种非常有效的优化手段，用于减少数据访问的延迟和提高应用性能。缓存技术通过存储数据的副本在内存中，使得后续对相同数据的请求能够直接从内存中快速获取，而不需要再次进行耗时的磁盘访问或网络请求。 缓…...
react中diff的选择性子树渲染
在React中，组件的渲染是高效的，这得益于React的虚拟DOM（Virtual DOM）和diff算法。React的diff算法主要用于比较旧虚拟DOM树和新虚拟DOM树之间的差异，并仅更新实际DOM中需要变化的部分，从而提高性能。 关于…...
Git clone远程仓库没有其他分支的问题
在使用Git克隆（Git clone）时，可能遇到分支不全的问题。有以下几种可能的原因和解决方法： 未将所有分支克隆下来：默认情况下，Git只会克隆远程仓库的主分支。如果您想要克隆其他分支，可以使用以下…...
山东潍坊戴尔存储服务器维修 md3800f raid恢复
山东戴尔存储故障维修 存储型号：DELL PowerVault md3800f 故障问题：存储除尘后通电开机，发现有物理硬盘没有插到位，用户带电拔插了多块物理盘，导致关连的磁盘阵列掉线，卷失败； 处理方式…...
Hive企业级调优[6]——HQL语法优化之任务并行度
目录 HQL语法优化之任务并行度 优化说明 Map端并行度 Reduce端并行度 优化案例 HQL语法优化之任务并行度 优化说明 对于分布式计算任务来说，设置一个合理的并行度至关重要。Hive的计算任务依赖于MapReduce框架来完成，因此并行度的调整需要从Map端和…...
Excel 冻结多行多列
背景 版本：office 2021 专业版 无法像下图内某些版本一样，识别选中框选的多行多列。 如下选中后毫无反应，点击【视图】->【冻结窗口】->【冻结窗格】后自动设置为冻结第一列。 操作 如下，要把前两排冻结起来。 选择 C1&a…...
基于微信小程序的智慧物业管理系统
作者：计算机学姐 开发技术：SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等，“文末源码”。 专栏推荐：前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码 精品专栏：Java精选实战项目…...
微信小程序之bind和catch
这两个呢，都是绑定事件用的，具体使用有些小区别。 官方文档： 事件冒泡处理不同 bind：绑定的事件会向上冒泡，即触发当前组件的事件后，还会继续触发父组件的相同事件。例如，有一个子视图绑定了b…...
进程地址空间（比特课总结）
一、进程地址空间 1. 环境变量 1 ）⽤户级环境变量与系统级环境变量 全局属性：环境变量具有全局属性，会被⼦进程继承。例如当bash启动⼦进程时，环 境变量会⾃动传递给⼦进程。 本地变量限制：本地变量只在当前进程(ba…...
蓝牙 BLE 扫描面试题大全(2)：进阶面试题与实战演练
前文覆盖了 BLE 扫描的基础概念与经典问题蓝牙 BLE 扫描面试题大全(1)：从基础到实战的深度解析-CSDN博客，但实际面试中，企业更关注候选人对复杂场景的应对能力（如多设备并发扫描、低功耗与高发现率的平衡）和前沿技术的…...
第25节 Node.js 断言测试
Node.js的assert模块主要用于编写程序的单元测试时使用，通过断言可以提早发现和排查出错误。 稳定性: 5 - 锁定 这个模块可用于应用的单元测试，通过 require(assert) 可以使用这个模块。 assert.fail(actual, expected, message, operator) 使用参数…...
华为OD机试-食堂供餐-二分法
import java.util.Arrays; import java.util.Scanner;public class DemoTest3 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseint a in.nextIn…...
【决胜公务员考试】求职OMG——见面课测验1
2025最新版！！！6.8截至答题，大家注意呀！ 博主码字不易点个关注吧,祝期末顺利~~ 1.单选题(2分) 下列说法错误的是:（ B ） A.选调生属于公务员系统 B.公务员属于事业编 C.选调生有基层锻炼的要求 D…...
蓝桥杯3498 01串的熵
问题描述 对于一个长度为 23333333的 01 串, 如果其信息熵为 11625907.5798， 且 0 出现次数比 1 少, 那么这个 01 串中 0 出现了多少次? #include<iostream> #include<cmath> using namespace std;int n 23333333;int main() {//枚举 0 出现的次数//因…...
：观察者模式)
JS设计模式(4)：观察者模式
JS设计模式(4):观察者模式 一、引入 在开发中，我们经常会遇到这样的场景：一个对象的状态变化需要自动通知其他对象，比如： 电商平台中，商品库存变化时需要通知所有订阅该商品的用户；新闻网站中࿰…...
纯 Java 项目（非 SpringBoot）集成 Mybatis-Plus 和 Mybatis-Plus-Join
纯 Java 项目（非 SpringBoot）集成 Mybatis-Plus 和 Mybatis-Plus-Join 1、依赖1.1、依赖版本1.2、pom.xml 2、代码2.1、SqlSession 构造器2.2、MybatisPlus代码生成器2.3、获取 config.yml 配置2.3.1、config.yml2.3.2、项目配置类 2.4、ftl 模板2.4.1、…...
R 语言科研绘图第 55 期 --- 网络图-聚类
在发表科研论文的过程中，科研绘图是必不可少的，一张好看的图形会是文章很大的加分项。 为了便于使用，本系列文章介绍的所有绘图都已收录到了 sciRplot 项目中，获取方式： R 语言科研绘图模板 --- sciRplothttps://mp.…...