当前位置：首页 > news >正文

重生之我们在ES顶端相遇第15 章 - ES 的心脏-倒排索引

news 2025/12/21 22:07:56

文章目录

- - 前言
  - 为什么叫倒排索引
  - 数据结构
  - 如何生成
  - 如何查询
  - TF、IDF
  - 参考文档

前言

上一章，简单介绍了 ES 的节点类型。
本章，我们要介绍 ES 中非常重要的一个概念：倒排索引。
ES 的全文索引就是基于倒排索引实现的。
本章内容建议重点学习，因为面试也常问。

为什么叫倒排索引

倒排索引指的是将每一个关键字映射到它出现的文档中。如下图所示
在这里插入图片描述

因为结构是倒着的，因此被称为倒排索引。

数据结构

倒排索引分为 2 部分：一部分叫 term directory(term 词典)，一部分叫 posting list(倒排列表)。如下图所示
在这里插入图片描述

term directory
term 字典，存放着每个单词到对应倒排列表的映射关系
posting list
Docs 是一个数组。其中 1:2:[2,6] 意思如下
- 1：文档ID
- 2：词频(term frequency)
- [2,6]：出现在文档中的第 2，6 个 term。

如何生成

这里涉及到我们之前讲过的分词器。工作流程如下图所示
在这里插入图片描述

大体就包含2部分，根据分词器将文本分词，然后根据分词生成倒排索引。

如何查询

例如我们查询：To do right。
则该文本会先被分词为：to, do, right
对应的结果如下图所示：
在这里插入图片描述

TF、IDF

默认情况下，ES 会根据文档与搜索词的相关性得分对结果降序返回。相关性得分与以下 2 个概念有关(稍做了解，后续会出文章做更深入的介绍)

Term Frequency(TF)：term 在文档中出现的频率，得分正相关。出现频率越高，得分越高
Inverted Document Frequency(IDF)：term 在 所有文档 中出现的频率，得分负相关。出现频率越高，得分越低。

参考文档

Indexing: Inverted Index

重生之我们在ES顶端相遇第15 章 - ES 的心脏-倒排索引

文章目录前言为什么叫倒排索引数据结构如何生成如何查询TF、IDF参考文档前言上一章，简单介绍了 ES 的节点类型。本章，我们要介绍 ES 中非常重要的一个概念：倒排索引。 ES 的全文索引就是基于倒排索引实现的。本章内容建议重点学习&…...

编程日记 2024/9/22 13:58:39

金刚石切削工具学习笔记分享

CVD钻石-合成单晶钻石之一金刚石具有极高的硬度和耐磨性、较低的摩擦系数、较高的弹性模量、较高的热导率、较低的热膨胀系数、与有色金属的亲和力较小等优点，是目前最硬的工具材料，主要分为单晶金刚石和聚晶金刚石两大类。单晶金刚石又分为天然单晶金…...

编程日记 2024/9/22 13:56:38

【文献阅读】基于原型的自适应方法增强未见到的构音障碍者的语音识别

基于原型的自适应方法增强未见到的构音障碍者的语音识别文献原文链接 https://www.isca-archive.org/interspeech_2024/wang24x_interspeech.pdf 引言构音障碍是一种由神经系统疾病或肌肉异常引起的言语障碍，影响了个体清晰发音的能力。这种情况常伴随脑瘫、帕金森病和头部…...

编程日记 2024/9/22 13:53:35

Kafka-Go学习

文章目录 1. **安装 kafka-go**2. **基本概念**3. **kafka-go 基本用法**3.1 创建 Producer（生产者）3.2 创建 Consumer（消费者）3.3 生产者和消费者配置详解生产者配置 (kafka.WriterConfig)消费者配置 (kafka.ReaderConfig) 4. **…...

编程日记 2024/9/22 13:52:34

Nginx反向代理出现502 Bad Gateway问题的解决方案

🎉 前言前一阵子写了一篇“关于解决调用百度翻译API问题”的博客，近日在调用其他API时又遇到一些棘手的问题，于是写下这篇博客作为记录。 🎉 问题描述在代理的遇到过很多错误码，其中出现频率最高的就是502&#x…...

编程日记 2024/9/22 13:45:28

通信工程学习：什么是VLAN虚拟局域网

VLAN：虚拟局域网 VLAN（Virtual Local Area Network，虚拟局域网）是一种将物理局域网在逻辑上划分成多个广播域的通信技术。以下是关于VLAN的详细解释： 一、VLAN虚拟局域网的定义与概述 VLAN通过逻辑方式将网络中的设备…...

编程日记 2024/9/22 13:44:27

python qt5 常用

QT5中如何设置让窗口根据屏幕比例显示设置？ desktop QDesktopWidget().screenGeometry() self.resize(int(desktop.width() * 0.3), int(desktop.height()*0.5)) QT5中关于背景穿透问题的处理方式？ 场景如下：我们在开发的时候&#xff0c…...

编程日记 2024/9/22 13:43:26

漏洞复现_永恒之蓝

1.概述永恒之蓝（EternalBlue）是一个影响Windows操作系统的远程代码执行漏洞，编号为CVE-2017-0144，最初由美国国家安全局（NSA）开发并利用，后来被黑客组织Shadow Brokers泄露。该漏洞存在于SMBv…...

编程日记 2024/9/22 13:40:23

PyCharm的使用

PyCharm的入门使用教程下载和安装PyCharm： 首先，访问JetBrains官方网站（https://www.jetbrains.com/pycharm/）下载PyCharm的最新版本。根据您的操作系统选择合适的版本进行下载。安装完成后，打开PyCharm。创建新…...

编程日记 2024/9/22 13:39:22

浅谈C#之AutoResetEvent和ManualResetEvent

一、基本介绍 AutoResetEvent和ManualResetEvent都是同步原语，它们用于线程之间的协调和通信。它们都是从EventWaitHandle类派生的，但它们在重置事件状态的行为上有所不同。二、简单示例 AutoResetEvent AutoResetEvent是一个自动重置的事件。当一个线…...

编程日记 2024/9/22 13:38:21

【网络安全 | 靶机搭建】修改镜像源、更新软件源、安装git、更改python版本等

文章目录 0x00、必要准备0x01、修改镜像源0x02、更新软件源并清除缓存0x03、安装git0x04、更改默认Python版本为python30x05、安装增强功能0x06、vmware虚拟机导出iso0x00、必要准备安装虚拟机时必须保存用户名、密码，用于后续操作，可以截图保存：以下内容按个人需要进行配…...

编程日记 2024/9/22 13:36:19

VuePress搭建文档网站/个人博客（详细配置）主题配置

天行健，君子以自强不息；地势坤，君子以厚德载物。每个人都有惰性，但不断学习是好好生活的根本，共勉！ 文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。…...

编程日记 2024/9/22 13:35:18

Go语言笔记

目录一、变量声明二、流程控制 if（条件判断） for（循环结构） Switch（简化if） goto（跳出循环） 三、运算符 1、算数运算符 2、关系运算符 3、逻辑运算符 4、位运算符 5、…...

编程日记 2024/9/22 13:31:15

java缓存介绍

在Java编程中，缓存技术是一种非常有效的优化手段，用于减少数据访问的延迟和提高应用性能。缓存技术通过存储数据的副本在内存中，使得后续对相同数据的请求能够直接从内存中快速获取，而不需要再次进行耗时的磁盘访问或网络请求。缓…...

编程日记 2024/9/22 13:29:13

react中diff的选择性子树渲染

在React中，组件的渲染是高效的，这得益于React的虚拟DOM（Virtual DOM）和diff算法。React的diff算法主要用于比较旧虚拟DOM树和新虚拟DOM树之间的差异，并仅更新实际DOM中需要变化的部分，从而提高性能。关于…...

编程日记 2024/9/22 13:27:12

Git clone远程仓库没有其他分支的问题

在使用Git克隆（Git clone）时，可能遇到分支不全的问题。有以下几种可能的原因和解决方法： 未将所有分支克隆下来：默认情况下，Git只会克隆远程仓库的主分支。如果您想要克隆其他分支，可以使用以下…...

编程日记 2024/9/22 13:24:09

山东潍坊戴尔存储服务器维修 md3800f raid恢复

山东戴尔存储故障维修存储型号：DELL PowerVault md3800f 故障问题：存储除尘后通电开机，发现有物理硬盘没有插到位，用户带电拔插了多块物理盘，导致关连的磁盘阵列掉线，卷失败； 处理方式&#xf…...

编程日记 2024/9/22 13:23:08

Hive企业级调优[6]——HQL语法优化之任务并行度

目录 HQL语法优化之任务并行度优化说明 Map端并行度 Reduce端并行度优化案例 HQL语法优化之任务并行度优化说明对于分布式计算任务来说，设置一个合理的并行度至关重要。Hive的计算任务依赖于MapReduce框架来完成，因此并行度的调整需要从Map端和…...

编程日记 2024/9/22 13:22:07

Excel 冻结多行多列

背景版本：office 2021 专业版无法像下图内某些版本一样，识别选中框选的多行多列。如下选中后毫无反应，点击【视图】->【冻结窗口】->【冻结窗格】后自动设置为冻结第一列。操作如下，要把前两排冻结起来。选择 C1&a…...

编程日记 2024/9/22 13:18:04

基于微信小程序的智慧物业管理系统

作者：计算机学姐开发技术：SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等，“文末源码”。专栏推荐：前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码精品专栏：Java精选实战项目…...

编程日记 2024/9/22 13:16:01

利用ngx_stream_return_module构建简易 TCP/UDP 响应网关

一、模块概述 ngx_stream_return_module 提供了一个极简的指令： return <value>;在收到客户端连接后，立即将 <value> 写回并关闭连接。<value> 支持内嵌文本和内置变量（如 $time_iso8601、$remote_addr 等）&a…...

编程新知 2025/9/21 0:49:02

视频字幕质量评估的大规模细粒度基准

大家读完觉得有帮助记得关注和点赞！！！ 摘要视频字幕在文本到视频生成任务中起着至关重要的作用，因为它们的质量直接影响所生成视频的语义连贯性和视觉保真度。尽管大型视觉-语言模型（VLMs）在字幕生成方面…...

编程新知 2025/12/17 22:17:02

04-初识css

一、css样式引入 1.1.内部样式 <div style"width: 100px;"></div>1.2.外部样式 1.2.1.外部样式1 <style>.aa {width: 100px;} </style> <div class"aa"></div>1.2.2.外部样式2 <!-- rel内表面引入的是style样…...

编程新知 2025/12/9 4:36:55

Linux-07 ubuntu 的 chrome 启动不了

文章目录问题原因解决步骤一、卸载旧版chrome二、重新安装chorme三、启动不了，报错如下四、启动不了，解决如下总结问题原因在应用中可以看到chrome，但是打不开(说明：原来的ubuntu系统出问题了，这个是备用的硬盘&a…...

编程新知 2025/12/10 19:18:49

ardupilot 开发环境eclipse 中import 缺少C++

目录文章目录目录摘要1.修复过程摘要本节主要解决ardupilot 开发环境eclipse 中import 缺少C++，无法导入ardupilot代码，会引起查看不方便的问题。如下图所示 1.修复过程 0.安装ubuntu 软件中自带的eclipse 1.打开eclipse—Help—install new software 2.在 Work with中…...

编程新知 2025/12/10 20:47:41

JDK 17 新特性

#JDK 17 新特性 /**************** 文本块 *****************/ python/scala中早就支持，不稀奇 String json “”" { “name”: “Java”, “version”: 17 } “”"; /**************** Switch 语句 -> 表达式 *****************/ 挺好的&#xff…...

编程新知 2025/10/24 5:00:32