重生之我们在ES顶端相遇第15 章 - ES 的心脏-倒排索引
文章目录
- 前言
- 为什么叫倒排索引
- 数据结构
- 如何生成
- 如何查询
- TF、IDF
- 参考文档
前言
上一章，简单介绍了 ES 的节点类型。
本章，我们要介绍 ES 中非常重要的一个概念：倒排索引。
ES 的全文索引就是基于倒排索引实现的。
本章内容建议重点学习，因为面试也常问。
为什么叫倒排索引
倒排索引指的是将每一个关键字映射到它出现的文档中。如下图所示
因为结构是倒着的，因此被称为倒排索引。
数据结构
倒排索引分为 2 部分：一部分叫 term directory(term 词典)，一部分叫 posting list(倒排列表)。如下图所示
-
term directory
term 字典，存放着每个单词到对应倒排列表的映射关系 -
posting list
Docs 是一个数组。其中 1:2:[2,6] 意思如下- 1：文档ID
- 2：词频(term frequency)
- [2,6]：出现在文档中的第 2，6 个 term。
如何生成
这里涉及到我们之前讲过的分词器。工作流程如下图所示
大体就包含2部分，根据分词器将文本分词，然后根据分词生成倒排索引。
如何查询
例如我们查询：To do right。
则该文本会先被分词为：to, do, right
对应的结果如下图所示：
TF、IDF
默认情况下，ES 会根据文档与搜索词的相关性得分对结果降序返回。相关性得分与以下 2 个概念有关(稍做了解，后续会出文章做更深入的介绍)
- Term Frequency(TF)：term 在文档中出现的频率，得分正相关。出现频率越高，得分越高
- Inverted Document Frequency(IDF)：term 在
所有文档中出现的频率，得分负相关。出现频率越高，得分越低。
参考文档
Indexing: Inverted Index
相关文章：
重生之我们在ES顶端相遇第15 章 - ES 的心脏-倒排索引
文章目录 前言为什么叫倒排索引数据结构如何生成如何查询TF、IDF参考文档 前言 上一章，简单介绍了 ES 的节点类型。 本章，我们要介绍 ES 中非常重要的一个概念：倒排索引。 ES 的全文索引就是基于倒排索引实现的。 本章内容建议重点学习&…...
金刚石切削工具学习笔记分享
CVD钻石-合成单晶钻石之一 金刚石具有极高的硬度和耐磨性、较低的摩擦系数、较高的弹性模量、较高的热导率、较低的热膨胀系数、与有色金属的亲和力较小等优点，是目前最硬的工具材料，主要分为单晶金刚石和聚晶金刚石两大类。单晶金刚石又分为天然单晶金…...
【文献阅读】基于原型的自适应方法增强未见到的构音障碍者的语音识别
基于原型的自适应方法增强未见到的构音障碍者的语音识别 文献原文链接 https://www.isca-archive.org/interspeech_2024/wang24x_interspeech.pdf 引言 构音障碍是一种由神经系统疾病或肌肉异常引起的言语障碍，影响了个体清晰发音的能力。这种情况常伴随脑瘫、帕金森病和头部…...
Kafka-Go学习
文章目录 1. **安装 kafka-go**2. **基本概念**3. **kafka-go 基本用法**3.1 创建 Producer（生产者）3.2 创建 Consumer（消费者）3.3 生产者和消费者配置详解生产者配置 (kafka.WriterConfig)消费者配置 (kafka.ReaderConfig) 4. **…...
Nginx反向代理出现502 Bad Gateway问题的解决方案
🎉 前言 前一阵子写了一篇“关于解决调用百度翻译API问题”的博客，近日在调用其他API时又遇到一些棘手的问题，于是写下这篇博客作为记录。 🎉 问题描述 在代理的遇到过很多错误码，其中出现频率最高的就是502&#x…...
通信工程学习：什么是VLAN虚拟局域网
VLAN：虚拟局域网 VLAN（Virtual Local Area Network，虚拟局域网）是一种将物理局域网在逻辑上划分成多个广播域的通信技术。以下是关于VLAN的详细解释： 一、VLAN虚拟局域网的定义与概述 VLAN通过逻辑方式将网络中的设备…...
python qt5 常用
QT5中如何设置让窗口根据屏幕比例显示设置？ desktop QDesktopWidget().screenGeometry() self.resize(int(desktop.width() * 0.3), int(desktop.height()*0.5)) QT5中关于背景穿透问题的处理方式？ 场景如下：我们在开发的时候，…...
漏洞复现_永恒之蓝
1.概述 永恒之蓝（EternalBlue）是一个影响Windows操作系统的远程代码执行漏洞，编号为CVE-2017-0144，最初由美国国家安全局（NSA）开发并利用，后来被黑客组织Shadow Brokers泄露。该漏洞存在于SMBv…...
PyCharm的使用
PyCharm的入门使用教程 下载和安装PyCharm： 首先，访问JetBrains官方网站（https://www.jetbrains.com/pycharm/）下载PyCharm的最新版本。根据您的操作系统选择合适的版本进行下载。 安装完成后，打开PyCharm。 创建新…...
浅谈C#之AutoResetEvent和ManualResetEvent
一、基本介绍 AutoResetEvent和ManualResetEvent都是同步原语，它们用于线程之间的协调和通信。它们都是从EventWaitHandle类派生的，但它们在重置事件状态的行为上有所不同。 二、简单示例 AutoResetEvent AutoResetEvent是一个自动重置的事件。当一个线…...
【网络安全 | 靶机搭建】修改镜像源、更新软件源、安装git、更改python版本等
文章目录 0x00、必要准备0x01、修改镜像源0x02、更新软件源并清除缓存0x03、安装git0x04、更改默认Python版本为python30x05、安装增强功能0x06、vmware虚拟机导出iso0x00、必要准备 安装虚拟机时必须保存用户名、密码，用于后续操作，可以截图保存： 以下内容按个人需要进行配…...
VuePress搭建文档网站/个人博客（详细配置）主题配置
天行健，君子以自强不息；地势坤，君子以厚德载物。 每个人都有惰性，但不断学习是好好生活的根本，共勉！ 文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。…...
Go语言笔记
目录 一、变量声明 二、流程控制 if（条件判断） for（循环结构） Switch（简化if） goto（跳出循环） 三、运算符 1、算数运算符 2、关系运算符 3、逻辑运算符 4、位运算符 5、…...
java缓存介绍
在Java编程中，缓存技术是一种非常有效的优化手段，用于减少数据访问的延迟和提高应用性能。缓存技术通过存储数据的副本在内存中，使得后续对相同数据的请求能够直接从内存中快速获取，而不需要再次进行耗时的磁盘访问或网络请求。 缓…...
react中diff的选择性子树渲染
在React中，组件的渲染是高效的，这得益于React的虚拟DOM（Virtual DOM）和diff算法。React的diff算法主要用于比较旧虚拟DOM树和新虚拟DOM树之间的差异，并仅更新实际DOM中需要变化的部分，从而提高性能。 关于…...
Git clone远程仓库没有其他分支的问题
在使用Git克隆（Git clone）时，可能遇到分支不全的问题。有以下几种可能的原因和解决方法： 未将所有分支克隆下来：默认情况下，Git只会克隆远程仓库的主分支。如果您想要克隆其他分支，可以使用以下…...
山东潍坊戴尔存储服务器维修 md3800f raid恢复
山东戴尔存储故障维修 存储型号：DELL PowerVault md3800f 故障问题：存储除尘后通电开机，发现有物理硬盘没有插到位，用户带电拔插了多块物理盘，导致关连的磁盘阵列掉线，卷失败； 处理方式…...
Hive企业级调优[6]——HQL语法优化之任务并行度
目录 HQL语法优化之任务并行度 优化说明 Map端并行度 Reduce端并行度 优化案例 HQL语法优化之任务并行度 优化说明 对于分布式计算任务来说，设置一个合理的并行度至关重要。Hive的计算任务依赖于MapReduce框架来完成，因此并行度的调整需要从Map端和…...
Excel 冻结多行多列
背景 版本：office 2021 专业版 无法像下图内某些版本一样，识别选中框选的多行多列。 如下选中后毫无反应，点击【视图】->【冻结窗口】->【冻结窗格】后自动设置为冻结第一列。 操作 如下，要把前两排冻结起来。 选择 C1&a…...
基于微信小程序的智慧物业管理系统
作者：计算机学姐 开发技术：SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等，“文末源码”。 专栏推荐：前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码 精品专栏：Java精选实战项目…...
在软件开发中正确使用MySQL日期时间类型的深度解析
在日常软件开发场景中，时间信息的存储是底层且核心的需求。从金融交易的精确记账时间、用户操作的行为日志，到供应链系统的物流节点时间戳，时间数据的准确性直接决定业务逻辑的可靠性。MySQL作为主流关系型数据库，其日期时间类型的…...
java_网络服务相关_gateway_nacos_feign区别联系
1. spring-cloud-starter-gateway 作用：作为微服务架构的网关，统一入口，处理所有外部请求。 核心能力： 路由转发（基于路径、服务名等）过滤器（鉴权、限流、日志、Header 处理）支持负…...
Day131 | 灵神 | 回溯算法 | 子集型 子集
Day131 | 灵神 | 回溯算法 | 子集型 子集 78.子集 78. 子集 - 力扣（LeetCode） 思路： 笔者写过很多次这道题了，不想写题解了，大家看灵神讲解吧 回溯算法套路①子集型回溯【基础算法精讲 14】_哔哩哔哩_bilibili 完…...
基于Flask实现的医疗保险欺诈识别监测模型
基于Flask实现的医疗保险欺诈识别监测模型 项目截图 项目简介 社会医疗保险是国家通过立法形式强制实施，由雇主和个人按一定比例缴纳保险费，建立社会医疗保险基金，支付雇员医疗费用的一种医疗保险制度， 它是促进社会文明和进步的…...
条件运算符
C中的三目运算符（也称条件运算符，英文：ternary operator）是一种简洁的条件选择语句，语法如下： 条件表达式 ? 表达式1 : 表达式2• 如果“条件表达式”为true，则整个表达式的结果为“表达式1”…...
【快手拥抱开源】通过快手团队开源的 KwaiCoder-AutoThink-preview 解锁大语言模型的潜力
引言： 在人工智能快速发展的浪潮中，快手Kwaipilot团队推出的 KwaiCoder-AutoThink-preview 具有里程碑意义——这是首个公开的AutoThink大语言模型（LLM）。该模型代表着该领域的重大突破，通过独特方式融合思考与非思考…...
1.3 VSCode安装与环境配置
进入网址Visual Studio Code - Code Editing. Redefined下载.deb文件，然后打开终端，进入下载文件夹，键入命令 sudo dpkg -i code_1.100.3-1748872405_amd64.deb 在终端键入命令code即启动vscode 需要安装插件列表 1.Chinese简化 2.ros …...
根据万维钢·精英日课6的内容，使用AI（2025）可以参考以下方法：
根据万维钢精英日课6的内容，使用AI（2025）可以参考以下方法： 四个洞见 模型已经比人聪明：以ChatGPT o3为代表的AI非常强大，能运用高级理论解释道理、引用最新学术论文，生成对顶尖科学家都有用的…...
SpringTask-03.入门案例
一.入门案例 启动类： package com.sky;import lombok.extern.slf4j.Slf4j; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.cache.annotation.EnableCach…...
)
OpenLayers 分屏对比(地图联动)
注：当前使用的是 ol 5.3.0 版本，天地图使用的key请到天地图官网申请，并替换为自己的key 地图分屏对比在WebGIS开发中是很常见的功能，和卷帘图层不一样的是，分屏对比是在各个地图中添加相同或者不同的图层进行对比查看。…...