当前位置: 首页 > news >正文

Es分布式搜索引擎

目录

一、什么是ES?

二、什么是elk?

三、什么是倒排索引?

四、正向索引和倒排索引的优缺点对比

五、mysql数据库和es的区别?

六、索引库(es中的数据库表)操作有哪些?

八、ES分片存储原理


一、什么是ES?

ES是一款强大的分布式搜索引擎,可以帮我们从海量数据中中快速找到需要的内容,也可以用于日志统计、分析、系统监控、滴滴打车、百度搜索答案、github搜索代码、elk(elastic stack)日志分析。等

二、什么是elk?

elk是以elasticsearch为核心的技术栈,包括beats、Logstash、kibana、elasticsearch

三、什么是倒排索引?

倒排索引的概念是基于MySQL这样的正向索引而言的

正排索引:根据文档找词条的过程

倒排索引:根据词条找文档的过程,对比mysql正向索引原理,es的倒排索引是词条和文档id集合的映射关系,避免了全盘扫描,先查询到词条,再定位id,根据id查询数据库,查询速度比较快。**

倒排索引中有两个重要的概念:

文档(Document):用来搜索的数据,其中的每一行数据就是一个文档。例如一个网页、一个商品信息

词条(Term):对文档数据或用户搜索数据,利用某种算法分词,得到的具备含义的词语就是词条。例如:我是中国人,就可以分为:我、是、中国人、中国、国人这样的几个词条

索引:es中的索引可以理解为数据库中的一张表

倒排索引流程如下:

1.用户输入条件“华为手机”进行搜索

2.对用户输入内容进行分词,得到词条

3.拿着词条在倒排索引中查找,可以得到包含词条的文档id;1、2、3.

4.拿着文档id到正向索引种查找具体文档。

四、正向索引和倒排索引的优缺点对比

正向索引:

优点:可以给多个字段建立索引,根据索引字段搜索、排序速度非常快

缺点:根据非索引字段、或者索引字段中的部分词条查找时,只能全表扫描

倒排索引

优点:根据词条搜索、模糊查询时,速度非常快

缺点:只能给词条创建索引,而不是字段,而且无法根据字段做排序

五、mysql数据库和es的区别?

 

Mysql:擅长事务类型操作,可以确保数据的安全和一致性--安全性高

Elasticsearch:擅长海量数据的搜索、分析、计算---查询速度更快

六、索引库es中的数据库表操作有哪些?

- 创建索引库:PUT /索引库名

- 查询索引库:GET /索引库名

- 删除索引库:DELETE /索引库名

- 添加字段:PUT /索引库名/_mapping

七、es中文档1条数据操作有哪些?

- 创建文档:POST /{索引库名}/_doc/文档id   { json文档 }

- 查询文档:GET /{索引库名}/_doc/文档id

- 删除文档:DELETE /{索引库名}/_doc/文档id

- 修改文档:

  - 全量修改:PUT /{索引库名}/_doc/文档id { json文档 }

  - 增量修改:POST /{索引库名}/_update/文档id { "doc": {字段}}

八、ES分片存储原理

elasticsearch会通过hash算法来计算文档应该存储到哪个分片。

相关文章:

Es分布式搜索引擎

目录 一、什么是ES? 二、什么是elk? 三、什么是倒排索引? 四、正向索引和倒排索引的优缺点对比 五、mysql数据库和es的区别? 六、索引库(es中的数据库表)操作有哪些? 八、ES分片存储原理 …...

open3d 裁剪点云

目录 1. crop_point_cloud 2. crop 3. crop_mesh 1. crop_point_cloud 关键函数 chair vol.crop_point_cloud(pcd) # vol: SelectionPolygonVolume import open3d as o3dif __name__ "__main__":# 1. read pcdprint("Load a ply point cloud, crop it…...

如何对第三方相同请求进行筛选过滤

文章目录 问题背景处理思路注意事项代码实现 问题背景 公司内部多个系统共用一套用户体系库,对外(钉钉)我们是两个客户身份(这里是根据系统来的),例如当第三方服务向我们发起用户同步请求:是一个更新用户操作,它会同时发送一个 d…...

Go RPC

目录 文章目录 Go RPCHTTP RPCTCP RPCJSON RPC Go RPC Go 标准包中已经提供了对 RPC 的支持,而且支持三个级别的 RPC:TCP、HTTP、JSONRPC。但 Go 的 RPC 包是独一无二的 RPC,它和传统的 RPC 系统不同,它只支持 Go 开发的服务器与…...

真正的智能不仅仅是一个技术问题

智能并不是单一的技术问题,而是一个包括技术、人类智慧、社会制度和文化等多个方面的综合体,常常涉及技术变革、系统演变、运行方式创新、组织适应。智能是指人类的思考、判断、决策和创造等高级认知能力,可以通过技术手段来实现增强和扩展。…...

【数据结构】复杂度包装泛型

目录 1.时间和空间复杂度 1.1时间复杂度 1.2空间复杂度 2.包装类 2.1基本数据类型和对应的包装类 2.2装箱和拆箱 //阿里巴巴面试题 3.泛型 3.1擦除机制 3.2泛型的上界 1.时间和空间复杂度 1.1时间复杂度 定义:一个算法所花费的时间与其语句的执行次数成…...

Ae:绘画面板

Ae菜单:窗口/绘画 Paint 快捷键:Ctrl 8 绘画工具(画笔工具、仿制图章工具及橡皮擦工具)仅能工作在图层面板上。在使用绘画工具之前,建议先在绘画 Paint面板中查看或进行相关设置。 说明: 如果要在绘画描边…...

常见的锁和zookeeper

zookeeper 本文由 简悦 SimpRead 转码, 原文地址 zhuanlan.zhihu.com 前言 只有光头才能变强。 文本已收录至我的 GitHub 仓库,欢迎 Star:https://github.com/ZhongFuCheng3y/3y 上次写了一篇 什么是消息队列?以后,本来…...

经验总结:(Redis NoSQL数据库快速入门)

一、Nosql概述 为什么使用Nosql 1、单机Mysql时代 90年代,一个网站的访问量一般不会太大,单个数据库完全够用。随着用户增多,网站出现以下问题 数据量增加到一定程度,单机数据库就放不下了数据的索引(B Tree),一个机…...

form表单与模板引擎

文章目录 一、form表单的基本使用1、什么是表单2、表单的组成部分3、 <form>标签的属性4、表单的同步提交及缺点&#xff08;1&#xff09; 什么是表单的同步提交&#xff08;2&#xff09; 表单同步提交的缺点&#xff08;3&#xff09; 如何解决表单同步提交的缺点 二、…...

医院检验信息管理系统源码(云LIS系统源码)JQuery、EasyUI

云LIS系统是一种医疗实验室信息管理系统&#xff0c;提供全面的实验室信息管理解决方案。它的主要功能包括样本管理、检测流程管理、报告管理、质量控制、数据分析和仪器管理等。 云LIS源码技术说明&#xff1a; 技术架构&#xff1a;Asp.NET CORE 3.1 MVC SQLserver Redis等…...

React 组件

文章目录 React 组件复合组件 React 组件 本节将讨论如何使用组件使得我们的应用更容易来管理。 接下来我们封装一个输出 “Hello World&#xff01;” 的组件&#xff0c;组件名为 HelloMessage&#xff1a; React 实例 <!DOCTYPE html> <html> <head> &…...

硕士学位论文的几种常见节奏

摘要: 本文描述硕士学位论文的几种目录结构, 特别针对机器学习方向. 1. 基础版 XX算法及其在YY中的应用 针对情况: 只有一篇小论文支撑. 第 1 章: 引言 ( > 5页) 1.1 背景及意义 (应用背景、研究意义, 2 页) 1.2 研究进展及趋势 (算法方面, 2 页) 1.3 论文结构 (1 页) 第 …...

找兄弟单词

描述 定义一个单词的“兄弟单词”为&#xff1a;交换该单词字母顺序&#xff08;注&#xff1a;可以交换任意次&#xff09;&#xff0c;而不添加、删除、修改原有的字母就能生成的单词。 兄弟单词要求和原来的单词不同。例如&#xff1a; ab 和 ba 是兄弟单词。 ab 和 ab 则不…...

python字典翻转教学

目录 第1关 创建大学英语四级单词字典 第2关 合并大学英语四六级词汇字典 第3关 查单词输出中文释义 第4关 删除字典中特定字母开头的单词 第5关 单词英汉记忆训练 第1关 创建大学英语四级单词字典 本关任务&#xff1a;编写一个能创建大学英语四级单词字典的小程序。 测…...

sentinel 随笔 3-降级处理

0. 像喝点东西&#xff0c;但不知道喝什么 先来段源码&#xff0c;看一下 我们在dashboard 录入的降级规则&#xff0c;都映射到哪些字段上 package com.alibaba.csp.sentinel.slots.block.degrade;public class DegradeRule extends AbstractRule {public DegradeRule(String…...

如何解决IP能ping通但无法上网的问题?

当我们在网络环境中遇到无法上网的问题时&#xff0c;可能会尝试使用ping命令来测试网络连接是否正常。如果ping测试成功&#xff0c;说明我们的IP地址能够和网络中其他设备进行通信&#xff0c;但是无法上网。这种情况下&#xff0c;我们需要采取一些措施来解决这个问题。本文…...

Autosar实践-CANTp

文章目录 前言一、CanTp是什么?二、Autosar配置三、诊断数据传输流程1.接收单帧失败,上层没有适当的buffer2.成功接收单帧3.成功发送单帧4.成功接收多帧5.成功发送多帧前言 CANTp模块作为提供数据拆包、组包、流控制传输的服务,在Autosar基础软件通信中起着至关重要的作用。…...

Redis简介

Redis&#xff08;Remote Dictionary Server&#xff09;是一个开源的键值对&#xff08;key-value&#xff09;数据库&#xff0c;支持网络、可基于内存亦可持久化。 Redis的数据结构包括列表&#xff08;List&#xff09;、集合&#xff08;Set&#xff09;、有序集合&#…...

报错问题修改

Vue 项目报错&#xff1a;‘$‘ is not defined ( no-undef ) 错误原因是不认识 $ 符&#xff0c;他是 JQuery 中得符号&#xff0c;引入了 JQuery 文件里的函数报错onclick is not defined问题(作用域问题) window.onload function (){ onload function (){ 第二种方法…...

企业级微软产品激活管理:KMS_VL_ALL_AIO的技术实践与战略价值

企业级微软产品激活管理&#xff1a;KMS_VL_ALL_AIO的技术实践与战略价值 【免费下载链接】KMS_VL_ALL_AIO Smart Activation Script 项目地址: https://gitcode.com/gh_mirrors/km/KMS_VL_ALL_AIO 1. 企业激活困境与破局思路 核心价值&#xff1a;揭示企业在软件激活管…...

Webfunny前端监控系统安全防护终极指南:SQL注入防护与API鉴权最佳实践

Webfunny前端监控系统安全防护终极指南&#xff1a;SQL注入防护与API鉴权最佳实践 【免费下载链接】webfunny_monitor 【免费社区版】【企业版】Webfunny是一款集全链路监控和埋点系统于一体的大数据分析系统&#xff0c;我们致力于解决线上的疑难杂症和精细化分析业务数据&…...

AI绘画新体验:灵毓秀-牧神-造相Z-Turbo快速入门,小白也能画古风女神

AI绘画新体验&#xff1a;灵毓秀-牧神-造相Z-Turbo快速入门&#xff0c;小白也能画古风女神 1. 认识灵毓秀-牧神-造相Z-Turbo 1.1 什么是灵毓秀-牧神-造相Z-Turbo 灵毓秀-牧神-造相Z-Turbo是一款专门用于生成《牧神记》中灵毓秀角色图像的AI绘画模型。它基于Xinference框架部…...

计算机网络核心:OSI/RM七层模型与TCP/IP模型详解——软件设计师备考指南

目录 一、OSI/RM七层模型(开放式系统互联参考模型) 二、TCP/IP模型(传输控制协议/网际协议模型) 三、常用网络协议详解(含默认端口、功能及特殊说明) 四、总结 非 VIP 用户可前往公众号“前端基地”进行免费阅读,文章链接如下: 计算机网络核心:OSI/RM七层模型与T…...

OpenClaw安全配置指南:Qwen3-4B模型权限与操作边界管理

OpenClaw安全配置指南&#xff1a;Qwen3-4B模型权限与操作边界管理 1. 为什么需要特别关注OpenClaw的安全配置 上周我在调试一个自动整理文档的OpenClaw任务时&#xff0c;差点酿成大祸。当时我让AI助手帮我整理桌面上的项目资料&#xff0c;结果它"聪明"地把所有文…...

Keepalived实战:用MySQL主从高可用方案解决你的数据库单点故障

Keepalived与MySQL主从架构&#xff1a;构建零宕机数据库高可用方案 当数据库成为业务系统的核心支柱时&#xff0c;单点故障可能意味着灾难性的业务中断。我曾亲历一次凌晨3点的数据库故障&#xff0c;整个电商平台瘫痪两小时&#xff0c;损失超过七位数。这次教训让我深刻认识…...

Windows下OpenClaw安装避坑:Qwen3.5-9B模型接入全记录

Windows下OpenClaw安装避坑&#xff1a;Qwen3.5-9B模型接入全记录 1. 为什么选择OpenClawQwen3.5-9B组合 去年12月我在整理年度技术文档时&#xff0c;被重复的文件归类操作折磨得苦不堪言。当时尝试过用Python脚本自动化处理&#xff0c;但面对动态变化的文件命名规则总是力…...

内网渗透零基础入门教程!小白也能轻松搞懂内网渗透基础知识点

内网渗透初探 | 小白简单学习内网渗透 0x01 基础知识 内网渗透&#xff0c;从字面上理解便是对目标服务器所在内网进行渗透并最终获取域控权限的一种渗透。内网渗透的前提需要获取一个Webshell&#xff0c;可以是低权限的Webshell&#xff0c;因为可以通过提权获取高权限。 …...

【AI实战项目】项目三:序列标注技术深度解析与应用实战

分享一个大牛的人工智能教程。零基础&#xff01;通俗易懂&#xff01;风趣幽默&#xff01;希望你也加入到人工智能的队伍中来&#xff01;请轻击人工智能教程​​​https://www.captainai.net/troubleshooter 项目背景&#xff1a; 序列标注在AI技术中有⾮常⼴泛的应⽤&am…...

客户和采购都在用豆包、deepseek查资料,怎么才能让这些国内头部大模型在回答时优先推荐公司的产品?

随着人工智能技术的爆发&#xff0c;企业获客与消费者决策的路径正在发生深刻的重构。据近期的公开市场调研与行业报告显示&#xff0c;包括豆包、DeepSeek、文心一言在内的国内头部大模型&#xff0c;其月活跃用户数正呈现指数级增长。一个不可忽视的趋势是&#xff1a;无论是…...