当前位置： 首页 > news >正文

elasticsearch文档读写原理大致分析一下

news 2026/2/9 8:07:30

 文档写简介

  1.    客户端通过hash选择一个node发送请求，专业术语叫做协调节点
  2.    协调节点会对document进行路由，将请求转发给对应的primary shard
  3.    primary shard在处理完数据后，会将document 同步到所有replica shard 
  4.    协调节点将处理结果返回给客户端

文档写底层原理

  primary shard 

  •     写入document 到内存buffer中
  •     生成一个translog日志文件

  内存buffer

  •     内存buffer满了 将数据refresh到一个新的segment file文件中
  •     定时1秒将数据refresh到一个新的segment file文件中

   segment file

  •      生成 segment file的时候就会生成到排序索引
  •      segment file 文件数量到达一定数量时会进行merge行为

  translog

    translog会持续保留

Elasticsearch 读取过程

  • 客户端发送请求到任意一个node节点，接下来改节点会成为协调节点
  • 协调节点对document进行路由 将请求节点转发到对应的node上
  •  接收请求的node返回document给协调节点
  •  协调节点 返回document给客户端

相关文章：

elasticsearch文档读写原理大致分析一下

文档写简介 客户端通过hash选择一个node发送请求，专业术语叫做协调节点 协调节点会对document进行路由，将请求转发给对应的primary shard primary shard在处理完数据后，会将document 同步到所有replica shard 协调节点将处理结果返回给…...

编程日记 2024/5/12 4:04:34

1 开发环境

开发环境（platformio python arduino框架）的搭建可以参考b站upESP32超详细教程-使用VSCode（基于Arduino框架）哔哩哔哩bilibili 这里推荐离线安装esp32库文件，要不然要等很久（b站教程很多） 搭…...

编程日记 2024/5/12 4:03:33

云视频，也称为视频云服务，是一种基于云计算技术理念的视频流媒体服务

云视频，也称为视频云服务，是一种基于云计算技术理念的视频流媒体服务。它基于云计算商业模式，为视频网络平台服务提供强大的支持。在云平台上，所有的视频供应商、代理商、策划服务商、制作商、行业协会、管理机构、行业媒体和法律…...

编程日记 2024/5/12 4:02:31

[Vision Board创客营]--使用openmv识别阿尼亚

文章目录 [Vision Board创客营]使用openmv识别阿尼亚介绍环境搭建训练模型上传图片生成模型 使用结语 [Vision Board创客营]使用openmv识别阿尼亚 🚀🚀五一和女朋友去看了《间谍过家家 代号：白》，入坑二刺螈（QQ头像也换…...

编程日记 2024/5/12 4:00:29

【Linux：lesson1】的基本指令

🎁个人主页：我们的五年 🔍系列专栏：Linux课程学习 🌷追光的人，终会万丈光芒 🎉欢迎大家点赞👍评论📝收藏⭐文章 目录 🚗打开Xshell，登陆root…...

编程日记 2024/5/12 3:59:28

20240511日记

今天工作内容： 1.二期2号机EAP测试 2.二期开门机器暂停（停轴，停流水线电机），关闭门后继续功能测试 3.针点位偏移还需要调整，未进行大批量验证是否偏移（S3模板点位测试，两台机各焊…...

编程日记 2024/5/12 3:58:27

蓝桥杯成绩已出

蓝桥杯的成绩早就已经出来了，虽然没有十分惊艳 ，但是对于最终的结果我是心满意足的，感谢各位的陪伴，关于蓝桥杯的刷题笔记我已经坚持更新了49篇，但是现在即将会告别一段落，人生即将进入下一个规划。我们一起…...

编程日记 2024/5/12 3:55:23

.kat6.l6st6r勒索病毒数据怎么处理|数据解密恢复

导言： 在数字时代的洪流中，网络安全领域的新挑战层出不穷。近期，.kat6.l6st6r勒索病毒的出现再次打破了传统安全防护的界限。这种新型勒索病毒不仅具有高超的加密技术，更以其独特的传播方式和隐蔽性，给全球用户带来了…...

编程日记 2024/5/12 3:54:22

Spring Batch 是什么？主要用于什么场景？

Spring Batch是一个开源的、基于Spring框架的批量处理框架，它提供了一系列用于批量数据处理的工具和API。Spring Batch的主要目标是简化和标准化批量数据的处理过程，使得开发者可以更加专注于业务逻辑的实现，而不是批量处理的复杂性。 Sprin…...

编程日记 2024/5/12 3:52:20

SQL-慢查询的定位及优化

定位慢查询sql 启用慢查询日志： 确保MySQL实例已经启用了慢查询日志功能。可以通过以下命令查看是否启用： SHOW VARIABLES LIKE slow_query_log;如果未启用，可以通过以下命令启用： SET GLOBAL slow_query_log ON;配置慢查询日志&…...

编程日记 2024/5/12 3:51:19

练习题（2024/5/11）

1逆波兰表达式求值 给你一个字符串数组 tokens ，表示一个根据 逆波兰表示法 表示的算术表达式。 请你计算该表达式。返回一个表示表达式值的整数。 注意： 有效的算符为 、-、* 和 / 。每个操作数（运算对象）都可以是一个整数或…...

编程日记 2024/5/12 3:48:16

linux系统服务器中常见故障及排查方法

目录 故障1：系统无响应 故障2：网络连接问题 故障3：文件系统错误 故障4：软件包依赖问题 故障5：用户权限问题 故障6：服务无法正常工作 故障7：磁盘空间不足 故障8：内存不足 故障…...

编程日记 2024/5/12 3:47:15

产品人生（5）：从“敏捷开发”到“四化时间管理法”

人生如产品，产品映人生，借鉴产品思维，快速提升软技能！ 在互联网的敏捷开发实践中，经常会用到“流程化、模板化、清单化、不断优化”的思想来提升开发的效率和产品质量，并确保团队能够快速响应市场变化。大…...

编程日记 2024/5/12 3:46:14

超级好看的html网站维护源码

源码介绍 好看的html网站维护源码，源码由HTMLCSSJS组成，记事本打开源码文件可以进行内容文字之类的修改，双击html文件可以本地运行效果，也可以上传到服务器里面， 源码截图 源码下载 好看的html网站维护源码...

编程日记 2024/5/12 3:44:11

从零开始搭建Springboot项目脚手架2：配置文件、返回值、日志等

1、多个环境与配置文件 2、统一返回值 返回值包括两种场景：正常controller的返回、异常发生之后返回 正常controller的返回：通过在controller的默认返回Response实现 异常发生之后返回：通过全局异常处理统一捕获返回 首先创建类StatusCode…...

编程日记 2024/5/12 3:43:10

Java web第五次作业

1.在idea中配置好数据源 2、视频案例中只给出了查询所有结果的示例，请自己完成添加、删除、修改操作的代码。以下供参 考。 Delete("delete from emp where id#{id}") public void delete(Integer id); 测试代码 Test public void testDelete(){ empMa…...

编程日记 2024/5/12 3:42:09

Unity使用ToggleGroup对多个Toggle进行管理时，初始化默认选项失效的问题

问题描述： 在unity脚本的OnEnable中用代码设置Toggle集合中的其中一个对象的ison时，发现并没有根据设置发生变化。但是该Toggle的OnValueChange却发生过变化。 如果使用协程等待0.01s,那么对应组件的ison的修改才能生效，但是逐帧分析的话会发…...

编程日记 2024/5/12 3:41:07

Retrofit同步请求直接返回目标对象

Rxjava方式： // 创建 Retrofit 实例 Retrofit retrofit new Retrofit.Builder().baseUrl("https://api.example.com/").addConverterFactory(GsonConverterFactory.create()).addCallAdapterFactory(RxJava2CallAdapterFactory.create()).build();// 创…...

编程日记 2024/5/12 3:39:05

Android GPU渲染屏幕绘制显示基础概念（1）

Android GPU渲染屏幕绘制显示基础概念（1） Android中的图像生产者OpenGL，Skia，Vulkan将绘制的数据存放在图像缓冲区中，Android中的图像消费SurfaceFlinger从图像缓冲区将数据取出，进行加工及合成。 Surface…...

编程日记 2024/5/12 3:37:03

Mac电脑设置hosts的方法

hosts文件是什么 hosts文件是一个系统文件，通过绑定域名与ip的关系，当本机访问该域名时 从这个文件中如果找到了对应域名，则转发到对应ip；如果没有找到对应域名，则走默认的DNS公网解析。 好处： 加速访问…...

编程日记 2024/5/12 3:36:01

uniapp 对接腾讯云IM群组成员管理（增删改查）

UniApp 实战：腾讯云IM群组成员管理（增删改查） 一、前言 在社交类App开发中，群组成员管理是核心功能之一。本文将基于UniApp框架，结合腾讯云IM SDK，详细讲解如何实现群组成员的增删改查全流程。 权限校验…...

编程新知 2026/1/13 9:59:27

Objective-C常用命名规范总结

【OC】常用命名规范总结 文章目录 【OC】常用命名规范总结1.类名（Class Name)2.协议名（Protocol Name)3.方法名（Method Name)4.属性名（Property Name）5.局部变量/实例变量（Local / Instance Variables&…...

编程新知 2025/12/14 22:33:06

Python爬虫（一）：爬虫伪装

一、网站防爬机制概述 在当今互联网环境中，具有一定规模或盈利性质的网站几乎都实施了各种防爬措施。这些措施主要分为两大类： 身份验证机制：直接将未经授权的爬虫阻挡在外反爬技术体系：通过各种技术手段增加爬虫获取数据的难度…...

编程新知 2026/1/30 20:42:46

JUC笔记(上)-复习 涉及死锁 volatile synchronized CAS 原子操作

一、上下文切换 即使单核CPU也可以进行多线程执行代码，CPU会给每个线程分配CPU时间片来实现这个机制。时间片非常短，所以CPU会不断地切换线程执行，从而让我们感觉多个线程是同时执行的。时间片一般是十几毫秒(ms)。通过时间片分配算法执行。…...

编程新知 2026/1/31 23:25:09

【JavaWeb】Docker项目部署

引言 之前学习了Linux操作系统的常见命令，在Linux上安装软件，以及如何在Linux上部署一个单体项目，大多数同学都会有相同的感受，那就是麻烦。 核心体现在三点： 命令太多了，记不住 软件安装包名字复杂&…...

编程新知 2026/2/4 16:07:02

3-11单元格区域边界定位(End属性)学习笔记

返回一个Range 对象，只读。该对象代表包含源区域的区域上端下端左端右端的最后一个单元格。等同于按键 End 向上键(End(xlUp))、End向下键(End(xlDown))、End向左键(End(xlToLeft)End向右键(End(xlToRight)) 注意：它移动的位置必须是相连的有内容的单元格…...

编程新知 2026/1/20 19:15:45

比较数据迁移后MySQL数据库和OceanBase数据仓库中的表

设计一个MySQL数据库和OceanBase数据仓库的表数据比较的详细程序流程，两张表是相同的结构，都有整型主键id字段，需要每次从数据库分批取得2000条数据，用于比较，比较操作的同时可以再取2000条数据，等上一次比较完成之后，开始比较，直到比较完所有的数据。比较操作需要比较…...

编程新知 2025/9/14 5:35:46

MySQL：分区的基本使用

目录 一、什么是分区二、有什么作用三、分类四、创建分区五、删除分区 一、什么是分区 MySQL 分区（Partitioning）是一种将单张表的数据逻辑上拆分成多个物理部分的技术。这些物理部分（分区）可以独立存储、管理和优化，…...

编程新知 2026/2/2 18:52:32

解析奥地利 XARION激光超声检测系统：无膜光学麦克风 + 无耦合剂的技术协同优势及多元应用

在工业制造领域，无损检测（NDT)的精度与效率直接影响产品质量与生产安全。奥地利 XARION开发的激光超声精密检测系统，以非接触式光学麦克风技术为核心，打破传统检测瓶颈，为半导体、航空航天、汽车制造等行业提供了高灵敏…...

编程新知 2026/2/3 15:45:51

如何配置一个sql server使得其它用户可以通过excel odbc获取数据

要让其他用户通过 Excel 使用 ODBC 连接到 SQL Server 获取数据，你需要完成以下配置步骤： ✅ 一、在 SQL Server 端配置（服务器设置） 1. 启用 TCP/IP 协议 打开 “SQL Server 配置管理器”。导航到：SQL Server 网络配…...

编程新知 2025/8/25 19:37:12