当前位置： 首页 > news >正文

elasticsearch文档读写原理大致分析一下

news 2025/7/13 9:23:17

 文档写简介

  1.    客户端通过hash选择一个node发送请求，专业术语叫做协调节点
  2.    协调节点会对document进行路由，将请求转发给对应的primary shard
  3.    primary shard在处理完数据后，会将document 同步到所有replica shard 
  4.    协调节点将处理结果返回给客户端

文档写底层原理

  primary shard 

  •     写入document 到内存buffer中
  •     生成一个translog日志文件

  内存buffer

  •     内存buffer满了 将数据refresh到一个新的segment file文件中
  •     定时1秒将数据refresh到一个新的segment file文件中

   segment file

  •      生成 segment file的时候就会生成到排序索引
  •      segment file 文件数量到达一定数量时会进行merge行为

  translog

    translog会持续保留

Elasticsearch 读取过程

  • 客户端发送请求到任意一个node节点，接下来改节点会成为协调节点
  • 协调节点对document进行路由 将请求节点转发到对应的node上
  •  接收请求的node返回document给协调节点
  •  协调节点 返回document给客户端

相关文章：

elasticsearch文档读写原理大致分析一下

文档写简介 客户端通过hash选择一个node发送请求，专业术语叫做协调节点 协调节点会对document进行路由，将请求转发给对应的primary shard primary shard在处理完数据后，会将document 同步到所有replica shard 协调节点将处理结果返回给…...

编程日记 2024/5/12 4:04:34

1 开发环境

开发环境（platformio python arduino框架）的搭建可以参考b站upESP32超详细教程-使用VSCode（基于Arduino框架）哔哩哔哩bilibili 这里推荐离线安装esp32库文件，要不然要等很久（b站教程很多） 搭…...

编程日记 2024/5/12 4:03:33

云视频，也称为视频云服务，是一种基于云计算技术理念的视频流媒体服务

云视频，也称为视频云服务，是一种基于云计算技术理念的视频流媒体服务。它基于云计算商业模式，为视频网络平台服务提供强大的支持。在云平台上，所有的视频供应商、代理商、策划服务商、制作商、行业协会、管理机构、行业媒体和法律…...

编程日记 2024/5/12 4:02:31

[Vision Board创客营]--使用openmv识别阿尼亚

文章目录 [Vision Board创客营]使用openmv识别阿尼亚介绍环境搭建训练模型上传图片生成模型 使用结语 [Vision Board创客营]使用openmv识别阿尼亚 🚀🚀五一和女朋友去看了《间谍过家家 代号：白》，入坑二刺螈（QQ头像也换…...

编程日记 2024/5/12 4:00:29

【Linux：lesson1】的基本指令

🎁个人主页：我们的五年 🔍系列专栏：Linux课程学习 🌷追光的人，终会万丈光芒 🎉欢迎大家点赞👍评论📝收藏⭐文章 目录 🚗打开Xshell，登陆root…...

编程日记 2024/5/12 3:59:28

20240511日记

今天工作内容： 1.二期2号机EAP测试 2.二期开门机器暂停（停轴，停流水线电机），关闭门后继续功能测试 3.针点位偏移还需要调整，未进行大批量验证是否偏移（S3模板点位测试，两台机各焊…...

编程日记 2024/5/12 3:58:27

蓝桥杯成绩已出

蓝桥杯的成绩早就已经出来了，虽然没有十分惊艳 ，但是对于最终的结果我是心满意足的，感谢各位的陪伴，关于蓝桥杯的刷题笔记我已经坚持更新了49篇，但是现在即将会告别一段落，人生即将进入下一个规划。我们一起…...

编程日记 2024/5/12 3:55:23

.kat6.l6st6r勒索病毒数据怎么处理|数据解密恢复

导言： 在数字时代的洪流中，网络安全领域的新挑战层出不穷。近期，.kat6.l6st6r勒索病毒的出现再次打破了传统安全防护的界限。这种新型勒索病毒不仅具有高超的加密技术，更以其独特的传播方式和隐蔽性，给全球用户带来了…...

编程日记 2024/5/12 3:54:22

Spring Batch 是什么？主要用于什么场景？

Spring Batch是一个开源的、基于Spring框架的批量处理框架，它提供了一系列用于批量数据处理的工具和API。Spring Batch的主要目标是简化和标准化批量数据的处理过程，使得开发者可以更加专注于业务逻辑的实现，而不是批量处理的复杂性。 Sprin…...

编程日记 2024/5/12 3:52:20

SQL-慢查询的定位及优化

定位慢查询sql 启用慢查询日志： 确保MySQL实例已经启用了慢查询日志功能。可以通过以下命令查看是否启用： SHOW VARIABLES LIKE slow_query_log;如果未启用，可以通过以下命令启用： SET GLOBAL slow_query_log ON;配置慢查询日志&…...

编程日记 2024/5/12 3:51:19

练习题（2024/5/11）

1逆波兰表达式求值 给你一个字符串数组 tokens ，表示一个根据 逆波兰表示法 表示的算术表达式。 请你计算该表达式。返回一个表示表达式值的整数。 注意： 有效的算符为 、-、* 和 / 。每个操作数（运算对象）都可以是一个整数或…...

编程日记 2024/5/12 3:48:16

linux系统服务器中常见故障及排查方法

目录 故障1：系统无响应 故障2：网络连接问题 故障3：文件系统错误 故障4：软件包依赖问题 故障5：用户权限问题 故障6：服务无法正常工作 故障7：磁盘空间不足 故障8：内存不足 故障…...

编程日记 2024/5/12 3:47:15

产品人生（5）：从“敏捷开发”到“四化时间管理法”

人生如产品，产品映人生，借鉴产品思维，快速提升软技能！ 在互联网的敏捷开发实践中，经常会用到“流程化、模板化、清单化、不断优化”的思想来提升开发的效率和产品质量，并确保团队能够快速响应市场变化。大…...

编程日记 2024/5/12 3:46:14

超级好看的html网站维护源码

源码介绍 好看的html网站维护源码，源码由HTMLCSSJS组成，记事本打开源码文件可以进行内容文字之类的修改，双击html文件可以本地运行效果，也可以上传到服务器里面， 源码截图 源码下载 好看的html网站维护源码...

编程日记 2024/5/12 3:44:11

从零开始搭建Springboot项目脚手架2：配置文件、返回值、日志等

1、多个环境与配置文件 2、统一返回值 返回值包括两种场景：正常controller的返回、异常发生之后返回 正常controller的返回：通过在controller的默认返回Response实现 异常发生之后返回：通过全局异常处理统一捕获返回 首先创建类StatusCode…...

编程日记 2024/5/12 3:43:10

Java web第五次作业

1.在idea中配置好数据源 2、视频案例中只给出了查询所有结果的示例，请自己完成添加、删除、修改操作的代码。以下供参 考。 Delete("delete from emp where id#{id}") public void delete(Integer id); 测试代码 Test public void testDelete(){ empMa…...

编程日记 2024/5/12 3:42:09

Unity使用ToggleGroup对多个Toggle进行管理时，初始化默认选项失效的问题

问题描述： 在unity脚本的OnEnable中用代码设置Toggle集合中的其中一个对象的ison时，发现并没有根据设置发生变化。但是该Toggle的OnValueChange却发生过变化。 如果使用协程等待0.01s,那么对应组件的ison的修改才能生效，但是逐帧分析的话会发…...

编程日记 2024/5/12 3:41:07

Retrofit同步请求直接返回目标对象

Rxjava方式： // 创建 Retrofit 实例 Retrofit retrofit new Retrofit.Builder().baseUrl("https://api.example.com/").addConverterFactory(GsonConverterFactory.create()).addCallAdapterFactory(RxJava2CallAdapterFactory.create()).build();// 创…...

编程日记 2024/5/12 3:39:05

Android GPU渲染屏幕绘制显示基础概念（1）

Android GPU渲染屏幕绘制显示基础概念（1） Android中的图像生产者OpenGL，Skia，Vulkan将绘制的数据存放在图像缓冲区中，Android中的图像消费SurfaceFlinger从图像缓冲区将数据取出，进行加工及合成。 Surface…...

编程日记 2024/5/12 3:37:03

Mac电脑设置hosts的方法

hosts文件是什么 hosts文件是一个系统文件，通过绑定域名与ip的关系，当本机访问该域名时 从这个文件中如果找到了对应域名，则转发到对应ip；如果没有找到对应域名，则走默认的DNS公网解析。 好处： 加速访问…...

编程日记 2024/5/12 3:36:01

未来机器人的大脑：如何用神经网络模拟器实现更智能的决策？

编辑：陈萍萍的公主一点人工一点智能 未来机器人的大脑：如何用神经网络模拟器实现更智能的决策？RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战，在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…...

编程新知 2025/7/13 9:04:17

地震勘探——干扰波识别、井中地震时距曲线特点

目录 干扰波识别反射波地震勘探的干扰波 井中地震时距曲线特点 干扰波识别 有效波：可以用来解决所提出的地质任务的波；干扰波：所有妨碍辨认、追踪有效波的其他波。 地震勘探中，有效波和干扰波是相对的。例如，在反射波…...

编程新知 2025/7/1 10:09:55

Docker 运行 Kafka 带 SASL 认证教程

Docker 运行 Kafka 带 SASL 认证教程 Docker 运行 Kafka 带 SASL 认证教程一、说明二、环境准备三、编写 Docker Compose 和 jaas文件docker-compose.yml代码说明：server_jaas.conf 四、启动服务五、验证服务六、连接kafka服务七、总结 Docker 运行 Kafka 带 SASL 认…...

编程新知 2025/7/12 20:10:29

无法与IP建立连接，未能下载VSCode服务器

如题，在远程连接服务器的时候突然遇到了这个提示。 查阅了一圈，发现是VSCode版本自动更新惹的祸！！！ 在VSCode的帮助->关于这里发现前几天VSCode自动更新了，我的版本号变成了1.100.3 才导致了远程连接出…...

编程新知 2025/7/11 21:53:07

pam_env.so模块配置解析

在PAM（Pluggable Authentication Modules）配置中， /etc/pam.d/su 文件相关配置含义如下： 配置解析 auth required pam_env.so1. 字段分解 字段值说明模块类型auth认证类模块，负责验证用户身份&am…...

编程新知 2025/7/7 3:31:35

SpringAI实战：ChatModel智能对话全解

一、引言：Spring AI 与 Chat Model 的核心价值 🚀 在 Java 生态中集成大模型能力，Spring AI 提供了高效的解决方案 🤖。其中 Chat Model 作为核心交互组件，通过标准化接口简化了与大语言模型（LLM&#xff0…...

编程新知 2025/7/6 16:11:09

基于鸿蒙(HarmonyOS5)的打车小程序

1. 开发环境准备 安装DevEco Studio (鸿蒙官方IDE)配置HarmonyOS SDK申请开发者账号和必要的API密钥 2. 项目结构设计 ├── entry │ ├── src │ │ ├── main │ │ │ ├── ets │ │ │ │ ├── pages │ │ │ │ │ ├── H…...

编程新知 2025/7/7 16:04:22

用递归算法解锁「子集」问题 —— LeetCode 78题解析

文章目录 一、题目介绍二、递归思路详解：从决策树开始理解三、解法一：二叉决策树 DFS四、解法二：组合式回溯写法（推荐）五、解法对比 递归算法是编程中一种非常强大且常见的思想，它能够优雅地解决很多复杂的…...

编程新知 2025/7/7 18:30:50

用 Rust 重写 Linux 内核模块实战：迈向安全内核的新篇章

用 Rust 重写 Linux 内核模块实战：迈向安全内核的新篇章 ​​摘要：​​ 操作系统内核的安全性、稳定性至关重要。传统 Linux 内核模块开发长期依赖于 C 语言，受限于 C 语言本身的内存安全和并发安全问题，开发复杂模块极易引入难以…...

编程新知 2025/7/7 20:54:28

云原生安全实战：API网关Envoy的鉴权与限流详解

🔥「炎码工坊」技术弹药已装填！ 点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】 一、基础概念 1. API网关 作为微服务架构的统一入口，负责路由转发、安全控制、流量管理等核心功能。 2. Envoy 由Lyft开源的高性能云原生…...

编程新知 2025/7/10 7:33:55