当前位置： 首页 > news >正文

elasticsearch文档读写原理大致分析一下

news 2025/12/14 1:59:41

 文档写简介

  1.    客户端通过hash选择一个node发送请求，专业术语叫做协调节点
  2.    协调节点会对document进行路由，将请求转发给对应的primary shard
  3.    primary shard在处理完数据后，会将document 同步到所有replica shard 
  4.    协调节点将处理结果返回给客户端

文档写底层原理

  primary shard 

  •     写入document 到内存buffer中
  •     生成一个translog日志文件

  内存buffer

  •     内存buffer满了 将数据refresh到一个新的segment file文件中
  •     定时1秒将数据refresh到一个新的segment file文件中

   segment file

  •      生成 segment file的时候就会生成到排序索引
  •      segment file 文件数量到达一定数量时会进行merge行为

  translog

    translog会持续保留

Elasticsearch 读取过程

  • 客户端发送请求到任意一个node节点，接下来改节点会成为协调节点
  • 协调节点对document进行路由 将请求节点转发到对应的node上
  •  接收请求的node返回document给协调节点
  •  协调节点 返回document给客户端

相关文章：

elasticsearch文档读写原理大致分析一下

文档写简介 客户端通过hash选择一个node发送请求，专业术语叫做协调节点 协调节点会对document进行路由，将请求转发给对应的primary shard primary shard在处理完数据后，会将document 同步到所有replica shard 协调节点将处理结果返回给…...

编程日记 2024/5/12 4:04:34

1 开发环境

开发环境（platformio python arduino框架）的搭建可以参考b站upESP32超详细教程-使用VSCode（基于Arduino框架）哔哩哔哩bilibili 这里推荐离线安装esp32库文件，要不然要等很久（b站教程很多） 搭…...

编程日记 2024/5/12 4:03:33

云视频，也称为视频云服务，是一种基于云计算技术理念的视频流媒体服务

云视频，也称为视频云服务，是一种基于云计算技术理念的视频流媒体服务。它基于云计算商业模式，为视频网络平台服务提供强大的支持。在云平台上，所有的视频供应商、代理商、策划服务商、制作商、行业协会、管理机构、行业媒体和法律…...

编程日记 2024/5/12 4:02:31

[Vision Board创客营]--使用openmv识别阿尼亚

文章目录 [Vision Board创客营]使用openmv识别阿尼亚介绍环境搭建训练模型上传图片生成模型 使用结语 [Vision Board创客营]使用openmv识别阿尼亚 🚀🚀五一和女朋友去看了《间谍过家家 代号：白》，入坑二刺螈（QQ头像也换…...

编程日记 2024/5/12 4:00:29

【Linux：lesson1】的基本指令

🎁个人主页：我们的五年 🔍系列专栏：Linux课程学习 🌷追光的人，终会万丈光芒 🎉欢迎大家点赞👍评论📝收藏⭐文章 目录 🚗打开Xshell，登陆root…...

编程日记 2024/5/12 3:59:28

20240511日记

今天工作内容： 1.二期2号机EAP测试 2.二期开门机器暂停（停轴，停流水线电机），关闭门后继续功能测试 3.针点位偏移还需要调整，未进行大批量验证是否偏移（S3模板点位测试，两台机各焊…...

编程日记 2024/5/12 3:58:27

蓝桥杯成绩已出

蓝桥杯的成绩早就已经出来了，虽然没有十分惊艳 ，但是对于最终的结果我是心满意足的，感谢各位的陪伴，关于蓝桥杯的刷题笔记我已经坚持更新了49篇，但是现在即将会告别一段落，人生即将进入下一个规划。我们一起…...

编程日记 2024/5/12 3:55:23

.kat6.l6st6r勒索病毒数据怎么处理|数据解密恢复

导言： 在数字时代的洪流中，网络安全领域的新挑战层出不穷。近期，.kat6.l6st6r勒索病毒的出现再次打破了传统安全防护的界限。这种新型勒索病毒不仅具有高超的加密技术，更以其独特的传播方式和隐蔽性，给全球用户带来了…...

编程日记 2024/5/12 3:54:22

Spring Batch 是什么？主要用于什么场景？

Spring Batch是一个开源的、基于Spring框架的批量处理框架，它提供了一系列用于批量数据处理的工具和API。Spring Batch的主要目标是简化和标准化批量数据的处理过程，使得开发者可以更加专注于业务逻辑的实现，而不是批量处理的复杂性。 Sprin…...

编程日记 2024/5/12 3:52:20

SQL-慢查询的定位及优化

定位慢查询sql 启用慢查询日志： 确保MySQL实例已经启用了慢查询日志功能。可以通过以下命令查看是否启用： SHOW VARIABLES LIKE slow_query_log;如果未启用，可以通过以下命令启用： SET GLOBAL slow_query_log ON;配置慢查询日志&…...

编程日记 2024/5/12 3:51:19

练习题（2024/5/11）

1逆波兰表达式求值 给你一个字符串数组 tokens ，表示一个根据 逆波兰表示法 表示的算术表达式。 请你计算该表达式。返回一个表示表达式值的整数。 注意： 有效的算符为 、-、* 和 / 。每个操作数（运算对象）都可以是一个整数或…...

编程日记 2024/5/12 3:48:16

linux系统服务器中常见故障及排查方法

目录 故障1：系统无响应 故障2：网络连接问题 故障3：文件系统错误 故障4：软件包依赖问题 故障5：用户权限问题 故障6：服务无法正常工作 故障7：磁盘空间不足 故障8：内存不足 故障…...

编程日记 2024/5/12 3:47:15

产品人生（5）：从“敏捷开发”到“四化时间管理法”

人生如产品，产品映人生，借鉴产品思维，快速提升软技能！ 在互联网的敏捷开发实践中，经常会用到“流程化、模板化、清单化、不断优化”的思想来提升开发的效率和产品质量，并确保团队能够快速响应市场变化。大…...

编程日记 2024/5/12 3:46:14

超级好看的html网站维护源码

源码介绍 好看的html网站维护源码，源码由HTMLCSSJS组成，记事本打开源码文件可以进行内容文字之类的修改，双击html文件可以本地运行效果，也可以上传到服务器里面， 源码截图 源码下载 好看的html网站维护源码...

编程日记 2024/5/12 3:44:11

从零开始搭建Springboot项目脚手架2：配置文件、返回值、日志等

1、多个环境与配置文件 2、统一返回值 返回值包括两种场景：正常controller的返回、异常发生之后返回 正常controller的返回：通过在controller的默认返回Response实现 异常发生之后返回：通过全局异常处理统一捕获返回 首先创建类StatusCode…...

编程日记 2024/5/12 3:43:10

Java web第五次作业

1.在idea中配置好数据源 2、视频案例中只给出了查询所有结果的示例，请自己完成添加、删除、修改操作的代码。以下供参 考。 Delete("delete from emp where id#{id}") public void delete(Integer id); 测试代码 Test public void testDelete(){ empMa…...

编程日记 2024/5/12 3:42:09

Unity使用ToggleGroup对多个Toggle进行管理时，初始化默认选项失效的问题

问题描述： 在unity脚本的OnEnable中用代码设置Toggle集合中的其中一个对象的ison时，发现并没有根据设置发生变化。但是该Toggle的OnValueChange却发生过变化。 如果使用协程等待0.01s,那么对应组件的ison的修改才能生效，但是逐帧分析的话会发…...

编程日记 2024/5/12 3:41:07

Retrofit同步请求直接返回目标对象

Rxjava方式： // 创建 Retrofit 实例 Retrofit retrofit new Retrofit.Builder().baseUrl("https://api.example.com/").addConverterFactory(GsonConverterFactory.create()).addCallAdapterFactory(RxJava2CallAdapterFactory.create()).build();// 创…...

编程日记 2024/5/12 3:39:05

Android GPU渲染屏幕绘制显示基础概念（1）

Android GPU渲染屏幕绘制显示基础概念（1） Android中的图像生产者OpenGL，Skia，Vulkan将绘制的数据存放在图像缓冲区中，Android中的图像消费SurfaceFlinger从图像缓冲区将数据取出，进行加工及合成。 Surface…...

编程日记 2024/5/12 3:37:03

Mac电脑设置hosts的方法

hosts文件是什么 hosts文件是一个系统文件，通过绑定域名与ip的关系，当本机访问该域名时 从这个文件中如果找到了对应域名，则转发到对应ip；如果没有找到对应域名，则走默认的DNS公网解析。 好处： 加速访问…...

编程日记 2024/5/12 3:36:01

龙虎榜——20250610

上证指数放量收阴线，个股多数下跌，盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型，指数短线有调整的需求，大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的：御银股份、雄帝科技 驱动…...

编程新知 2025/12/13 6:01:30

谷歌浏览器插件

项目中有时候会用到插件 sync-cookie-extension1.0.0：开发环境同步测试 cookie 至 localhost，便于本地请求服务携带 cookie 参考地址：https://juejin.cn/post/7139354571712757767 里面有源码下载下来，加在到扩展即可使用FeHelp…...

编程新知 2025/8/16 3:55:30

拉力测试cuda pytorch 把 4070显卡拉满

import torch import timedef stress_test_gpu(matrix_size16384, duration300):"""对GPU进行压力测试，通过持续的矩阵乘法来最大化GPU利用率参数:matrix_size: 矩阵维度大小，增大可提高计算复杂度duration: 测试持续时间（秒&…...

编程新知 2025/12/7 12:35:20

Java + Spring Boot + Mybatis 实现批量插入

在 Java 中使用 Spring Boot 和 MyBatis 实现批量插入可以通过以下步骤完成。这里提供两种常用方法&#xff1a;使用 MyBatis 的 <foreach> 标签和批处理模式&#xff08;ExecutorType.BATCH&#xff09;。 方法一&#xff1a;使用 XML 的 <foreach> 标签&#xff…...

编程新知 2025/6/11 2:44:05

深入浅出深度学习基础：从感知机到全连接神经网络的核心原理与应用

文章目录 前言一、感知机 (Perceptron)1.1 基础介绍1.1.1 感知机是什么&#xff1f;1.1.2 感知机的工作原理 1.2 感知机的简单应用&#xff1a;基本逻辑门1.2.1 逻辑与 (Logic AND)1.2.2 逻辑或 (Logic OR)1.2.3 逻辑与非 (Logic NAND) 1.3 感知机的实现1.3.1 简单实现 (基于阈…...

编程新知 2025/12/11 8:48:18

【从零开始学习JVM | 第四篇】类加载器和双亲委派机制(高频面试题)

前言&#xff1a; 双亲委派机制对于面试这块来说非常重要&#xff0c;在实际开发中也是经常遇见需要打破双亲委派的需求&#xff0c;今天我们一起来探索一下什么是双亲委派机制&#xff0c;在此之前我们先介绍一下类的加载器。 目录 ​编辑 前言&#xff1a; 类加载器 1. …...

编程新知 2025/12/6 3:15:11

Rust 开发环境搭建

环境搭建 1、开发工具RustRover 或者vs code 2、Cygwin64 安装 https://cygwin.com/install.html 在工具终端执行&#xff1a; rustup toolchain install stable-x86_64-pc-windows-gnu rustup default stable-x86_64-pc-windows-gnu ​ 2、Hello World fn main() { println…...

编程新知 2025/12/6 20:33:44

Leetcode33（ 搜索旋转排序数组）

题目表述 整数数组 nums 按升序排列&#xff0c;数组中的值 互不相同 。 在传递给函数之前&#xff0c;nums 在预先未知的某个下标 k&#xff08;0 < k < nums.length&#xff09;上进行了 旋转&#xff0c;使数组变为 [nums[k], nums[k1], …, nums[n-1], nums[0], nu…...

编程新知 2025/11/29 0:44:34

HybridVLA——让单一LLM同时具备扩散和自回归动作预测能力：训练时既扩散也回归，但推理时则扩散

前言 如上一篇文章《dexcap升级版之DexWild》中的前言部分所说&#xff0c;在叠衣服的过程中&#xff0c;我会带着团队对比各种模型、方法、策略&#xff0c;毕竟针对各个场景始终寻找更优的解决方案&#xff0c;是我个人和我司「七月在线」的职责之一 且个人认为&#xff0c…...

编程新知 2025/12/12 20:25:11

LangChain 中的文档加载器（Loader）与文本切分器（Splitter）详解《二》

&#x1f9e0; LangChain 中 TextSplitter 的使用详解&#xff1a;从基础到进阶&#xff08;附代码&#xff09; 一、前言 在处理大规模文本数据时&#xff0c;特别是在构建知识库或进行大模型训练与推理时&#xff0c;文本切分&#xff08;Text Splitting&#xff09; 是一个…...

编程新知 2025/10/10 9:24:44