elasticSearch写入原理

elasticSearch写入原理

最近学习完了es相关的课程整理除了es的核心内容，学习这东西知其然知其所以然，自己按照自己的理解整理了es相关的面试题。先热个身，整理一下es的写入原理，有不对的地方请大家指正。

这些原理的东西我觉得还是流程图比较好理解一点，先从流程图开始吧

一、es 写入流程图展示

二、详细步骤

1. 客户端写入数据先到内存的buffer当中

2. 当内存buffer达到一定容量的阈值或者设定时间的阈值时，内存buffer的数据会refresh到segment file 文件当中，并且与此同时会向translog文件中写入数据。(默认refresh的时间是1s)

   == 补充==

   什么是segment file文件？

   每一个segment file 文件就是一个倒排索引文件.

   ========================================================================

   refresh 操作是发生在JVM当中的肯定会消耗服务器的堆内存，refresh的次数越好越好

​

3. 当segment file文件达到一定的阈值会触发Commit point ,把segment 的文件merge 写入到OSCache 文件当中，并且会把当谢写入到segment file文件标记为删除

   == 补充 ==

   Commit Point

   1.选择相似的segment file文件进行合并

   2.flush数据

   3.创建新的commit point状态标记新的segment file 文件，删除旧的commit point

   4.将新的commit point 搜索状态打开

   5.删除旧的segment file 文件

4. 写入到OS Cache 之后会迅速做出反应 segment file文件的状态就会变成open,这样数据就可以查询了

   == 补充 ==

   OS Cache 是基于物理内存.写入到OSCache之后要清空buffer

   OS Cache 是基于物理内存.写入到OSCache之后要清空buffer

5. 当OS Cache的数据到达一定的阈值或者每隔30分钟 ，就会执行commit操作把OS Cache中的数据写入到OS Disk当中，并且清空Translog 文件。