当前位置： 首页 > news >正文

elasticSearch常见的面试题

news 2026/2/8 19:15:12

常见的面试问题

描述使用场景

es集群架构3个节点，根据不同的服务创建不同的索引，根据日期和环境，平均每天递增60*2，大约60Gb的数据。

调优技巧

原文参考：干货 | BAT等一线大厂 Elasticsearch面试题解读 - 掘金

设计阶段的调优

  1. 根据业务增长的需求，采取日期模版创建索引，通过roll over API实现滚动索引

定义条件，生成新的索引，但都指向一个别名

https://juejin.cn/post/6959744054905012231

  1. 根据别名对索引进行管理

  2. 凌晨对索引进行force_merge操作，释放空间

合并Lucene索引在每个分片中保存的分段数，强制合并减少分片中的分段数量

https://blog.csdn.net/weixin_43820556/article/details/122986027

  1. 冷热分离机制，热数据放在SSD，冷数据定期shrink操作，缩减存储

删除副本，只读索引，减少主分片的数量

https://blog.csdn.net/UbuntuTouch/article/details/109004225

  1. 使用curator进行索引的生命周期管理

对索引和快照进行管理，配置规则，定时任务调用

https://cloud.tencent.com/developer/article/1382110

  1. 仅针对需要分词的字段，选用合适的分词器

  2. Mapping阶段充分结合各个字段的属性，是否要检索、存储

写入调优

  1. 写入前refresh_interval=-1

默认情况下索引的refresh_interval为1秒,这意味着数据写1秒后就可以被搜索到,每次索引的 refresh 会产生一个新的 lucene 段,这会导致频繁的 segment merge 行为,如果你不需要这么高的搜索实时性,应该降低索引refresh 周期

  1. 采用bulk批量写入

  2. 使用自动生成的id

写入 doc 时如果是外部指定了 id,es 会先尝试读取原来doc的版本号, 判断是否需要更新,使用自动生成 doc id 可以避免这个环节

查询调优

  1. 禁用批量terms（分页）
  2. 数据量大时，先基于时间范围检索
  3. 充分利用倒排索引机制，keyword查询
  4. 合理的路由机制

索引数据多的调优和部署

动态索引

基于模板+时间+rollover api 滚动创建索引

存储层面

冷热数据分离存储，冷数据force_merge+shrink压缩

部署层面

合理的前期规划，动态增加节点缓解集群压力

master选举机制

基本前提

  1. 候选主节点才能成为主节点
  2. 最小主节点数防止脑裂
选举流程

索引文档流程

在这里插入图片描述

文档获取分片

文档id计算目标分片id

shard = hash(_routing) % (num_of_primary_shards)

相关文章：

elasticSearch常见的面试题

常见的面试问题 描述使用场景 es集群架构3个节点，根据不同的服务创建不同的索引，根据日期和环境，平均每天递增60*2，大约60Gb的数据。 调优技巧 原文参考：干货 | BAT等一线大厂 Elasticsearch面试题解读 - 掘金 设计阶…...

编程日记 2023/8/6 17:41:16

第一课-前提-Stable Diffusion 教程

学习 SD 的前提是电脑配置！ SD 参考配置： 建议选择台式机 i5 CPU, 内存16GB，N卡 RTX3060, 8G显存以上的配置（最低配） 在此基础上的配置越高越好。 比如，cpu i7 更好，显卡能有 RTX4090 更好，32显存要能有最好，嘿嘿嘿。 如何查看自己的显卡配置？ Win+R 输入 “dxdiag…...

编程日记 2023/8/6 17:40:13

Python 开发工具 Pycharm —— 使用技巧Lv.2

pydoc是python自带的一个文档生成工具，使用pydoc可以很方便的查看类和方法结构 本文主要介绍：1.查看文档的方法、2.html文档说明、3.注释方法、 一、查看文档的方法 **方法1：**启动本地服务，在web上查看文档 命令【python3 -m…...

编程日记 2023/8/6 17:39:08

代码随想录第39天 | 62. 不同路径、63.不同路径II

62. 不同路径 动态规划五部曲： dp[i][j] ：表示从（0 ，0）出发，到(i, j) 有dp[i][j]条不同的路径。想要求dp[i][j]，只能有两个方向来推导出来，即dp[i - 1][j] 和 dp[i][j - 1]。dp[i]…...

编程日记 2023/8/6 17:38:07

QMT入门—初识QMT

对于普通投资者来说，每天实时盯盘实在是无聊又无趣，特别是临时有事还会错过行情。如果能把自己的投资策略用代码实现，通过程序来自动买卖股票那该有多好，这样就不会错过行情也不会不按交易纪律来操作了。 解决办法有两种&#xf…...

编程日记 2023/8/6 17:37:05

C 语言的 return 语句

有返回值的函数要带 return 语句, return 后面是一个表达式, return 语句将表达式的值返回给主调函数. 一个函数也可以有多个 return 语句, 比如存在于不同的分支中, 但只能有一条 return 语句被执行, 然后程序的控制权就从被调函数传到主调函数. 对于有返回值但没有带 retur…...

编程日记 2023/8/6 17:36:04

企业级Vue路由角色权限应该怎么做?

角色权限 角色权限，简单来说就是登录的用户能看到系统的哪些页面，不能看到系统的哪些页面。一般是后台管理系统才会涉及到如此复杂的角色权限。 对于 vue 技术栈，实现角色权限一般有两种方式。 第一种是利用 beforeEach 全局前置守卫。 第…...

编程日记 2023/8/6 17:35:03

3.2.0 版本预告！Apache DolphinScheduler API 增强相关功能

Apache DolphinScheduler 3.2.0 版本即将发布，在此之前，为了让用户提前了解到大家所期待的新功能，我们制作了视频来”剧透“一些核心新发布。此前，我们比较全面地”剧透“的 3.2.0 版本的新功能，这次，我们来…...

编程日记 2023/8/6 17:34:02

测试工程师的工作

目录 1.何为软件测试工程师？ 2.软件测试工程师的职责？ 3.为什么要做软件测试？ 4.软件测试的前途如何？ 5.工具和思维谁更重要？ 6.测试和开发相差大吗？ 7.成为测试工程师的必备条件 8.测试的分类有哪…...

编程日记 2023/8/6 17:33:01

压力测试与测试工具jmeter的介绍

目录 一、性能指标 二、jmeter （一）JMeter 安装 （二）JMeter 压测示例 1、添加线程组 2、添加 HTTP 请求 3、添加监听器 4、启动压测&查看分析结果 （三）JMeter Address Already in use 错误解决 压力测…...

编程日记 2023/8/6 17:31:59

解析整型最大值(Integer.MIN_VALUE)溢出变为最小值(Integer.MAX_VALUE)

解析整型最大值(Integer.MIN_VALUE)溢出变为最小值(Integer.MAX_VALUE)结论分析 解析整型最大值(Integer.MIN_VALUE)溢出变为最小值(Integer.MAX_VALUE) 解析整型最大值(Integer.MIN_VALUE)溢出变为最小值(Integer.MAX_VALUE) ，java 二进制 最小值 减法 减1 结论 …...

编程日记 2023/8/6 17:30:58

【openpcdet】dbinfo内的信息

这就是kitti_dbinfos_train_sfd_seguv.pkl中【car】类别存储的信息。...

编程日记 2023/8/6 17:28:56

clickhouse查询缓存

为了实现最佳性能，数据库需要优化其内部数据存储和处理管道的每一步。但是数据库执行的最好的工作是根本没有完成的工作！缓存是一种特别流行的技术，它通过存储早期计算的结果或远程数据来避免不必要的工作，而访问这些数据的成本往…...

编程日记 2023/8/6 17:27:55

vue中使用Base64加密、解密以及des加密、解密

Base64加密、解密 第一步： npm install js-base64 --save 下载依赖 第二步： 直接引入即可 import { Base64 } from js-base64; 第三步： Base64.encode(xxxx) 其中 .encode() 加密 .decode() 解密 中间不需要使用加密的key等…...

编程日记 2023/8/6 17:26:53

关于丢失安卓秘钥的撞sha-1值的办法

实验得知，安卓sha-1和keytool生成秘钥签名文件的时间有关。 前提条件是，开发者必须知道生成秘钥的所有细节参数 以下是撞文件代码（重复生成） import time import osidx 0while True:cmdkeytool -keyalg RSA -genkeypair -alia…...

编程日记 2023/8/6 17:25:48

maven如何打包你会吗？

1.新建一个maven项目&#xff0c;在main/java中建立Main类 public class Main {public static void main(String[] args) {System.out.println("hello java ...");} } 2.添加依赖&#xff0c;使其成为可执行包 <build><plugins><!--打包成为可执行包-…...

编程日记 2023/8/6 17:24:47

idea 控制台 打印 Tomcat日志Tomcat Catalina Log控制台乱码问题

修改tomcat的日志配置文件 conf一>logging.properties 修改【1catalina.org.apache.juli.AsyncFileHandler.encoding】的值为gbk 1catalina.org.apache.juli.AsyncFileHandler.level FINE 1catalina.org.apache.juli.AsyncFileHandler.directory ${catalina.base}/logs 1…...

编程日记 2023/8/6 17:23:46

python我的世界

我的世界不知道大家有没有玩过&#xff0c;今天博主用python的Ursina库复刻了我的世界给大家分享 安装Ursina pip install ursina 导入Ursina from ursina import * from ursina.prefabs.first_person_controller import FirstPersonController 创建app app Ursina() 创建Voxe…...

编程日记 2023/8/6 17:22:44

SpringBoot+vue 大文件分片下载

学习链接 SpringBootvue文件上传&下载&预览&大文件分片上传&文件上传进度 Blob & File & FileReader & ArrayBuffer VueSpringBoot实现文件的分片下载 video标签学习 & xgplayer视频播放器分段播放mp4&#xff08;Range请求交互过程可以参…...

编程日记 2023/8/6 17:21:43

scanf函数读取数据 清空缓冲区

scanf函数读取数据&清空缓冲区 scanf 从输入缓冲区读取数据数据的接收数据存入缓冲区scanf 中%d读取数据scanf中%c读取数据 清空输入缓冲区例子用getchar()吸收回车练习 scanf 从输入缓冲区读取数据 首先&#xff0c;要清楚的是&#xff0c;scanf在读取数据的时候&#xff…...

编程日记 2023/8/6 17:20:41

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别，但在其他电脑上正常工作时，问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤，帮助你快速找到故障原因： 背景： 一个M-pard（铭豹）扩展坞的网卡突然无法识别了，扩展出来的三个USB接口正常。…...

编程新知 2026/2/8 4:37:22

【力扣数据库知识手册笔记】索引

索引 索引的优缺点 优点1. 通过创建唯一性索引&#xff0c;可以保证数据库表中每一行数据的唯一性。2. 可以加快数据的检索速度&#xff08;创建索引的主要原因&#xff09;。3. 可以加速表和表之间的连接&#xff0c;实现数据的参考完整性。4. 可以在查询过程中&#xff0c;…...

编程新知 2026/1/25 4:36:37

Oracle查询表空间大小

1 查询数据库中所有的表空间以及表空间所占空间的大小 SELECTtablespace_name,sum( bytes ) / 1024 / 1024 FROMdba_data_files GROUP BYtablespace_name; 2 Oracle查询表空间大小及每个表所占空间的大小 SELECTtablespace_name,file_id,file_name,round( bytes / ( 1024 …...

编程新知 2025/11/8 0:24:13

解决Ubuntu22.04 VMware失败的问题 ubuntu入门之二十八

现象1 打开VMware失败 Ubuntu升级之后打开VMware上报需要安装vmmon和vmnet&#xff0c;点击确认后如下提示 最终上报fail 解决方法 内核升级导致&#xff0c;需要在新内核下重新下载编译安装 查看版本 $ vmware -v VMware Workstation 17.5.1 build-23298084$ lsb_release…...

编程新知 2026/1/24 10:07:40

C++ 基础特性深度解析

目录 引言 一、命名空间&#xff08;namespace&#xff09; C 中的命名空间​ 与 C 语言的对比​ 二、缺省参数​ C 中的缺省参数​ 与 C 语言的对比​ 三、引用&#xff08;reference&#xff09;​ C 中的引用​ 与 C 语言的对比​ 四、inline&#xff08;内联函数…...

编程新知 2026/1/15 4:25:16

力扣-35.搜索插入位置

题目描述 给定一个排序数组和一个目标值&#xff0c;在数组中找到目标值&#xff0c;并返回其索引。如果目标值不存在于数组中&#xff0c;返回它将会被按顺序插入的位置。 请必须使用时间复杂度为 O(log n) 的算法。 class Solution {public int searchInsert(int[] nums, …...

编程新知 2025/12/3 3:22:43

Web中间件--tomcat学习

Web中间件–tomcat Java虚拟机详解 什么是JAVA虚拟机 Java虚拟机是一个抽象的计算机&#xff0c;它可以执行Java字节码。Java虚拟机是Java平台的一部分&#xff0c;Java平台由Java语言、Java API和Java虚拟机组成。Java虚拟机的主要作用是将Java字节码转换为机器代码&#x…...

编程新知 2025/9/13 18:20:34

4. TypeScript 类型推断与类型组合

一、类型推断 (一) 什么是类型推断 TypeScript 的类型推断会根据变量、函数返回值、对象和数组的赋值和使用方式&#xff0c;自动确定它们的类型。 这一特性减少了显式类型注解的需要&#xff0c;在保持类型安全的同时简化了代码。通过分析上下文和初始值&#xff0c;TypeSc…...

编程新知 2025/11/2 1:48:43

Unity UGUI Button事件流程

场景结构 测试代码 public class TestBtn : MonoBehaviour {void Start(){var btn GetComponent<Button>();btn.onClick.AddListener(OnClick);}private void OnClick(){Debug.Log("666");}}当添加事件时 // 实例化一个ButtonClickedEvent的事件 [Formerl…...

编程新知 2026/2/1 14:51:21

数据库正常，但后端收不到数据原因及解决

从代码和日志来看&#xff0c;后端SQL查询确实返回了数据&#xff0c;但最终user对象却为null。这表明查询结果没有正确映射到User对象上。 在前后端分离&#xff0c;并且ai辅助开发的时候&#xff0c;很容易出现前后端变量名不一致情况&#xff0c;还不报错&#xff0c;只是单…...

编程新知 2026/1/1 2:56:38