当前位置： 首页 > news >正文

elasticSearch常见的面试题

news 文章来源：https://blog.csdn.net/weixin_55768452/article/details/132095744 2025/5/20 3:06:07

常见的面试问题

描述使用场景

es集群架构3个节点，根据不同的服务创建不同的索引，根据日期和环境，平均每天递增60*2，大约60Gb的数据。

调优技巧

原文参考：干货 | BAT等一线大厂 Elasticsearch面试题解读 - 掘金

设计阶段的调优

  1. 根据业务增长的需求，采取日期模版创建索引，通过roll over API实现滚动索引

定义条件，生成新的索引，但都指向一个别名

https://juejin.cn/post/6959744054905012231

  1. 根据别名对索引进行管理

  2. 凌晨对索引进行force_merge操作，释放空间

合并Lucene索引在每个分片中保存的分段数，强制合并减少分片中的分段数量

https://blog.csdn.net/weixin_43820556/article/details/122986027

  1. 冷热分离机制，热数据放在SSD，冷数据定期shrink操作，缩减存储

删除副本，只读索引，减少主分片的数量

https://blog.csdn.net/UbuntuTouch/article/details/109004225

  1. 使用curator进行索引的生命周期管理

对索引和快照进行管理，配置规则，定时任务调用

https://cloud.tencent.com/developer/article/1382110

  1. 仅针对需要分词的字段，选用合适的分词器

  2. Mapping阶段充分结合各个字段的属性，是否要检索、存储

写入调优

  1. 写入前refresh_interval=-1

默认情况下索引的refresh_interval为1秒,这意味着数据写1秒后就可以被搜索到,每次索引的 refresh 会产生一个新的 lucene 段,这会导致频繁的 segment merge 行为,如果你不需要这么高的搜索实时性,应该降低索引refresh 周期

  1. 采用bulk批量写入

  2. 使用自动生成的id

写入 doc 时如果是外部指定了 id,es 会先尝试读取原来doc的版本号, 判断是否需要更新,使用自动生成 doc id 可以避免这个环节

查询调优

  1. 禁用批量terms（分页）
  2. 数据量大时，先基于时间范围检索
  3. 充分利用倒排索引机制，keyword查询
  4. 合理的路由机制

索引数据多的调优和部署

动态索引

基于模板+时间+rollover api 滚动创建索引

存储层面

冷热数据分离存储，冷数据force_merge+shrink压缩

部署层面

合理的前期规划，动态增加节点缓解集群压力

master选举机制

基本前提

  1. 候选主节点才能成为主节点
  2. 最小主节点数防止脑裂
选举流程

索引文档流程

在这里插入图片描述

文档获取分片

文档id计算目标分片id

shard = hash(_routing) % (num_of_primary_shards)

相关文章：

elasticSearch常见的面试题

常见的面试问题 描述使用场景 es集群架构3个节点，根据不同的服务创建不同的索引，根据日期和环境，平均每天递增60*2，大约60Gb的数据。 调优技巧 原文参考：干货 | BAT等一线大厂 Elasticsearch面试题解读 - 掘金 设计阶…...

编程日记 2023/8/6 17:41:16

第一课-前提-Stable Diffusion 教程

学习 SD 的前提是电脑配置！ SD 参考配置： 建议选择台式机 i5 CPU, 内存16GB，N卡 RTX3060, 8G显存以上的配置（最低配） 在此基础上的配置越高越好。 比如，cpu i7 更好，显卡能有 RTX4090 更好，32显存要能有最好，嘿嘿嘿。 如何查看自己的显卡配置？ Win+R 输入 “dxdiag…...

编程日记 2023/8/6 17:40:13

Python 开发工具 Pycharm —— 使用技巧Lv.2

pydoc是python自带的一个文档生成工具，使用pydoc可以很方便的查看类和方法结构 本文主要介绍：1.查看文档的方法、2.html文档说明、3.注释方法、 一、查看文档的方法 **方法1：**启动本地服务，在web上查看文档 命令【python3 -m…...

编程日记 2023/8/6 17:39:08

代码随想录第39天 | 62. 不同路径、63.不同路径II

62. 不同路径 动态规划五部曲： dp[i][j] ：表示从（0 ，0）出发，到(i, j) 有dp[i][j]条不同的路径。想要求dp[i][j]，只能有两个方向来推导出来，即dp[i - 1][j] 和 dp[i][j - 1]。dp[i]…...

编程日记 2023/8/6 17:38:07

QMT入门—初识QMT

对于普通投资者来说，每天实时盯盘实在是无聊又无趣，特别是临时有事还会错过行情。如果能把自己的投资策略用代码实现，通过程序来自动买卖股票那该有多好，这样就不会错过行情也不会不按交易纪律来操作了。 解决办法有两种&#xf…...

编程日记 2023/8/6 17:37:05

C 语言的 return 语句

有返回值的函数要带 return 语句, return 后面是一个表达式, return 语句将表达式的值返回给主调函数. 一个函数也可以有多个 return 语句, 比如存在于不同的分支中, 但只能有一条 return 语句被执行, 然后程序的控制权就从被调函数传到主调函数. 对于有返回值但没有带 retur…...

编程日记 2023/8/6 17:36:04

企业级Vue路由角色权限应该怎么做?

角色权限 角色权限，简单来说就是登录的用户能看到系统的哪些页面，不能看到系统的哪些页面。一般是后台管理系统才会涉及到如此复杂的角色权限。 对于 vue 技术栈，实现角色权限一般有两种方式。 第一种是利用 beforeEach 全局前置守卫。 第…...

编程日记 2023/8/6 17:35:03

3.2.0 版本预告！Apache DolphinScheduler API 增强相关功能

Apache DolphinScheduler 3.2.0 版本即将发布，在此之前，为了让用户提前了解到大家所期待的新功能，我们制作了视频来”剧透“一些核心新发布。此前，我们比较全面地”剧透“的 3.2.0 版本的新功能，这次，我们来…...

编程日记 2023/8/6 17:34:02

测试工程师的工作

目录 1.何为软件测试工程师？ 2.软件测试工程师的职责？ 3.为什么要做软件测试？ 4.软件测试的前途如何？ 5.工具和思维谁更重要？ 6.测试和开发相差大吗？ 7.成为测试工程师的必备条件 8.测试的分类有哪…...

编程日记 2023/8/6 17:33:01

压力测试与测试工具jmeter的介绍

目录 一、性能指标 二、jmeter （一）JMeter 安装 （二）JMeter 压测示例 1、添加线程组 2、添加 HTTP 请求 3、添加监听器 4、启动压测&查看分析结果 （三）JMeter Address Already in use 错误解决 压力测…...

编程日记 2023/8/6 17:31:59

解析整型最大值(Integer.MIN_VALUE)溢出变为最小值(Integer.MAX_VALUE)

解析整型最大值(Integer.MIN_VALUE)溢出变为最小值(Integer.MAX_VALUE)结论分析 解析整型最大值(Integer.MIN_VALUE)溢出变为最小值(Integer.MAX_VALUE) 解析整型最大值(Integer.MIN_VALUE)溢出变为最小值(Integer.MAX_VALUE) ，java 二进制 最小值 减法 减1 结论 …...

编程日记 2023/8/6 17:30:58

【openpcdet】dbinfo内的信息

这就是kitti_dbinfos_train_sfd_seguv.pkl中【car】类别存储的信息。...

编程日记 2023/8/6 17:28:56

clickhouse查询缓存

为了实现最佳性能，数据库需要优化其内部数据存储和处理管道的每一步。但是数据库执行的最好的工作是根本没有完成的工作！缓存是一种特别流行的技术，它通过存储早期计算的结果或远程数据来避免不必要的工作，而访问这些数据的成本往…...

编程日记 2023/8/6 17:27:55

vue中使用Base64加密、解密以及des加密、解密

Base64加密、解密 第一步： npm install js-base64 --save 下载依赖 第二步： 直接引入即可 import { Base64 } from js-base64; 第三步： Base64.encode(xxxx) 其中 .encode() 加密 .decode() 解密 中间不需要使用加密的key等…...

编程日记 2023/8/6 17:26:53

关于丢失安卓秘钥的撞sha-1值的办法

实验得知，安卓sha-1和keytool生成秘钥签名文件的时间有关。 前提条件是，开发者必须知道生成秘钥的所有细节参数 以下是撞文件代码（重复生成） import time import osidx 0while True:cmdkeytool -keyalg RSA -genkeypair -alia…...

编程日记 2023/8/6 17:25:48

maven如何打包你会吗？

1.新建一个maven项目&#xff0c;在main/java中建立Main类 public class Main {public static void main(String[] args) {System.out.println("hello java ...");} } 2.添加依赖&#xff0c;使其成为可执行包 <build><plugins><!--打包成为可执行包-…...

编程日记 2023/8/6 17:24:47

idea 控制台 打印 Tomcat日志Tomcat Catalina Log控制台乱码问题

修改tomcat的日志配置文件 conf一>logging.properties 修改【1catalina.org.apache.juli.AsyncFileHandler.encoding】的值为gbk 1catalina.org.apache.juli.AsyncFileHandler.level FINE 1catalina.org.apache.juli.AsyncFileHandler.directory ${catalina.base}/logs 1…...

编程日记 2023/8/6 17:23:46

python我的世界

我的世界不知道大家有没有玩过&#xff0c;今天博主用python的Ursina库复刻了我的世界给大家分享 安装Ursina pip install ursina 导入Ursina from ursina import * from ursina.prefabs.first_person_controller import FirstPersonController 创建app app Ursina() 创建Voxe…...

编程日记 2023/8/6 17:22:44

SpringBoot+vue 大文件分片下载

学习链接 SpringBootvue文件上传&下载&预览&大文件分片上传&文件上传进度 Blob & File & FileReader & ArrayBuffer VueSpringBoot实现文件的分片下载 video标签学习 & xgplayer视频播放器分段播放mp4&#xff08;Range请求交互过程可以参…...

编程日记 2023/8/6 17:21:43

scanf函数读取数据 清空缓冲区

scanf函数读取数据&清空缓冲区 scanf 从输入缓冲区读取数据数据的接收数据存入缓冲区scanf 中%d读取数据scanf中%c读取数据 清空输入缓冲区例子用getchar()吸收回车练习 scanf 从输入缓冲区读取数据 首先&#xff0c;要清楚的是&#xff0c;scanf在读取数据的时候&#xff…...

编程日记 2023/8/6 17:20:41

js 文件常用转换

获取上传文件的arrayBuffer&#xff1a;var u8arr await file.arrayBuffer() 通过arrayBuffer转换成Buffer&#xff1a;Buffer.from(u8arr) 1. Blob、File → Base64 function fileToDataURL(file) {let reader new FileReader();reader.readAsDataURL(file);reader.onload…...

编程日记 2023/8/6 17:19:39

基于Open3D的点云处理15-特征点

Intrinsic shape signatures (ISS) 参考 ISS关键点: 基本原理是避免在沿主要方向表现出类似分布的点上检测关键点&#xff0c;在这些点上无法建立可重复的规范参考框架&#xff0c;因此后续描述阶段很难变得有效。在剩余点中&#xff0c;显着性由最小特征值的大小决定,以便仅包…...

编程日记 2023/8/6 17:18:36

算法刷题Day 58 每日温度+下一个更大元素I

Day 58 单调栈 739. 每日温度 class Solution { public:vector<int> dailyTemperatures(vector<int>& temperatures) {vector<int> rst(temperatures.size());vector<int> decsStk; // 单调递减栈for (int i 0; i < temperatures.size(); i)…...

编程日记 2023/8/6 17:17:35

认识 spring AOP (面向切面编程) - springboot

前言 本篇介绍什么是spring AOP, AOP的优点&#xff0c;使用场景&#xff0c;spring AOP的组成&#xff0c;简单实现AOP 并 了解它的通知&#xff1b;如有错误&#xff0c;请在评论区指正&#xff0c;让我们一起交流&#xff0c;共同进步&#xff01; 文章目录 前言1. 什么是s…...

编程日记 2023/8/6 17:16:32

将css文件中的px转化为rem

pxToRem.js /*** 使用方式&#xff1a;* 与引入的文件放在同一目录下进行引用配置&#xff0c;执行:node &#xff08;定义的文件&#xff09;*/ const fs require(fs) const path require(path) /*** entry&#xff1a;入口文件路径 type:Strng* pxtopx&#xff1a;以倍数转…...

编程日记 2023/8/6 17:15:30

JNI之Java实现远程打印

打印机是最常见的办公设备了。一般情况下如果需要实现打印&#xff0c;可通过前端print.js包来完成。但是&#xff0c;如果要实现智能办公打印&#xff0c;就可以使用JNI技术、封装接口、远程调用实现完成。 导包 jacob&#xff1a;Java COM Bridge <dependency><g…...

编程日记 2023/8/6 17:14:29

YOLOv5基础知识入门（2）— YOLOv5核心基础知识讲解

前言&#xff1a;Hello大家好&#xff0c;我是小哥谈。YOLOV4出现之后不久&#xff0c;YOLOv5横空出世。YOLOv5在YOLOv4算法的基础上做了进一步的改进&#xff0c;使检测性能得到更进一步的提升。YOLOv5算法作为目前工业界使用的最普遍的检测算法&#xff0c;存在着很多可以学习…...

编程日记 2023/8/6 17:13:28

免费的scrum敏捷开发管理工具

Scrum中非常强调公开、透明、直接有效的沟通&#xff0c;这也是“可视化的管理工具”在敏捷开发中如此重要的原因之一。通过“可视化的管理工具”让所有人直观的看到需求&#xff0c;故事&#xff0c;任务之间的流转状态&#xff0c;可以使团队成员更加快速适应敏捷开发流程。 …...

编程日记 2023/8/6 17:12:27

Hive创建外部表详细步骤

① 在hive中执行HDFS命令&#xff1a;创建/data目录 hive命令终端输入&#xff1a; hive> dfs -mkdir -p /data; 或者在linux命令终端输入&#xff1a; hdfs dfs -mkdir -p /data; ② 在hive中执行HDFS命令&#xff1a;上传/emp.txt至HDFS的data目录下&#xff0c;并命名为…...

编程日记 2023/8/6 17:11:26

leetcode 452. 用最少数量的箭引爆气球

2023.8.2 本题思路先将二维数组points按照第一个维度排序&#xff0c; 然后初始化射箭数为1&#xff0c;因为题中提示说了最少有一个气球。 在遍历这些气球&#xff0c;看是否有重叠&#xff0c;如果没有重叠区域&#xff0c;射箭数&#xff1b;如果有重叠区域&#xff0c;更新…...

编程日记 2023/8/6 17:10:25