当前位置：首页 > news >正文

elasticSearch常见的面试题

news 2025/8/30 4:09:32

常见的面试问题

描述使用场景

es集群架构3个节点，根据不同的服务创建不同的索引，根据日期和环境，平均每天递增60*2，大约60Gb的数据。

调优技巧

原文参考：干货 | BAT等一线大厂 Elasticsearch面试题解读 - 掘金

设计阶段的调优

根据业务增长的需求，采取日期模版创建索引，通过roll over API实现滚动索引

定义条件，生成新的索引，但都指向一个别名

https://juejin.cn/post/6959744054905012231

根据别名对索引进行管理
凌晨对索引进行force_merge操作，释放空间

合并Lucene索引在每个分片中保存的分段数，强制合并减少分片中的分段数量

https://blog.csdn.net/weixin_43820556/article/details/122986027

冷热分离机制，热数据放在SSD，冷数据定期shrink操作，缩减存储

删除副本，只读索引，减少主分片的数量

https://blog.csdn.net/UbuntuTouch/article/details/109004225

使用curator进行索引的生命周期管理

对索引和快照进行管理，配置规则，定时任务调用

https://cloud.tencent.com/developer/article/1382110

仅针对需要分词的字段，选用合适的分词器
Mapping阶段充分结合各个字段的属性，是否要检索、存储

写入调优

写入前refresh_interval=-1

默认情况下索引的refresh_interval为1秒,这意味着数据写1秒后就可以被搜索到,每次索引的 refresh 会产生一个新的 lucene 段,这会导致频繁的 segment merge 行为,如果你不需要这么高的搜索实时性,应该降低索引refresh 周期

采用bulk批量写入
使用自动生成的id

写入 doc 时如果是外部指定了 id,es 会先尝试读取原来doc的版本号, 判断是否需要更新,使用自动生成 doc id 可以避免这个环节

查询调优

禁用批量terms（分页）
数据量大时，先基于时间范围检索
充分利用倒排索引机制，keyword查询
合理的路由机制

索引数据多的调优和部署

动态索引

基于模板+时间+rollover api 滚动创建索引

存储层面

冷热数据分离存储，冷数据force_merge+shrink压缩

部署层面

合理的前期规划，动态增加节点缓解集群压力

master选举机制

基本前提

候选主节点才能成为主节点
最小主节点数防止脑裂

选举流程

索引文档流程

在这里插入图片描述

文档获取分片

文档id计算目标分片id

shard = hash(_routing) % (num_of_primary_shards)

elasticSearch常见的面试题

常见的面试问题描述使用场景 es集群架构3个节点，根据不同的服务创建不同的索引，根据日期和环境，平均每天递增60*2，大约60Gb的数据。调优技巧原文参考：干货 | BAT等一线大厂 Elasticsearch面试题解读 - 掘金设计阶…...

编程日记 2023/8/6 17:41:16

第一课-前提-Stable Diffusion 教程

学习 SD 的前提是电脑配置！ SD 参考配置：建议选择台式机 i5 CPU, 内存16GB，N卡 RTX3060, 8G显存以上的配置（最低配）在此基础上的配置越高越好。比如，cpu i7 更好，显卡能有 RTX4090 更好，32显存要能有最好，嘿嘿嘿。如何查看自己的显卡配置？ Win+R 输入 “dxdiag…...

编程日记 2023/8/6 17:40:13

Python 开发工具 Pycharm —— 使用技巧Lv.2

pydoc是python自带的一个文档生成工具，使用pydoc可以很方便的查看类和方法结构本文主要介绍：1.查看文档的方法、2.html文档说明、3.注释方法、一、查看文档的方法 **方法1：**启动本地服务，在web上查看文档命令【python3 -m…...

编程日记 2023/8/6 17:39:08

代码随想录第39天 | 62. 不同路径、63.不同路径II

62. 不同路径动态规划五部曲： dp[i][j] ：表示从（0 ，0）出发，到(i, j) 有dp[i][j]条不同的路径。想要求dp[i][j]，只能有两个方向来推导出来，即dp[i - 1][j] 和 dp[i][j - 1]。dp[i]…...

编程日记 2023/8/6 17:38:07

QMT入门—初识QMT

对于普通投资者来说，每天实时盯盘实在是无聊又无趣，特别是临时有事还会错过行情。如果能把自己的投资策略用代码实现，通过程序来自动买卖股票那该有多好，这样就不会错过行情也不会不按交易纪律来操作了。解决办法有两种&#xf…...

编程日记 2023/8/6 17:37:05

C 语言的 return 语句

有返回值的函数要带 return 语句, return 后面是一个表达式, return 语句将表达式的值返回给主调函数. 一个函数也可以有多个 return 语句, 比如存在于不同的分支中, 但只能有一条 return 语句被执行, 然后程序的控制权就从被调函数传到主调函数. 对于有返回值但没有带 retur…...

编程日记 2023/8/6 17:36:04

企业级Vue路由角色权限应该怎么做?

角色权限角色权限，简单来说就是登录的用户能看到系统的哪些页面，不能看到系统的哪些页面。一般是后台管理系统才会涉及到如此复杂的角色权限。对于 vue 技术栈，实现角色权限一般有两种方式。第一种是利用 beforeEach 全局前置守卫。第…...

编程日记 2023/8/6 17:35:03

3.2.0 版本预告！Apache DolphinScheduler API 增强相关功能

Apache DolphinScheduler 3.2.0 版本即将发布，在此之前，为了让用户提前了解到大家所期待的新功能，我们制作了视频来”剧透“一些核心新发布。此前，我们比较全面地”剧透“的 3.2.0 版本的新功能，这次，我们来…...

编程日记 2023/8/6 17:34:02

测试工程师的工作

目录 1.何为软件测试工程师？ 2.软件测试工程师的职责？ 3.为什么要做软件测试？ 4.软件测试的前途如何？ 5.工具和思维谁更重要？ 6.测试和开发相差大吗？ 7.成为测试工程师的必备条件 8.测试的分类有哪…...

编程日记 2023/8/6 17:33:01

压力测试与测试工具jmeter的介绍

目录一、性能指标二、jmeter （一）JMeter 安装 （二）JMeter 压测示例 1、添加线程组 2、添加 HTTP 请求 3、添加监听器 4、启动压测&查看分析结果 （三）JMeter Address Already in use 错误解决压力测…...

编程日记 2023/8/6 17:31:59

解析整型最大值(Integer.MIN_VALUE)溢出变为最小值(Integer.MAX_VALUE)

解析整型最大值(Integer.MIN_VALUE)溢出变为最小值(Integer.MAX_VALUE)结论分析解析整型最大值(Integer.MIN_VALUE)溢出变为最小值(Integer.MAX_VALUE) 解析整型最大值(Integer.MIN_VALUE)溢出变为最小值(Integer.MAX_VALUE) ，java 二进制最小值减法减1 结论 …...

编程日记 2023/8/6 17:30:58

【openpcdet】dbinfo内的信息

这就是kitti_dbinfos_train_sfd_seguv.pkl中【car】类别存储的信息。...

编程日记 2023/8/6 17:28:56

clickhouse查询缓存

为了实现最佳性能，数据库需要优化其内部数据存储和处理管道的每一步。但是数据库执行的最好的工作是根本没有完成的工作！缓存是一种特别流行的技术，它通过存储早期计算的结果或远程数据来避免不必要的工作，而访问这些数据的成本往…...

编程日记 2023/8/6 17:27:55

vue中使用Base64加密、解密以及des加密、解密

Base64加密、解密第一步： npm install js-base64 --save 下载依赖第二步： 直接引入即可 import { Base64 } from js-base64; 第三步： Base64.encode(xxxx) 其中 .encode() 加密 .decode() 解密中间不需要使用加密的key等…...

编程日记 2023/8/6 17:26:53

关于丢失安卓秘钥的撞sha-1值的办法

实验得知，安卓sha-1和keytool生成秘钥签名文件的时间有关。前提条件是，开发者必须知道生成秘钥的所有细节参数以下是撞文件代码（重复生成） import time import osidx 0while True:cmdkeytool -keyalg RSA -genkeypair -alia…...

编程日记 2023/8/6 17:25:48

maven如何打包你会吗？

1.新建一个maven项目，在main/java中建立Main类 public class Main {public static void main(String[] args) {System.out.println("hello java ...");} } 2.添加依赖，使其成为可执行包 <build><plugins><!--打包成为可执行包-…...

编程日记 2023/8/6 17:24:47

idea 控制台打印 Tomcat日志Tomcat Catalina Log控制台乱码问题

修改tomcat的日志配置文件 conf一>logging.properties 修改【1catalina.org.apache.juli.AsyncFileHandler.encoding】的值为gbk 1catalina.org.apache.juli.AsyncFileHandler.level FINE 1catalina.org.apache.juli.AsyncFileHandler.directory ${catalina.base}/logs 1…...

编程日记 2023/8/6 17:23:46

python我的世界

我的世界不知道大家有没有玩过，今天博主用python的Ursina库复刻了我的世界给大家分享安装Ursina pip install ursina 导入Ursina from ursina import * from ursina.prefabs.first_person_controller import FirstPersonController 创建app app Ursina() 创建Voxe…...

编程日记 2023/8/6 17:22:44

SpringBoot+vue 大文件分片下载

学习链接 SpringBootvue文件上传&下载&预览&大文件分片上传&文件上传进度 Blob & File & FileReader & ArrayBuffer VueSpringBoot实现文件的分片下载 video标签学习 & xgplayer视频播放器分段播放mp4（Range请求交互过程可以参…...

编程日记 2023/8/6 17:21:43

scanf函数读取数据清空缓冲区

scanf函数读取数据&清空缓冲区 scanf 从输入缓冲区读取数据数据的接收数据存入缓冲区scanf 中%d读取数据scanf中%c读取数据清空输入缓冲区例子用getchar()吸收回车练习 scanf 从输入缓冲区读取数据首先，要清楚的是，scanf在读取数据的时候&#xff…...

编程日记 2023/8/6 17:20:41

UE5 学习系列（二）用户操作界面及介绍

这篇博客是 UE5 学习系列博客的第二篇，在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下： 【Note】：如果你已经完成安装等操作，可以只执行第一篇博客中 2. 新建一个空白游戏项目章节操作，重…...

编程新知 2025/8/29 9:06:29

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …...

编程新知 2025/8/28 20:24:39

谷歌浏览器插件

项目中有时候会用到插件 sync-cookie-extension1.0.0：开发环境同步测试 cookie 至 localhost，便于本地请求服务携带 cookie 参考地址：https://juejin.cn/post/7139354571712757767 里面有源码下载下来，加在到扩展即可使用FeHelp…...

编程新知 2025/8/16 3:55:30

.Net框架，除了EF还有很多很多......

文章目录 1. 引言2. Dapper2.1 概述与设计原理2.2 核心功能与代码示例基本查询多映射查询存储过程调用 2.3 性能优化原理2.4 适用场景 3. NHibernate3.1 概述与架构设计3.2 映射配置示例Fluent映射XML映射 3.3 查询示例HQL查询Criteria APILINQ提供程序 3.4 高级特性3.5 适用场…...

编程新知 2025/8/22 3:26:26