当前位置： 首页 > news >正文

elasticSearch常见的面试题

news 2025/7/7 15:05:32

常见的面试问题

描述使用场景

es集群架构3个节点，根据不同的服务创建不同的索引，根据日期和环境，平均每天递增60*2，大约60Gb的数据。

调优技巧

原文参考：干货 | BAT等一线大厂 Elasticsearch面试题解读 - 掘金

设计阶段的调优

  1. 根据业务增长的需求，采取日期模版创建索引，通过roll over API实现滚动索引

定义条件，生成新的索引，但都指向一个别名

https://juejin.cn/post/6959744054905012231

  1. 根据别名对索引进行管理

  2. 凌晨对索引进行force_merge操作，释放空间

合并Lucene索引在每个分片中保存的分段数，强制合并减少分片中的分段数量

https://blog.csdn.net/weixin_43820556/article/details/122986027

  1. 冷热分离机制，热数据放在SSD，冷数据定期shrink操作，缩减存储

删除副本，只读索引，减少主分片的数量

https://blog.csdn.net/UbuntuTouch/article/details/109004225

  1. 使用curator进行索引的生命周期管理

对索引和快照进行管理，配置规则，定时任务调用

https://cloud.tencent.com/developer/article/1382110

  1. 仅针对需要分词的字段，选用合适的分词器

  2. Mapping阶段充分结合各个字段的属性，是否要检索、存储

写入调优

  1. 写入前refresh_interval=-1

默认情况下索引的refresh_interval为1秒,这意味着数据写1秒后就可以被搜索到,每次索引的 refresh 会产生一个新的 lucene 段,这会导致频繁的 segment merge 行为,如果你不需要这么高的搜索实时性,应该降低索引refresh 周期

  1. 采用bulk批量写入

  2. 使用自动生成的id

写入 doc 时如果是外部指定了 id,es 会先尝试读取原来doc的版本号, 判断是否需要更新,使用自动生成 doc id 可以避免这个环节

查询调优

  1. 禁用批量terms（分页）
  2. 数据量大时，先基于时间范围检索
  3. 充分利用倒排索引机制，keyword查询
  4. 合理的路由机制

索引数据多的调优和部署

动态索引

基于模板+时间+rollover api 滚动创建索引

存储层面

冷热数据分离存储，冷数据force_merge+shrink压缩

部署层面

合理的前期规划，动态增加节点缓解集群压力

master选举机制

基本前提

  1. 候选主节点才能成为主节点
  2. 最小主节点数防止脑裂
选举流程

索引文档流程

在这里插入图片描述

文档获取分片

文档id计算目标分片id

shard = hash(_routing) % (num_of_primary_shards)

相关文章：

elasticSearch常见的面试题

常见的面试问题 描述使用场景 es集群架构3个节点，根据不同的服务创建不同的索引，根据日期和环境，平均每天递增60*2，大约60Gb的数据。 调优技巧 原文参考：干货 | BAT等一线大厂 Elasticsearch面试题解读 - 掘金 设计阶…...

编程日记 2023/8/6 17:41:16

第一课-前提-Stable Diffusion 教程

学习 SD 的前提是电脑配置！ SD 参考配置： 建议选择台式机 i5 CPU, 内存16GB，N卡 RTX3060, 8G显存以上的配置（最低配） 在此基础上的配置越高越好。 比如，cpu i7 更好，显卡能有 RTX4090 更好，32显存要能有最好，嘿嘿嘿。 如何查看自己的显卡配置？ Win+R 输入 “dxdiag…...

编程日记 2023/8/6 17:40:13

Python 开发工具 Pycharm —— 使用技巧Lv.2

pydoc是python自带的一个文档生成工具，使用pydoc可以很方便的查看类和方法结构 本文主要介绍：1.查看文档的方法、2.html文档说明、3.注释方法、 一、查看文档的方法 **方法1：**启动本地服务，在web上查看文档 命令【python3 -m…...

编程日记 2023/8/6 17:39:08

代码随想录第39天 | 62. 不同路径、63.不同路径II

62. 不同路径 动态规划五部曲： dp[i][j] ：表示从（0 ，0）出发，到(i, j) 有dp[i][j]条不同的路径。想要求dp[i][j]，只能有两个方向来推导出来，即dp[i - 1][j] 和 dp[i][j - 1]。dp[i]…...

编程日记 2023/8/6 17:38:07

QMT入门—初识QMT

对于普通投资者来说，每天实时盯盘实在是无聊又无趣，特别是临时有事还会错过行情。如果能把自己的投资策略用代码实现，通过程序来自动买卖股票那该有多好，这样就不会错过行情也不会不按交易纪律来操作了。 解决办法有两种&#xf…...

编程日记 2023/8/6 17:37:05

C 语言的 return 语句

有返回值的函数要带 return 语句, return 后面是一个表达式, return 语句将表达式的值返回给主调函数. 一个函数也可以有多个 return 语句, 比如存在于不同的分支中, 但只能有一条 return 语句被执行, 然后程序的控制权就从被调函数传到主调函数. 对于有返回值但没有带 retur…...

编程日记 2023/8/6 17:36:04

企业级Vue路由角色权限应该怎么做?

角色权限 角色权限，简单来说就是登录的用户能看到系统的哪些页面，不能看到系统的哪些页面。一般是后台管理系统才会涉及到如此复杂的角色权限。 对于 vue 技术栈，实现角色权限一般有两种方式。 第一种是利用 beforeEach 全局前置守卫。 第…...

编程日记 2023/8/6 17:35:03

3.2.0 版本预告！Apache DolphinScheduler API 增强相关功能

Apache DolphinScheduler 3.2.0 版本即将发布，在此之前，为了让用户提前了解到大家所期待的新功能，我们制作了视频来”剧透“一些核心新发布。此前，我们比较全面地”剧透“的 3.2.0 版本的新功能，这次，我们来…...

编程日记 2023/8/6 17:34:02

测试工程师的工作

目录 1.何为软件测试工程师？ 2.软件测试工程师的职责？ 3.为什么要做软件测试？ 4.软件测试的前途如何？ 5.工具和思维谁更重要？ 6.测试和开发相差大吗？ 7.成为测试工程师的必备条件 8.测试的分类有哪…...

编程日记 2023/8/6 17:33:01

压力测试与测试工具jmeter的介绍

目录 一、性能指标 二、jmeter （一）JMeter 安装 （二）JMeter 压测示例 1、添加线程组 2、添加 HTTP 请求 3、添加监听器 4、启动压测&查看分析结果 （三）JMeter Address Already in use 错误解决 压力测…...

编程日记 2023/8/6 17:31:59

解析整型最大值(Integer.MIN_VALUE)溢出变为最小值(Integer.MAX_VALUE)

解析整型最大值(Integer.MIN_VALUE)溢出变为最小值(Integer.MAX_VALUE)结论分析 解析整型最大值(Integer.MIN_VALUE)溢出变为最小值(Integer.MAX_VALUE) 解析整型最大值(Integer.MIN_VALUE)溢出变为最小值(Integer.MAX_VALUE) ，java 二进制 最小值 减法 减1 结论 …...

编程日记 2023/8/6 17:30:58

【openpcdet】dbinfo内的信息

这就是kitti_dbinfos_train_sfd_seguv.pkl中【car】类别存储的信息。...

编程日记 2023/8/6 17:28:56

clickhouse查询缓存

为了实现最佳性能，数据库需要优化其内部数据存储和处理管道的每一步。但是数据库执行的最好的工作是根本没有完成的工作！缓存是一种特别流行的技术，它通过存储早期计算的结果或远程数据来避免不必要的工作，而访问这些数据的成本往…...

编程日记 2023/8/6 17:27:55

vue中使用Base64加密、解密以及des加密、解密

Base64加密、解密 第一步： npm install js-base64 --save 下载依赖 第二步： 直接引入即可 import { Base64 } from js-base64; 第三步： Base64.encode(xxxx) 其中 .encode() 加密 .decode() 解密 中间不需要使用加密的key等…...

编程日记 2023/8/6 17:26:53

关于丢失安卓秘钥的撞sha-1值的办法

实验得知，安卓sha-1和keytool生成秘钥签名文件的时间有关。 前提条件是，开发者必须知道生成秘钥的所有细节参数 以下是撞文件代码（重复生成） import time import osidx 0while True:cmdkeytool -keyalg RSA -genkeypair -alia…...

编程日记 2023/8/6 17:25:48

maven如何打包你会吗？

1.新建一个maven项目&#xff0c;在main/java中建立Main类 public class Main {public static void main(String[] args) {System.out.println("hello java ...");} } 2.添加依赖&#xff0c;使其成为可执行包 <build><plugins><!--打包成为可执行包-…...

编程日记 2023/8/6 17:24:47

idea 控制台 打印 Tomcat日志Tomcat Catalina Log控制台乱码问题

修改tomcat的日志配置文件 conf一>logging.properties 修改【1catalina.org.apache.juli.AsyncFileHandler.encoding】的值为gbk 1catalina.org.apache.juli.AsyncFileHandler.level FINE 1catalina.org.apache.juli.AsyncFileHandler.directory ${catalina.base}/logs 1…...

编程日记 2023/8/6 17:23:46

python我的世界

我的世界不知道大家有没有玩过&#xff0c;今天博主用python的Ursina库复刻了我的世界给大家分享 安装Ursina pip install ursina 导入Ursina from ursina import * from ursina.prefabs.first_person_controller import FirstPersonController 创建app app Ursina() 创建Voxe…...

编程日记 2023/8/6 17:22:44

SpringBoot+vue 大文件分片下载

学习链接 SpringBootvue文件上传&下载&预览&大文件分片上传&文件上传进度 Blob & File & FileReader & ArrayBuffer VueSpringBoot实现文件的分片下载 video标签学习 & xgplayer视频播放器分段播放mp4&#xff08;Range请求交互过程可以参…...

编程日记 2023/8/6 17:21:43

scanf函数读取数据 清空缓冲区

scanf函数读取数据&清空缓冲区 scanf 从输入缓冲区读取数据数据的接收数据存入缓冲区scanf 中%d读取数据scanf中%c读取数据 清空输入缓冲区例子用getchar()吸收回车练习 scanf 从输入缓冲区读取数据 首先&#xff0c;要清楚的是&#xff0c;scanf在读取数据的时候&#xff…...

编程日记 2023/8/6 17:20:41

浏览器访问 AWS ECS 上部署的 Docker 容器（监听 80 端口）

✅ 一、ECS 服务配置 Dockerfile 确保监听 80 端口 EXPOSE 80 CMD ["nginx", "-g", "daemon off;"]或 EXPOSE 80 CMD ["python3", "-m", "http.server", "80"]任务定义&#xff08;Task Definition&…...

编程新知 2025/7/7 1:45:57

【JavaEE】-- HTTP

1. HTTP是什么&#xff1f; HTTP&#xff08;全称为"超文本传输协议"&#xff09;是一种应用非常广泛的应用层协议&#xff0c;HTTP是基于TCP协议的一种应用层协议。 应用层协议&#xff1a;是计算机网络协议栈中最高层的协议&#xff0c;它定义了运行在不同主机上…...

编程新知 2025/7/4 10:49:50

三维GIS开发cesium智慧地铁教程（5）Cesium相机控制

一、环境搭建 <script src"../cesium1.99/Build/Cesium/Cesium.js"></script> <link rel"stylesheet" href"../cesium1.99/Build/Cesium/Widgets/widgets.css"> 关键配置点&#xff1a; 路径验证&#xff1a;确保相对路径.…...

编程新知 2025/6/21 4:17:55

Java 8 Stream API 入门到实践详解

一、告别 for 循环&#xff01; 传统痛点&#xff1a; Java 8 之前&#xff0c;集合操作离不开冗长的 for 循环和匿名类。例如&#xff0c;过滤列表中的偶数&#xff1a; List<Integer> list Arrays.asList(1, 2, 3, 4, 5); List<Integer> evens new ArrayList…...

编程新知 2025/7/7 9:09:17

练习（含atoi的模拟实现,自定义类型等练习）

一、结构体大小的计算及位段 &#xff08;结构体大小计算及位段 详解请看&#xff1a;自定义类型&#xff1a;结构体进阶-CSDN博客&#xff09; 1.在32位系统环境&#xff0c;编译选项为4字节对齐&#xff0c;那么sizeof(A)和sizeof(B)是多少&#xff1f; #pragma pack(4)st…...

编程新知 2025/7/6 19:40:25

LeetCode - 394. 字符串解码

题目 394. 字符串解码 - 力扣&#xff08;LeetCode&#xff09; 思路 使用两个栈&#xff1a;一个存储重复次数&#xff0c;一个存储字符串 遍历输入字符串&#xff1a; 数字处理&#xff1a;遇到数字时&#xff0c;累积计算重复次数左括号处理&#xff1a;保存当前状态&a…...

编程新知 2025/7/6 14:04:29

【算法训练营Day07】字符串part1

文章目录 反转字符串反转字符串II替换数字 反转字符串 题目链接&#xff1a;344. 反转字符串 双指针法&#xff0c;两个指针的元素直接调转即可 class Solution {public void reverseString(char[] s) {int head 0;int end s.length - 1;while(head < end) {char temp …...

编程新知 2025/6/25 3:04:08

uniapp微信小程序视频实时流+pc端预览方案

方案类型技术实现是否免费优点缺点适用场景延迟范围开发复杂度​WebSocket图片帧​定时拍照Base64传输✅ 完全免费无需服务器 纯前端实现高延迟高流量 帧率极低个人demo测试 超低频监控500ms-2s⭐⭐​RTMP推流​TRTC/即构SDK推流❌ 付费方案 &#xff08;部分有免费额度&#x…...

编程新知 2025/7/6 15:09:10

爬虫基础学习day2

# 爬虫设计领域 工商&#xff1a;企查查、天眼查短视频&#xff1a;抖音、快手、西瓜 ---> 飞瓜电商&#xff1a;京东、淘宝、聚美优品、亚马逊 ---> 分析店铺经营决策标题、排名航空&#xff1a;抓取所有航空公司价格 ---> 去哪儿自媒体&#xff1a;采集自媒体数据进…...

编程新知 2025/7/6 13:55:34

HDFS分布式存储 zookeeper

hadoop介绍 狭义上hadoop是指apache的一款开源软件 用java语言实现开源框架&#xff0c;允许使用简单的变成模型跨计算机对大型集群进行分布式处理&#xff08;1.海量的数据存储 2.海量数据的计算&#xff09;Hadoop核心组件 hdfs&#xff08;分布式文件存储系统&#xff09;&a…...

编程新知 2025/7/7 5:44:33