当前位置： 首页 > news >正文

大数据面试题之Elasticsearch:每日三题(六)

news 2025/10/22 21:31:01

大数据面试题之Elasticsearch:每日三题

  • 1. 为什么要使用Elasticsearch？
  • 2.Elasticsearch的master选举流程？
  • 3.Elasticsearch集群脑裂问题？

在这里插入图片描述

1. 为什么要使用Elasticsearch？

系统中的数据，随着业务的发展，时间的推移，将会非常多，而业务中往往采用模糊查询进行数据的搜索，而模糊查询会导致查询引擎放弃索引，导致系统查询数据时都是全表扫描，在百万级别的数据库中，查询效率是非常低下的，而我们使用ES做一个全文索引，将经常查询的系统功能的某些字段，比如说电商系统的商品表中的商品名，描述，价格还有id这些字段我们放入ES索引库里，可以提高查询速度。

2.Elasticsearch的master选举流程？

  • Elasticsearch的选主是ZenDiscovery模块负责的，主要包含Ping(节点之间通过这个RPC来发现彼此)和Unicast(单播模块包含一个主机列表以控制哪些节点需要ping通)这两部分
  • 对所有可以成为master的节点(node.master:true)根据nodeId字典排序，每次选举每个节点都把自己所知道节点排一次序，然后选出第一个(第0位)节点，暂且认为它是master节点。
  • 如果对某个节点的投票数达到一定的值(可以成为master节点数n/2+1)并且该节点自己也选举自己，那这个节点就是master。否则重新选举一直到满足上述条件。
  • master节点的职责主要包括集群，节点和索引的管理，不负责文档级别的管理；data节点可以关闭http功能。

3.Elasticsearch集群脑裂问题？

"脑裂"问题可能的成因：

  • 网络问题：集群间的网络延迟导致一些节点访问不到master，认为master挂掉了从而选举出新的master，并对master上的分片和副本标红，分配新的主分片
  • 节点负载：主节点的角色既为master又为data，访问量较大时可能会导致ES停止响应造成大面积延迟，此时其他节点得不到主节点的响应认为主节点挂掉了，会重新选取主节点。
  • 内存回收：data节点上的ES进程占用的内存较大，引发JVM的大规模内存回收，造成ES进程失去响应。

脑裂问题解决方案：

  • 减少误判:discovery.zen.ping_timeout节点状态的响应时间，默认为3s，可以适当调大，如果master在响应时间的范围内没有做出响应应答，判断该节点已经挂掉了。调大参数(如6s，discovery.zen.ping_timeout:6),可适当减少误判。
  • 选举触发：discovery.zen.minimum_master_nodes:1
    该参数是用于控制选举行为发生的最小集群主节点数量。当备选主节点的个数大于等于该参数的值，且备选主节点中有该参数个节点认为主节点挂了，进行选举。官方建议为(n/2)+1,n为主节点个数(即有资格成为主节点的节点个数)
  • 角色分离：即master节点与data节点分离，限制角色
    主节点配置为：node.master:true node.data:false
    从节点配置为：node.master:false node.data:true

在这里插入图片描述

相关文章：

大数据面试题之Elasticsearch:每日三题(六)

大数据面试题之Elasticsearch:每日三题 1. 为什么要使用Elasticsearch？2.Elasticsearch的master选举流程？3.Elasticsearch集群脑裂问题？ 1. 为什么要使用Elasticsearch？ 系统中的数据，随着业务的发展，时间…...

编程日记 2023/8/1 4:27:24

【管理设计篇】聊聊分布式配置中心

为什么需要配置中心 对于一个软件系统来说，除了数据、代码，还有就是软件配置，比如操作系统、数据库配置、服务配置 端口 ip 、邮箱配置、中间件软件配置、启动参数配置等。如果说是一个小型项目的话，可以使用Spring Boot yml文件…...

编程日记 2023/8/1 4:26:20

远程控制平台简介

写在前面 之所以想自己动手实现一个远程控制平台，很大一部分原因是因为我那糟糕的记性，虽然经常加班到很晚，拖着疲惫的步伐回到家，才想起忘记打卡了，如果我能在家控制在办公室的手机打一下卡就好了… 有人说，市场上有TeamViewer，向日葵，AnyDesk，ToDesk，等等这些老大…...

编程日记 2023/8/1 4:25:20

韦东山Linux驱动入门实验班（5）LED驱动---驱动分层和分离，平台总线模型

前言 （1）前面已经已经详细介绍了LED驱动如何进行编写的代码。如果韦东山Linux驱动入门实验班（4）LED驱动已经看懂了，驱动入门实验班后面的那些模块实验，其实和单片机操作差不太多了。我就不再浪费时间进行讲…...

编程日记 2023/8/1 4:24:19

【雕爷学编程】MicroPython动手做（02）——尝试搭建K210开发板的IDE环境

知识点：简单了解K210芯片 2018年9月6日,嘉楠科技推出自主设计研发的全球首款基于RISC-V的量产商用边缘智能计算芯片勘智K210。该芯片依托于完全自主研发的AI神经网络加速器KPU,具备自主IP、视听兼具与可编程能力三大特点,能够充分适配多个业务场景的需求。作为嘉楠科…...

编程日记 2023/8/1 4:23:17

C#——Thread与Task的差异比较及使用环境

C#——Thread与Task的差异比较及使用环境 前言一、差异1. 创建和管理：2. 异步编程：3. 返回值：4. 异常处理：5. 线程复用： 总结 前言 前面两篇文章，分别通过各自的实例讲了关于Task以及Thread的相关的使用特…...

编程日记 2023/8/1 4:22:16

刷题 31-35

三十一、 747. 至少是其他数字两倍的最大数 给你一个整数数组 nums ，其中总是存在 唯一的 一个最大整数 。 请你找出数组中的最大元素并检查它是否 至少是数组中每个其他数字的两倍 。如果是，则返回 最大元素的下标 ，否则返回 -1 。 示例 1&a…...

编程日记 2023/8/1 4:21:14

【mysql】—— 数据类型详解

序言： 本期我将大家认识关于 mysql 数据库中的基本数据类型的学习。通过本篇文章，我相信大家对mysql 数据类型的理解都会更加深刻。 目录 （一）数据类型分类 （二）数值类型 1、tinyint类型 2、bit类型 …...

编程日记 2023/8/1 4:20:13

kafka常用命令

查看主题 ./kafka-topics.sh --list --bootstrap-server 10.1.1.2:9092 创建主题 ./kafka-topics.sh --bootstrap-server 10.1.1.2:9092 --create --topic test_topic --partitions 1 查看消费者列表--list ./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 -…...

编程日记 2023/8/1 4:19:11

数字图像处理（番外）图像增强

图像增强 图像增强的方法是通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴趣的特征或者抑制(掩盖)图像中某些不需要的特征，使图像与视觉响应特性相匹配。 图像对比度 图像对比度计算方式如下： C ∑ δ δ ( i , j …...

编程日记 2023/8/1 4:18:10

flutter：轮播

前言 介绍几个比较有不错的轮播库 swipe_deck 与轮播沾边，但是更多的是一种卡片式的交互式界面设计。它的主要概念是用户可以通过左右滑动手势浏览不同的卡片，每张卡片上都有不同的信息或功能。 Swipe deck通常用于展示图片、产品信息、新闻文章、社…...

编程日记 2023/8/1 4:17:09

高忆管理：股票投资策略是什么？有哪些？

在进行股票买卖过程中，出资者需求有自己的方案和出资战略，并且主张严格遵从出资战略买卖，不要跟风操作。那么股票出资战略是什么？有哪些？下面就由高忆管理为我们剖析： 股票出资战略简略来说便是能够协助出资…...

编程日记 2023/8/1 4:16:08

为公网SSH远程Ubuntu配置固定的公网TCP端口地址主图

文章目录 为公网SSH远程Ubuntu配置固定的公网TCP端口地址 为公网SSH远程Ubuntu配置固定的公网TCP端口地址 在上篇文章中，我们通过cpolar建立的临时TCP数据隧道，成功连接了位于其他局域网下的Ubuntu系统，实现了不同操作系统、不同网络下的系统…...

编程日记 2023/8/1 4:15:07

【前端知识】React 基础巩固(四十一)——手动路由跳转、参数传递及路由配置

React 基础巩固(四十一)——手动路由跳转、参数传递及路由配置 一、实现手动跳转路由 利用 useNavigate 封装一个 withRouter（hoc/with_router.js） import { useNavigate } from "react-router-dom"; // 封装一个高阶组件 function withRou…...

编程日记 2023/8/1 4:14:05

Qt几种字符类型的相互转换

Qt几种字符类型的相互转换 将const QString转换为const char*将const char*转换为const QStringQstring转换为string把string转换为QstringQt中弹出一个窗口 将const QString转换为const char* #include <QString> #include <iostream>int main() {const QString …...

编程日记 2023/8/1 4:13:03

软件测试员的非技术必备技能

成为软件测试人员所需的技能 非技术技能 以下技能对于成为优秀的软件测试人员至关重要。 将您的技能组合与以下清单进行比较&#xff0c;以确定软件测试是否适合您 - 分析技能&#xff1a;优秀的软件测试人员应具备敏锐的分析能力。 分析技能将有助于将复杂的软件系统分解为…...

编程日记 2023/8/1 4:12:02

渗透测试：Linux提权精讲（二）之sudo方法第二期

目录 写在开头 sudo expect sudo fail2ban sudo find sudo flock sudo ftp sudo gcc sudo gdb sudo git sudo gzip/gunzip sudo iftop sudo hping3 sudo java 总结与思考 写在开头 本文在上一篇博客的基础上继续讲解渗透测试的sudo提权方法。相关内容的介绍与背…...

编程日记 2023/8/1 4:10:59

ansible安装lnmp（集中式）

文章目录 一、安装nginx二、安装mysql三、安装php测试&#xff1a; 一、安装nginx - name: the nginx playhosts: webserversremote_user: roottasks:- name: stop firewalld #关闭防火墙service: namefirewalld statestopped enabledno- name: selinux stopc…...

编程日记 2023/8/1 4:09:58

Tomcat的基本使用，如何用Maven创建Web项目、开发完成部署的Web项目

Tomcat 一、Tomcat简介二、Tomcat基本使用三、Maven创建Web项目3.1 Web项目结构3.2开发完成部署的Web项目3.3创建Maven Web项目3.3.1方式一3.3.2方式二&#xff08;个人推荐&#xff09; 总结 一、Tomcat简介 Web服务器&#xff1a; Web服务器是一个应用程序&#xff08;软件&…...

编程日记 2023/8/1 4:08:57

微信小程序测试要点

一、什么是小程序&#xff1f; 可以将小程序理解为轻便的APP&#xff0c;不用安装就可以使用的应用。用户通过扫一扫或者搜索的方式&#xff0c;就可以打开应用。 小程序最主要的特点是内嵌于微信之中&#xff0c;而使用小程序的目的是为了能够方便用户不在受下载多个APP的烦…...

编程日记 2023/8/1 4:07:56

vscode里如何用git

打开vs终端执行如下&#xff1a; 1 初始化 Git 仓库&#xff08;如果尚未初始化&#xff09; git init 2 添加文件到 Git 仓库 git add . 3 使用 git commit 命令来提交你的更改。确保在提交时加上一个有用的消息。 git commit -m "备注信息" 4 …...

编程新知 2025/8/24 20:45:38

深入浅出Asp.Net Core MVC应用开发系列-AspNetCore中的日志记录

ASP.NET Core 是一个跨平台的开源框架&#xff0c;用于在 Windows、macOS 或 Linux 上生成基于云的新式 Web 应用。 ASP.NET Core 中的日志记录 .NET 通过 ILogger API 支持高性能结构化日志记录&#xff0c;以帮助监视应用程序行为和诊断问题。 可以通过配置不同的记录提供程…...

编程新知 2025/10/20 4:51:36

逻辑回归：给不确定性划界的分类大师

想象你是一名医生。面对患者的检查报告&#xff08;肿瘤大小、血液指标&#xff09;&#xff0c;你需要做出一个**决定性判断**&#xff1a;恶性还是良性&#xff1f;这种“非黑即白”的抉择&#xff0c;正是**逻辑回归&#xff08;Logistic Regression&#xff09;** 的战场&a…...

编程新知 2025/8/18 10:21:48

Leetcode 3577. Count the Number of Computer Unlocking Permutations

Leetcode 3577. Count the Number of Computer Unlocking Permutations 1. 解题思路2. 代码实现 题目链接&#xff1a;3577. Count the Number of Computer Unlocking Permutations 1. 解题思路 这一题其实就是一个脑筋急转弯&#xff0c;要想要能够将所有的电脑解锁&#x…...

编程新知 2025/10/19 0:02:23

抖音增长新引擎：品融电商，一站式全案代运营领跑者

抖音增长新引擎&#xff1a;品融电商&#xff0c;一站式全案代运营领跑者 在抖音这个日活超7亿的流量汪洋中&#xff0c;品牌如何破浪前行&#xff1f;自建团队成本高、效果难控&#xff1b;碎片化运营又难成合力——这正是许多企业面临的增长困局。品融电商以「抖音全案代运营…...

编程新知 2025/10/19 7:02:34

学校招生小程序源码介绍

基于ThinkPHPFastAdminUniApp开发的学校招生小程序源码&#xff0c;专为学校招生场景量身打造&#xff0c;功能实用且操作便捷。 从技术架构来看&#xff0c;ThinkPHP提供稳定可靠的后台服务&#xff0c;FastAdmin加速开发流程&#xff0c;UniApp则保障小程序在多端有良好的兼…...

编程新知 2025/10/19 10:09:01

vue3 定时器-定义全局方法 vue+ts

1.创建ts文件 路径&#xff1a;src/utils/timer.ts 完整代码&#xff1a; import { onUnmounted } from vuetype TimerCallback (...args: any[]) > voidexport function useGlobalTimer() {const timers: Map<number, NodeJS.Timeout> new Map()// 创建定时器con…...

编程新知 2025/8/9 0:31:20

Axios请求超时重发机制

Axios 超时重新请求实现方案 在 Axios 中实现超时重新请求可以通过以下几种方式&#xff1a; 1. 使用拦截器实现自动重试 import axios from axios;// 创建axios实例 const instance axios.create();// 设置超时时间 instance.defaults.timeout 5000;// 最大重试次数 cons…...

编程新知 2025/10/13 2:26:14

ardupilot 开发环境eclipse 中import 缺少C++

目录 文章目录 目录摘要1.修复过程摘要 本节主要解决ardupilot 开发环境eclipse 中import 缺少C++，无法导入ardupilot代码，会引起查看不方便的问题。如下图所示 1.修复过程 0.安装ubuntu 软件中自带的eclipse 1.打开eclipse—Help—install new software 2.在 Work with中…...

编程新知 2025/10/19 0:50:57

Reasoning over Uncertain Text by Generative Large Language Models

https://ojs.aaai.org/index.php/AAAI/article/view/34674/36829https://ojs.aaai.org/index.php/AAAI/article/view/34674/36829 1. 概述 文本中的不确定性在许多语境中传达，从日常对话到特定领域的文档（例如医学文档）（Heritage 2013；Landmark、Gulbrandsen 和 Svenevei…...

编程新知 2025/10/19 19:48:43