Elasticsearch 集群规划- 单台机器核心数计算公式
在做集群规划的时候，到底需要给集群的每个节点多少个核心数？这个问题一直困扰了我很久。最近一段时间做千亿数据，PB存储量集群规划的时候，突然想明白了这件事，大致可以用一个公式来计算！
我觉得这是一个非常重要的问题，非常值得重视。其实所谓的集群规划，无非就是根据数据量评估出需要的es节点数，每个节点应该需要多少的CPU，多少的磁盘，多少内存。其中磁盘毋庸置疑，每个节点不要挂过多的数据，如果你想要保证性能，每个节点不要超过4T数据。多了以后堆的压力会比较大（根据实际的生产经验）。至于内存，内存基本上也就是每个节点31G，不超过32G，防止指针压缩失效而浪费堆内存。我测试的上限值是32.95G。至少留一半的内存给linux的 OS Cache。也就是每个机器的标配是64G内存，最大4T硬盘，有条件的数据控制到2.5T以内。磁盘有条件的可以选择SSD，且做raid0。唯独cpu核心数难计算，如果不熟悉es底层检索原理，很难算出来每个节点需要多少个核心数。
下边我把核心数的计算推导成一个公式！
ES 集群规划 核心数计算公式
在es中，查询是search线程池去处理请求的。请求到了底层会落到分片上，分片是分配线程资源的最小单元！所以我们应该先计算出来需要的查询线程数
search thread pool = （单次请求命中总分片数 / 节点数） * 每秒最大并发数 * 单个分片的响应时间（换算成秒）
这里以最小集群规模，3个节点来计算。
假如单次请求命中的总分片数为15，那么每个节点5个分片。每秒并发数为10，单个分片请求时间为 0.2s（200ms ）
search thread pool size = 15 / 3 * 10 * 0.2 = 10
也就是说，想要满足以上的检索需求，则需要的最少search thread pool size 为10。在知道了需要查询线程数，然后就可以算CPU核心数了，注意这里我说的CPU核心数是指，逻辑核心数！
根据官网给出的公式，search thread pool size 的计算公式为：
CPU核心数 *3 / 2 +1
For count/search/suggest operations. Thread pool type is fixed_auto_queue_size with a size of int((# of available_processors * 3) / 2) + 1, and initial queue_size of 1000.
1000是请求队列的大小
所以我们需要的核心数为：
（search thread pool size - 1）* 2 / 3
假如单次请求命中的总分片数为15，那么每个节点5个分片。每秒并发数为10，单个分片请求时间为 2s（2000ms ）
那么想要满足以上的检索需求，则需要最少的核心数为100。显然，单台机器的CPU核心数不可能给那么多。即使CPU核心数给到，磁盘的IO也会受限。
理论上来说 单个节点CPU的核心数不超过32核心。在16核心 - 32核心之间。取决于磁盘的IO能力。另外也会受限于JVM的GC。所以实际情况，可以结合理论推导公式，结合压测情况，来给核心数。
做压测，做压测，一定要做压测。根据压测结果配合公式来确定最终需要的核心数！
相关文章：
Elasticsearch 集群规划- 单台机器核心数计算公式
在做集群规划的时候，到底需要给集群的每个节点多少个核心数？这个问题一直困扰了我很久。最近一段时间做千亿数据，PB存储量集群规划的时候，突然想明白了这件事，大致可以用一个公式来计算！我觉得这是一个非常…...
Tesla都使用什么编程语言？
作者 | 初光 出品 | 车端 备注 | 转载请阅读文中版权声明 知圈 | 进“汽车电子与AutoSAR开发”群，请加微“cloud2sunshine” 总目录链接>> AutoSAR入门和实战系列总目录 带着对更美好未来的愿景，特斯拉不仅成为有史以来最有价值的汽车公司&…...
1143. 最长公共子序列——【Leetcode每日刷题】
1143. 最长公共子序列 给定两个字符串 text1 和 text2，返回这两个字符串的最长 公共子序列 的长度。如果不存在 公共子序列 ，返回 0 。 一个字符串的 子序列 是指这样一个新的字符串：它是由原字符串在不改变字符的相对顺序的情况下删除某些…...
、obj.notify()、obj.notifyAll()详解)
【并发基础】线程的通知与等待：obj.wait()、obj.notify()、obj.notifyAll()详解
目录 〇、先总结一下这三个方法带来的Java线程状态变化 一、obj.wait() 1.1 作用 1.2 使用前需要持有线程共享对象的锁 1.3 使用技巧 二、obj.notify(All)() 1.1 notify() 方法 1.1.1 调用notify()或notifyAll()不会释放线程的锁 1.2 notifyAll() 方法 1.3 使用技巧 三、使用实…...
css黏性定位-实现商城的分类滚动的标题吸附
传统的黏性定位是使用js通过计算高度来实现的，当元素滚动到一定位置时吸附在当前位置。下面我们通过css来实现黏性定位功能。 黏性定位 黏性定位目前主流的浏览器已经全部支持，顾名思义，黏性定位具有吸附的效果，其实它是positio…...
@Component和@bean注解在容器中创建实例区别
Component和Bean的区别 在Spring Boot中，Component注解和Bean注解都可以用于创建bean。它们的主要区别在于它们的作用范围和创建方式。 Component注解是一种通用的注解，可以用于标注任何类。被标注的类将被Spring容器自动扫描并创建为一个bean。这个bea…...
不写注释就是垃圾
最近Linux6.2出来了增加了很多新的东西，有看点的是，Linux确实要可以在Apple M1上面运行了，这应该是一个很大的新闻，如果有这么稳定的硬件支持，那对于Linux来说相当于又打下了一大片的江山。其中关于Linux6.2的特性罗列…...
深信服一面
1.C变量存储在哪里，生命周期是怎样的 2.静态成员变量和成员函数的特性，在哪里用过吗 3.new和delete是什么，和malloc和free对比有啥优势 4.new能不能重载，重载new有什么用 5.多态是怎么实现的，有什么优势和目的 6.…...
【C语言】深度理解指针（中）
前言✈上回说到，我们学习了一些与指针相关的数据类型，如指针数组，数组指针，函数指针等等，我们还学习了转移表的基本概念，学会了如何利用转移表来实现一个简易计算器。详情请点击传送门：【C语言】…...
步进电机运动八大算法
引导一种模块化(Module)设计思想，将传统步进电机的控制器(controller)、驱动器(Driver)、运动算法(Arithmetic)三合一。 对比国内外步进电机驱动原理和已有工作，结合各种硬件特性，改进或实现了可实际移植并用于步进电机控制八大算法。本产品…...
如果你持续大量的教坏ChatGPT，它确实会变坏
你输出的很多数据是经过人工标注吗，以确保可以正常对外展示出来，而不是有性别歧视、种族歧视或者其它意识形态为多数人所不认同的内容产生？ 作为AI语言模型，我并不直接处理或输出任何数据，我的任务是通过对输入的自然语…...
opencv学习（二）图像阈值和平滑处理
图像阈值ret, dst cv2.threshold(src, thresh, maxval, type)src： 输入图，只能输入单通道图像，通常来说为灰度图dst： 输出图thresh： 阈值maxval： 当像素值超过了阈值（或者小于阈值，…...
【含源码】用python做游戏有多简单好玩
有很多同学问我还有其他什么小游戏吗，游戏是怎么做的，难不难。我就用两篇文章来介绍一下，如何使用Python做游戏。 兔子与灌 俄罗斯方块 休闲五子棋 走迷宫 推箱子 消消乐 超多小游戏玩转不停↓ 更多小游戏可以评论区讨论哦，喜欢…...
C++常用函数
std::sort std::sort 函数用于对数组或容器进行排序，可以按照默认的升序排序或指定比较函数进行排序。 语法如下： template <class RandomAccessIterator> void sort(RandomAccessIterator first, RandomAccessIterator last);template <clas…...
Android Framework基础到深入篇
Android Framework基础到深入篇 KernelSU Android上基于内核的Root方案 Android系统源码下载/编译篇...
【Go进阶训练营】聊一下go的gc原理
背景 正好周末时间，就打算梳理以下自己对go gc的理解。跳出语言层面来说，gc分为两种，一种是手动创建，手动销毁。另一种就是由自动分配自动销毁，前者就是c,c的代表，后者就是java，go。 而整个流程…...
模块详解)
英飞凌Tricore原理及应用介绍05_中断处理之中断路由(IR)模块详解
目录 1.概述1.1相关缩写2 TC3xx中IR特性介绍3.SRN（中断服务请求优先级）3.1 寄存器中的各Bit位讲解3.2 如何改变SRN配置4. 实际应用介绍4.1 如何利用SRC寄存器检查OS中断配置是否正确？1.概述 在Tricore架构中允许有多个中断源包括片上外设及外部中断世间产生的中断请求，以打…...
微搭问答002-移动端上传的文件如何在PC端下载
遇到一个问题，就是上传的图片，在手机上可以下载了，但在电脑上怎么下载到电脑 里，包括上传的文件 点击查看页面就可以吧，在企业工作台里 我做了查看页面，小程序可以，但H5和电脑页面不行 你创建一…...
初识JVM
目录 引言 JVM是什么？ JVM和java有什么联系？ JDK、JRE、JVM有什么区别 为什么学习JVM？ JVM——从内存管理开始 运行时数据区域 分区讲解 堆 方法区 程序计数器 本地技术栈 虚拟机栈 对象的创建 指针碰撞： 空闲列表…...
实践分享：Vue 项目如何迁移小程序
最近我们小组刚经历了将成熟的 HTML5 项目转换成小程序，并在app中运行的操作！记录下来分享给各位。 项目：将已有的 Vue 项目转为小程序， 在集成了FinClip SDK 的 App 中运行。 技术：uni-app、FinClip 两个注意事项&…...
C++实现分布式网络通信框架RPC(3)--rpc调用端
目录 一、前言 二、UserServiceRpc_Stub 三、 CallMethod方法的重写 头文件 实现 四、rpc调用端的调用 实现 五、 google::protobuf::RpcController *controller 头文件 实现 六、总结 一、前言 在前边的文章中，我们已经大致实现了rpc服务端的各项功能代…...
51c自动驾驶~合集58
我自己的原文哦~ https://blog.51cto.com/whaosoft/13967107 #CCA-Attention 全局池化局部保留，CCA-Attention为LLM长文本建模带来突破性进展 琶洲实验室、华南理工大学联合推出关键上下文感知注意力机制（CCA-Attention），…...
Zustand 状态管理库：极简而强大的解决方案
Zustand 是一个轻量级、快速和可扩展的状态管理库，特别适合 React 应用。它以简洁的 API 和高效的性能解决了 Redux 等状态管理方案中的繁琐问题。 核心优势对比 基本使用指南 1. 创建 Store // store.js import create from zustandconst useStore create((set)…...
工业安全零事故的智能守护者：一体化AI智能安防平台
前言： 通过AI视觉技术，为船厂提供全面的安全监控解决方案，涵盖交通违规检测、起重机轨道安全、非法入侵检测、盗窃防范、安全规范执行监控等多个方面，能够实现对应负责人反馈机制，并最终实现数据的统计报表。提升船厂…...
FFmpeg 低延迟同屏方案
引言 在实时互动需求激增的当下，无论是在线教育中的师生同屏演示、远程办公的屏幕共享协作，还是游戏直播的画面实时传输，低延迟同屏已成为保障用户体验的核心指标。FFmpeg 作为一款功能强大的多媒体框架，凭借其灵活的编解码、数据…...
2.Vue编写一个app
1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template> <!--html--> </template>…...
NLP学习路线图（二十三）：长短期记忆网络（LSTM）
在自然语言处理（NLP）领域，我们时刻面临着处理序列数据的核心挑战。无论是理解句子的结构、分析文本的情感，还是实现语言的翻译，都需要模型能够捕捉词语之间依时序产生的复杂依赖关系。传统的神经网络结构在处理这种序列依赖时显得力不从心，而循环神经网络（RNN） 曾被视为…...
均衡后的SNRSINR
本文主要摘自参考文献中的前两篇，相关文献中经常会出现MIMO检测后的SINR不过一直没有找到相关数学推到过程，其中文献[1]中给出了相关原理在此仅做记录。 1. 系统模型 复信道模型 n t n_t nt 根发送天线， n r n_r nr 根接收天线的 MIMO 系…...
PAN/FPN
import torch import torch.nn as nn import torch.nn.functional as F import mathclass LowResQueryHighResKVAttention(nn.Module):"""方案 1: 低分辨率特征 (Query) 查询高分辨率特征 (Key, Value).输出分辨率与低分辨率输入相同。"""def __…...
mac 安装homebrew (nvm 及git)
mac 安装nvm 及git 万恶之源 mac 安装这些东西离不开Xcode。及homebrew 一、先说安装git步骤 通用： 方法一：使用 Homebrew 安装 Git（推荐） 步骤如下：打开终端（Terminal.app） 1.安装 Homebrew…...