当前位置： 首页 > news >正文

StarRocks 生产部署一套集群，存储空间如何规划？

news 文章来源：https://blog.csdn.net/u010772882/article/details/144668072 2025/5/6 14:45:51

背景：StarRocks 3.2，存储一体

使用场景：多分析、小查询多单但不高、数据量几百T

FE 存储

由于 FE 节点仅在其存储中维护 StarRocks 的元数据，因此在大多数场景下，每个 FE 节点只需要 100 GB 的 HDD 存储，生产建议200G SSD以上，FE-FOLLOWER节点也一样的配置。

BE 存储

预估 BE 初始存储空间

StarRocks 集群需要的总存储空间同时受到原始数据大小、数据副本数以及使用的数据压缩算法的压缩比的影响。
你可以通过以下公式估算所有 BE 节点所需的总存储空间：
磁盘大小一样，SSD盘，无需做RAID（多副本情况下）

BE 节点所需的总存储空间 = 原始数据大小 * 数据副本数/数据压缩算法压缩比原始数据大小 = 单行数据大小 * 总数据行数

在 StarRocks 中，一个表中的数据首先被划分为多个分区（Partition），每个分区建议10-20GB，如果分桶表建议每个分桶1GB左右，然后进一步被划分为多个 Tablet。Tablet 是 StarRocks 中基本数据管理逻辑单元。为保证数据的高可靠性，你可以为每个 Tablet 维护多个副本，存储于不同的 BE 节点。StarRocks 默认维护三个副本。
目前，StarRocks 支持四种数据压缩算法：zlib、Zstandard（或 zstd）、LZ4 和 Snappy（按压缩比从高至低排列）。这些数据压缩算法可以提供 3:1 到 5:1 的压缩比。
通过计算得到总存储空间后，你可以简单地将之除以集群中的 BE 节点数，估算出每个 BE 节点所需的平均存储空间。

随时添加额外存储空间

如果 BE 存储空间随着原始数据的增长而耗尽，可以进行以下选择。

  • 在 StarRocks 集群中添加新的 BE 节点
  • 在 BE 节点上添加额外的存储卷
  • 添加云存储空间

集群存储空间规划除了以上内容外，还要考虑磁盘阈值报警，业务数据未来增加大小等。

相关文章：

StarRocks 生产部署一套集群，存储空间如何规划？

背景：StarRocks 3.2，存储一体 使用场景：多分析、小查询多单但不高、数据量几百T FE 存储 由于 FE 节点仅在其存储中维护 StarRocks 的元数据，因此在大多数场景下，每个 FE 节点只需要 100 GB 的 HDD 存储&#xff0c…...

编程日记 2024/12/25 1:02:46

JVM执行引擎JIT深度剖析

前端编译与后端编译 Java 程序的编译过程是分两个部分的。一个部分是从java文件编译成为class文件，这一部分也称为前端编译。另一个部分则是这些class文件，需要进入到 JVM 虚拟机，将这些字节码指令编译成操作系统识别的具体机器指令。这一部…...

编程日记 2024/12/25 0:55:39

【DOCKER】基于DOCKER的服务之DUFS

文件上传下载服务器：https://github.com/sigoden/dufs # 拉取镜像 docker pull sigoden/dufs# 创建数据卷文件夹 mkdir -p /data/.docker/volumes/dufs# 创建容器 docker run -id --restartalways --name dufs \-p 51080:5000 \-v /data/.docker/volumes/dufs:/dat…...

编程日记 2024/12/25 0:48:31

加密货币地址的基本概念

什么是地址？ 在日常生活中，地址可能指房屋、电子邮件或官网的位置，用来精确定位在系统中的特定位置或端点。在加密货币领域，地址也起着类似的基础作用，只不过是在数字环境中。 加密货币地址是区块链网络中使用的唯一…...

编程日记 2024/12/25 0:37:20

如何在 Linux 服务器上部署 Pydio Cells 教程

简介 Pydio Cells 是一个开源的文档共享和协作平台，专为你的组织设计。它允许你在组织内部分享文档和文件，并让你完全掌控文档共享环境。 在本教程中，我们将向你展示如何在 Alma Linux 9 服务器上安装 Pydio Cells。你将使用 MariaDB 数据库…...

编程日记 2024/12/25 0:35:18

Halcon例程代码解读:安全环检测(附源码|图像下载链接)

安全环检测核心思路与代码详解 项目目标 本项目的目标是检测图像中的安全环位置和方向。通过形状匹配技术，从一张模型图像中提取安全环的特征，并在后续图像中识别多个实例，完成检测和方向标定。 实现思路 安全环检测分为以下核心步骤&…...

编程日记 2024/12/25 0:33:16

Selenium 全面指南

Selenium 是一个强大的 Web 自动化工具，支持多种浏览器和语言绑定。 1. Selenium 的基本概念 WebDriver：Selenium 提供的核心接口，用于控制浏览器操作。显式等待：等待特定条件满足后再执行操作。隐式等待：全局设置一个…...

编程日记 2024/12/25 0:31:10

#error: WinSock.h has already been included解决方案

原因&#xff1a; 在工程中使用了 Boot 库之后&#xff0c;使用了socket、tcp 相关的头文件&#xff0c;在其他地方还是包括了头文件<windows.h>&#xff0c;该头文件内包含了<winsock.h>。导致遇到报错问题&#xff1a;WinSock.h has already been included 解决…...

编程日记 2024/12/25 0:30:09

2.Couchbase 的增量查询优化

在 Couchbase 中实现增量查询的优化是关键&#xff0c;尤其当数据量庞大时。通过合适的策略&#xff0c;可以显著提高增量查询的效率&#xff0c;确保系统在处理实时数据时的响应速度和性能。下面是一些针对 Couchbase 增量查询的优化策略。 1. 使用索引优化查询 为了提升增量…...

编程日记 2024/12/25 0:29:00

汽车IVI中控开发入门及进阶（46）：FFmpeg

概述： FFmpeg 是领先的多媒体框架，能够解码、编码、 转码、复用、解复用、流、过滤和播放 几乎所有人类和机器创建的东西。它支持最模糊的古老格式，直到最前沿。无论它们是由某个标准委员会、社区还是公司设计的。它还具有高度的可移植性：FFmpeg 在各种构建环境、机器架构…...

编程日记 2024/12/25 0:22:55

Spring Boot 中的 @Scheduled 定时任务以及开关控制

Scheduled注解是Spring框架&#xff08;包括Spring Boot&#xff09;中用于实现定时任务的一种方式。以下是对Scheduled注解的详细解析&#xff1a; 一、基本概念 Scheduled注解允许开发者在Spring容器中定义定时任务。通过简单地在一个方法上添加Scheduled注解&#xff0c;S…...

编程日记 2024/12/25 0:17:50

服务器证书原理

CA&#xff08;Certificate Authority&#xff09;证书是由 证书颁发机构&#xff08;CA&#xff09;本身签名的。具体来说&#xff0c;这取决于 CA 的类型和其在信任链中的位置&#xff1a; 1. 自签名证书 根 CA 证书 是信任链的起点&#xff0c;由 CA 自己签名。它们是信任链…...

编程日记 2024/12/25 0:16:49

重温设计模式--代理、中介者、适配器模式的异同

文章目录 1、相同点2、不同点 1、相同点 目的都是为了更好地处理对象之间的关系&#xff1a;这三种模式都是在软件设计中用于处理对象之间的关联和交互&#xff0c;以达到优化系统结构、增强可维护性等目的。它们都在一定程度上隐藏了对象之间的某些细节或者复杂性&#xff0c…...

编程日记 2024/12/25 0:12:45

2024第十六届蓝桥杯模拟赛（第二期）-Python

# 2024第十六届蓝桥杯模拟赛&#xff08;第二期&#xff09;-Python题解 # 自己改注释# -----------------------1------------------------ # def prime(x): # if x < 2: # return 0 # for i in range(2, int(x ** 0.5) 1): # if x % i 0: # …...

编程日记 2024/12/25 0:10:42

分布式系统中的防抖策略一致性与性能优化

目录 引言分布式系统的挑战防抖策略简介确保多实例间一致性的方法 幂等操作TTL缓存 分布式一致性事件总线或消息队列异步任务调度器客户端或API网关层面的防抖一致性哈希与分区限流和熔断机制 避免锁竞争导致的性能瓶颈Java示例代码结论 引言 在现代软件架构中&#xff0c;…...

编程日记 2024/12/25 0:07:36

项目代码第6讲：UpdownController.cs；理解 工艺/工序 流程、机台信息；前端的“历史 警报/工艺 记录”

一、UpdownController.cs 1、前端传入 当用户在下图的“记录查询”中的 两个界面选项 中，点击“导出”功能时，向后端发起请求，请求服务器下载文件的权限 【权限是在Program.cs中检测的，这个控制器里只需要进行“谁在哪个接口下载了文件”的日志记录】 【导出：是用户把…...

编程日记 2024/12/25 0:03:30

【计算机视觉基础CV-图像分类】03-深度学习图像分类实战：鲜花数据集加载与预处理详解

本文将深入介绍鲜花分类数据集的加载与处理方式&#xff0c;同时详细解释代码的每一步骤并给出更丰富的实践建议和拓展思路。以实用为导向&#xff0c;为读者提供从数据组织、预处理、加载到可视化展示的完整过程&#xff0c;并为后续模型训练打下基础。 前言 在计算机视觉的深…...

编程日记 2024/12/25 0:02:29

大模型应用技术系列(一）：大模型应用整体技术栈浅析

RAG相关的技术学习暂时告一段落了，接下来尝试探索新的学习方向。这就引入一个问题：接下来该做什么？为了能进一步推进，我需要有一个整体的视角，从更上层来看整个技术栈，从而确定接下来感兴趣的方向。本文主要探索从更上层的视角来看构建大模型的技术栈，从而进一步确定研究…...

编程日记 2024/12/24 23:59:26

绿色环保木塑复合材料自动化生产线设计书

《绿色环保木塑复合材料自动化生产线设计书》 一、项目概述 随着全球对环境保护和可持续发展的日益重视，绿色环保材料的研发与生产成为了热门领域。木塑复合材料作为一种新型的绿色环保材料，它将木材纤维与塑料通过特定工艺复合而成，兼具木材与塑料的双重特性，具有防水、…...

编程日记 2024/12/24 23:55:21

Sourcegraph 概述

Sourcegraph 报告 Sourcegraph 是一款强大的代码搜索和智能导航工具&#xff0c;专为大型代码库、分布式系统和跨多个仓库的开发环境设计。它能显著提高开发者对复杂系统的理解和维护效率&#xff0c;帮助团队在庞大的代码库中快速找到关键信息。本文将详细讲解 Sourcegraph 的…...

编程日记 2024/12/24 23:53:19

c 保存 csv格式的文件

在C语言中保存数据为CSV&#xff08;逗号分隔值&#xff09;格式的文件&#xff0c;你可以使用标准I/O库函数&#xff0c;如fprintf&#xff0c;来将数据写入文件&#xff0c;并确保每个字段之间用逗号分隔。以下是一个简单的示例&#xff0c;说明如何在C语言中创建一个CSV文件…...

编程日记 2024/12/24 23:46:13

C语言扫雷游戏教学(有图形界面)(提供源码+实验报告)(计时+排行榜+难度选择+登录注册+背景音乐)(涉及easyX库)

前言&#xff1a; 本篇文章篇幅较长&#xff0c;请根据自己的需求在目录上跳转对应内容哦&#xff01;源码及实验报告的获取在文章的后面哦&#xff01;本人代码水平不佳&#xff0c;希望本文章和项目能带给大家帮助&#xff01; 目录 前言&#xff1a; 一.成果预览&#x…...

编程日记 2024/12/24 23:41:04

第五节：GLM-4v-9b模型model加载源码解读(模型相关参数方法解读)

文章目录 前言一、GLM-4v-9b模型model加载源码解读1、GLM-4v-9b模型model加载主函数源码2、GLM-4v-9b模型model加载源码源码解读3、GLM-4v-9b自定义模型类源码解读 二、基于GLM-4v-9b模型获取模型输入参数等内容源码解读(from_pretrained-->huggingface)1、from_pretrained函…...

编程日记 2024/12/24 23:39:01

面试经验分享 | 北京渗透测试岗位

更多大厂面试经验的视频经验分享看主页 目录&#xff1a; 所面试的公司&#xff1a;安全大厂 所在城市&#xff1a;北京 面试职位&#xff1a;渗透测试工程师 面试方式&#xff1a;腾讯会议线上面试线下面试 面试过程&#xff1a; 面试官的问题&#xff1a; 1、说一下XSS有哪…...

编程日记 2024/12/24 23:34:55

unity Toggle制作滑动开关

先上效果图 重点是这个Graphic要清空,不然显示不能直接切换,会消失 using DG.Tweening; using UnityEngine; using UnityEngine.UI;public class SwitchToggle : MonoBehaviour {public RectTransform handleRect;public float duration 0.5f;private Vector2 handlePos;To…...

编程日记 2024/12/24 23:33:54

全面解析 Kubernetes 流量负载均衡：iptables 与 IPVS 模式

目录 Kubernetes 中 Service 的流量负载均衡模式 1. iptables 模式 工作原理 数据路径 优点 缺点 适用场景 2. IPVS 模式 工作原理 数据路径 优点 缺点 适用场景 两种模式的对比 如何切换模式 启用 IPVS 模式 验证模式 总结 Kubernetes 中 Service 的流量负载…...

编程日记 2024/12/24 23:30:49

【unity】【游戏开发】Unity项目一运行就蓝屏报Watch Dog Timeout

【背景】 由于是蓝屏所以没法截屏&#xff0c;总之今天遇到了一开Unity&#xff0c;过一阵就蓝屏的情况&#xff0c;报Watch Dog Timeout。 【分析】 通过任务管理器查看&#xff0c;发现Unity占用率100%&#xff0c;再观察Unity内部&#xff0c;每次右下角出现一个Global I…...

编程日记 2024/12/24 23:29:48

【macos java反编译工具Java Decompiler】

mac上能用的反编译工具 https://java-decompiler.github.io/...

编程日记 2024/12/24 23:24:39

宠物用品电子商务系统｜Java｜SSM｜VUE｜ 前后端分离

【技术栈】 1⃣️&#xff1a;架构: B/S、MVC 2⃣️&#xff1a;系统环境&#xff1a;Windowsh/Mac 3⃣️&#xff1a;开发环境&#xff1a;IDEA、JDK1.8、Maven、Mysql5.7 4⃣️&#xff1a;技术栈&#xff1a;Java、Mysql、SSM、Mybatis-Plus、VUE、jquery,html 5⃣️数据库可…...

编程日记 2024/12/24 23:20:33

脑肿瘤检测数据集，对9900张原始图片进行YOLO，COCO，VOC格式的标注

脑肿瘤检测数据集&#xff0c;对9900张原始图片进行YOLO&#xff0c;COCO&#xff0c;VOC格式的标注 数据集分割 训练组 70&#xff05; 6930图片 有效集 20&#xff05; 1980图片 测试集 10&#xff05; 990图片 预处理 静态裁剪&#xff1a; 24-82&…...

编程日记 2024/12/24 23:19:31