当前位置： 首页 > news >正文

HBase 计划外启动 Major Compaction 的原因

news 2026/5/17 9:34:23

HBase 的 Compaction 有两个线程池，一个是为 Minor Compaction 准备的， 一个是为 Major Compaction 准备的，hbase.regionserver.thread.compaction.throttle 是决定 Compaction 请求放入哪个线程池的阈值，当待合并文件的总大小小于这个阈值时，就是一个 Minor Compaction，当待合并文件的总大小大于这个阈值时，就是一个 Major Compaction。这个阈值的默认值是：2.5 GB （2684354560 Bytes）， 这是基于以下方式计算得到的：

2 × hbase.hstore.compaction.max（StoreFile文件数量，默认10个） × hbase.hregion.memstore.flush.size （StoreFile文件大小，默认128MB）= 2.5 GB

所以，有时候我们可能会发现：虽然集群已经 Disabled 了周期性自动 Compaction，但是在日志中依然会发现有：Completed major compaction ... 字样的信息，也就是说：确实发生了 Major Compaction，原因就是上面的提到的这种情况。

如果想避免这种计划外的 Compaction（全部手动触发），可以：

  1. 调大：hbase.regionserver.thread.compaction.throttle （默认是2.5GB）
  2. 调小：hbase.hstore.compaction.max

相关文章：

HBase 计划外启动 Major Compaction 的原因

HBase 的 Compaction 有两个线程池，一个是为 Minor Compaction 准备的， 一个是为 Major Compaction 准备的，hbase.regionserver.thread.compaction.throttle 是决定 Compaction 请求放入哪个线程池的阈值，当待合并文件的总大小小于这个阈值时，就是一个 Minor Compaction，…...

编程日记 2023/10/10 13:55:12

设计模式-桥接模式

概念 用于把抽象化与实现化解耦使得二者可以独立变化 演示 class ColorShape {yellowCircle() {console.log(yellow circle)}redCircle() {console.log(red circle)}yellowTriangle() {console.log(yellow triangle)}redTriangle() {console.log(red triangle)} }// 测试 le…...

编程日记 2023/10/10 13:54:10

arcgis地形分析全流程

主要内容：DEM的获取与处理、高程分析、坡度分析、坡向分析、地形起伏度分析、地表粗糙度分析、地表曲率分析； 主要工具：镶嵌至新栅格、按掩膜提取、投影栅格、坡度、坡向、焦点统计 一 DEM的获取与处理 1.1 DEM是什么？ DEM(D…...

编程日记 2023/10/10 13:52:08

mapper.xml中的sql标签

在MyBatis中&#xff0c;mapper.xml文件是用于定义数据库操作的映射文件&#xff0c;其中的<sql>标签用于定义可重用的SQL片段。这些SQL片段可以在<select>, <update>, <insert>, <delete>等操作中被引用&#xff0c;以避免在多个地方重复编写相…...

编程日记 2023/10/10 13:51:07

重启redis的步骤

要重启 Redis&#xff0c;需要使用以下步骤&#xff1a; 登录到您的服务器&#xff1a;使用 SSH 或其他远程访问方式登录到托管 Redis 的服务器。 停止 Redis 服务器&#xff1a;您可以使用以下命令停止 Redis 服务器&#xff1a; redis-cli shutdown 这将向 Redis 服务器发送…...

编程日记 2023/10/10 13:49:06

第二证券：如何选股票的龙头股？

在股票商场中&#xff0c;每个出资者的方针都是可以出资到那些未来可以表现出色并带领整个工作开展的龙头股。选股关于出资者来说非常要害&#xff0c;由于选股不妥或许会导致出资失利。那么&#xff0c;怎么选股票的龙头股呢&#xff1f;本文从多个角度进行剖析&#xff0c;协…...

编程日记 2023/10/10 13:48:05

【华为OD机考B卷 | 100分】统计监控、需要打开多少监控器（JAVA题解——也许是全网最详）

前言 本人是算法小白&#xff0c;甚至也没有做过Leetcode。所以&#xff0c;我相信【同为菜鸡的我更能理解作为菜鸡的你们的痛点】。 题干 OD&#xff0c;B 卷 100 分题目【OD 统一考试&#xff08;B 卷&#xff09;】 1. 题目描述 某长方形停车场每个车位上方都有一个监控…...

编程日记 2023/10/10 13:47:04

Python Django 详解（基础）

文章目录 1 概述1.1 安装 django1.2 创建 django 项目1.3 创建 app 2 启动 Django2.1 settings.py&#xff1a;注册 app2.2 view.py&#xff1a;URL和视图对应2.3 启动 Django2.4 访问 3 快速上手3.1 templates&#xff1a;html 模板3.2 static&#xff1a;静态文件3.3 模板语法…...

编程日记 2023/10/10 13:46:03

C语言内存函数

目录 memcpy(Copy block of memory)使用和模拟实现memcpy的模拟实现 memmove(Move block of memory)使用和模拟实现memmove的模拟实现: memset(Fill block of memory)函数的使用扩展 memcmp(Compare two blocks of memory)函数的使用 感谢各位大佬对我的支持,如果我的文章对你有…...

编程日记 2023/10/10 13:45:02

【Docker】Docker-compose及Consul多容器编排工具

使用一个Dockerfile模版文件可以定义一个单独的应用容器&#xff0c;当需要定义多个容器时就需要编排 docker swarm&#xff08;管理跨节点&#xff09; 编排工具——docker compose Dockerfile可以让用户管理一个单独的应用容器&#xff1b;而Compose则允许用户在一个模板&…...

编程日记 2023/10/10 13:44:02

Unity网络同步方案帧同步和状态同步

网络同步方案 介绍开始我们使用的状态同步&#xff08;实时状态同步&#xff09;后来采用的帧同步 状态同步优点缺点 帧同步顺序执行追帧重连优点缺点 总结 这两年做的都是帧同步和状态同步的项目&#xff0c;正好最近有时间总结一下什么是帧同步和状态同步&#xff0c;之前在做…...

编程日记 2023/10/10 13:43:01

【Monorepo实战】pnpm+turbo+vitepress构建公共组件库文档系统

Monorepo架构可以把多个独立的系统放到一起联调&#xff0c;本文记录基于pnpm > workspace功能&#xff0c;如何构建将vitepress和组件库进行联调&#xff0c;并且使用turbo进行任务顺序编排。 技术栈清单&#xff1a; pnpm 、vitepress 、turbo 一、需求分析 1、最终目标…...

编程日记 2023/10/10 13:41:59

CentOS 编译安装Redis

一、编译配置hiredis.h C来操作redis数据库。通过hiredis接口来实现&#xff0c;目前只能在Linux环境使用。 下载hiredis.h hiredis的下载地址为&#xff1a;https://github.com/redis/hiredis 解压并编译hiredis [rootlocalhost source_code]# pwd /usr/local/source_…...

编程日记 2023/10/10 13:40:58

可拓展的低代码全栈框架

尽管现在越来越多的人开始对低代码开发感兴趣&#xff0c;但已有低代码方案的局限性仍然让大家有所保留。其中最常见的担忧莫过于低代码缺乏灵活性以及容易被厂商锁定。 显然这样的担忧是合理的&#xff0c;因为大家都不希望在实现特定功能的时候才发现低代码平台无法支持&…...

编程日记 2023/10/10 13:39:57

C++11 智能指针

目录 智能指针 异常导致执行流乱跳 智能指针解决问题 auto_ptr unique_ptr sharded_ptr weak_ptr 智能指针 由于C11引入异常之后&#xff0c;执行流乱跳&#xff0c;所以导致之前 malloc/new 的空间很容易没有被释放&#xff0c;导致内存泄露问题。 所以这时候&#x…...

编程日记 2023/10/10 13:38:57

二、WebGPU阶段间变量（inter-stage variables）

二、WebGPU阶段间变量&#xff08;inter-stage variables&#xff09; 在上一篇文章中&#xff0c;我们介绍了一些关于WebGPU的基础知识。在本文中&#xff0c;我们将介绍阶段变量&#xff08;inter-stage variables&#xff09;的基础知识。 阶段变量在顶点着色器和片段着色…...

编程日记 2023/10/10 13:37:56

【Linux】31个普通信号

文章目录 1.每种信号的含义2.两种不能被忽略的信号3.两种不能被捕捉的信号 1.每种信号的含义 信号编号信号名信号含义1SIGHUP如果终端接口检测到一个连接断开&#xff0c;则会将此信号发送给与该终端相关的控制进程&#xff0c;该信号的默认处理动作是终止进程。2SIGINT当用户…...

编程日记 2023/10/10 13:36:55

Mac电脑交互式原型设计 Axure RP 8汉化最新 for mac

Axure RP 8是一款专业且快速的原型设计工具&#xff0c;主要用于定义需求、规格、设计功能和界面。这款工具主要适用于用户体验设计师、交互设计师、业务分析师、信息架构师、可用性专家和产品经理等职业。 Axure RP 8的主要特性包括能够快速设计出应用软件或Web网站的线框图、…...

编程日记 2023/10/10 13:35:54

在线免费无时长限制录屏工具 - 录猎在线版

需要录屏的小伙伴注意啦&#xff0c;想要长时间录制又不想花钱的&#xff0c;可以看下这款在线版录屏软件 —— 录猎在线版&#xff0c;一个录屏软件所需要的基本功能它都有&#xff0c;设置录制范围、录制的声音来源、摄像头也能录制的。同时它是支持Windows和Mac系统的&#…...

编程日记 2023/10/10 13:34:53

c语言文件操作详解：fgetc,fputc,fgets,fputs,fscanf,,fprintf,fread,fwrite的使用和区别

前言&#xff1a;在对于c语言的学习中&#xff0c;我们为了持续使用一些数据&#xff0c;为了让我们的数据可以在程序退出后仍然保存并且可以使用&#xff0c;我们引入了文件的概念和操作&#xff0c;本文旨在为大家分享在文件操作中常用的输入输出函数的使用方式和技巧&#x…...

编程日记 2023/10/10 13:33:52

ncmdumpGUI：3分钟掌握网易云音乐ncm格式转换的终极方案

ncmdumpGUI&#xff1a;3分钟掌握网易云音乐ncm格式转换的终极方案 【免费下载链接】ncmdumpGUI C#版本网易云音乐ncm文件格式转换&#xff0c;Windows图形界面版本 项目地址: https://gitcode.com/gh_mirrors/nc/ncmdumpGUI 你是否曾经在网易云音乐下载了心爱的歌曲&a…...

编程新知 2026/5/17 9:33:47

NS-USBLoader终极指南：3步搞定Switch游戏管理与RCM注入的完整教程

NS-USBLoader终极指南&#xff1a;3步搞定Switch游戏管理与RCM注入的完整教程 【免费下载链接】ns-usbloader Awoo Installer and GoldLeaf uploader of the NSPs (and other files), RCM payload injector, application for split/merge files. 项目地址: https://gitcode.c…...

编程新知 2026/5/17 9:22:47

Ruby中文分词利器Rurima：纯Ruby实现的高性能分词引擎详解

1. 项目概述&#xff1a;一个为Ruby打造的现代中文分词引擎在Ruby社区里&#xff0c;处理中文文本一直是个有点“硌脚”的活儿。如果你做过中文搜索、内容分析或者简单的词频统计&#xff0c;肯定遇到过这个经典难题&#xff1a;怎么把一串连续的中文字符&#xff0c;准确地切割…...

编程新知 2026/5/17 9:02:16

时空镜像立体成像楼宇全态透明智慧管控技术解析方案

时空镜像立体成像楼宇全态透明智慧管控技术解析方案一、方案概述当前传统楼宇管控普遍存在二维监控信息碎片化、空间感知能力薄弱、人员定位依赖外设、跨镜头轨迹断裂、身份核验存在漏洞、设备运维滞后、区域管控存在盲区等行业共性痛点&#xff0c;多数系统仅实现视频录像与基…...

编程新知 2026/5/17 7:16:00

蜘蛛池技术解析：网站收录提速的关键工具与运营策略

在搜索引擎优化领域&#xff0c;蜘蛛池是助力网站收录提速的重要辅助工具&#xff0c;尤其适配新站、低权重站或海量内容站&#xff0c;能有效破解收录慢、收录少、深层页面难抓取等痛点。本文从技术原理、核心价值、搭建要点及合规运营策略四方面&#xff0c;全面解析蜘蛛池的…...

编程新知 2026/5/17 5:02:17

AXI Crossbar设计解析：从总线互联原理到SoC集成实战

1. 项目概述&#xff1a;AXI Crossbar&#xff0c;不仅仅是“总线交叉开关”在复杂的数字系统设计&#xff0c;尤其是SoC&#xff08;片上系统&#xff09;和FPGA应用中&#xff0c;我们常常面临一个核心问题&#xff1a;多个主设备&#xff08;Master&#xff0c;如CPU、DMA控…...

编程新知 2026/5/17 4:27:28

企业级自动化运维平台OpenClaw：微内核插件化架构与实战部署指南

1. 项目概述&#xff1a;企业级开源自动化运维平台的构建最近在和一些做企业IT运维的朋友聊天&#xff0c;大家普遍提到一个痛点&#xff1a;随着业务系统越来越复杂&#xff0c;服务器、中间件、数据库的规模成倍增长&#xff0c;传统的运维方式已经力不从心。半夜被报警电话叫…...

编程新知 2026/5/17 3:02:25

保姆级教程：用STM8S207R6和FD6288T自制BLDC驱动板，从原理图到代码框架搭建

从零构建BLDC驱动板&#xff1a;STM8S207R6与FD6288T实战指南 在创客和嵌入式开发领域&#xff0c;无刷直流电机(BLDC)控制一直是兼具挑战性和实用性的热门方向。与有刷电机相比&#xff0c;BLDC电机具有高效率、长寿命和低噪音等优势&#xff0c;但驱动电路和控制系统也更为复…...

编程新知 2026/5/17 3:00:20

ANSYS APDL函数方程加载：从GUI操作到命令流集成的完整指南

1. 项目概述&#xff1a;为什么我们需要函数方程加载&#xff1f;在ANSYS的仿真世界里&#xff0c;我们经常遇到一个头疼的问题&#xff1a;载荷不是一成不变的。比如&#xff0c;一个大型储罐的侧壁&#xff0c;水压会随着深度线性增加&#xff1b;一个高速旋转的叶片&#xf…...

编程新知 2026/5/17 2:56:06

ElevenLabs乌尔都语语音合成精度实测报告（WER 8.2% vs 行业均值19.6%）：为什么它突然支持Nastaliq音素映射？

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;ElevenLabs乌尔都语语音合成精度实测报告&#xff08;WER 8.2% vs 行业均值19.6%&#xff09;&#xff1a;为什么它突然支持Nastaliq音素映射&#xff1f; ElevenLabs于2024年Q2悄然上线乌尔都语&#…...

编程新知 2026/5/17 2:45:39