当前位置： 首页 > news >正文

HBase集群环境搭建与测试

news 2026/3/31 19:10:27

🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇

个人主页：beixi@
本文章收录于专栏（点击传送）：【大数据学习】

💓💓持续更新中，感谢各位前辈朋友们支持学习~💓💓

文章目录

    • 1.HBase集群环境介绍
    • 2.搭建环境准备
    • 3.搭建步骤
    • 4.HBase集群环境启动、验证和停止

1.HBase集群环境介绍

HBase集群由多个RegionServer节点和一个或多个HMaster节点组成。HMaster节点负责管理元数据（例如表的位置、分区等），并协调集群中的各个节点。RegionServer节点负责存储和处理数据，并与HMaster节点通信以获取元数据信息。

HBase集群的主要特点包括：

  • 可靠性：HBase采用数据副本和RegionServer读写分离等机制来实现容错和恢复能力，即使部分节点出现故障，集群仍然可用。
  • 高性能：HBase通过将表分割成不同的Region来进行水平扩展，可以处理海量数据并具有很高的读写性能。
  • 数据模型：HBase提供类似于Google的Bigtable的列族存储模型，可以灵活定义列族和列，支持动态添加或删除列族和列。
  • 多版本控制：HBase支持存储多个版本的数据，可以回滚到先前的状态，也可以查询以前的历史值。
    在这里插入图片描述

2.搭建环境准备

本次用到的环境有：
Oracle Linux 7.4
Zookeeper3.4.6集群环境
Hadoop2.7.4集群环境

注：HBase依赖于ZooKeeper来进行分布式协调和管理，因此在搭建启用HBASE之前，需要提前搭建并启动好zookeeper集群环境，zookeeper的搭建和启动可以参考我的上一篇文章：ZooKeeper集群环境搭建

3.搭建步骤

1.启动zookeeper集群环境，zookeeper的搭建和启动可以参考我的上一篇文章：ZooKeeper集群环境搭建

2.解压HBase压缩文件至/opt目录。

tar -zxvf /root/experiment/file/hbase-1.2.6-bin.tar.gz -C /opt

在这里插入图片描述

3.修改解压后文件夹的名字为hbase。

cd /opt
mv /opt/hbase-1.2.6 /opt/hbase

在这里插入图片描述

4.查找Java安装路径

echo $JAVA_HOME

在这里插入图片描述

5.配置hbase-env.sh文件

vim /opt/hbase/conf/hbase-env.sh

在这里插入图片描述

6.按键:set nu回车设置行号，部分截图如下
在这里插入图片描述

7.按键27gg，光标定位到27行，部分截图如下
在这里插入图片描述

8.按键 i ，更改代码如下：

export JAVA_HOME=/usr/lib/java-1.8

在这里插入图片描述

9.按键Esc，按键128gg，光标定位到128行，部分截图如下
在这里插入图片描述

10.按键 i ，设置HBase使用外部独立Zookeeper集群，更改代码如下：

export HBASE_MANAGES_ZK=false

在这里插入图片描述

11.按键Esc，按键”:wq!”保存退出。
12.配置hbase-site.xml文件

vim /opt/hbase/conf/hbase-site.xml

在这里插入图片描述

13.按键:set nu回车设置行号，部分截图如下
在这里插入图片描述

14.按键24gg，光标定位到24行，部分截图如下
在这里插入图片描述

15.按键 i ，在标签之间填加代码如下：

<property><name>hbase.zookeeper.quorum</name><value>master,slave1,slave2</value>
</property>
<property><name>hbase.zookeeper.property.dataDir</name><value>/root/hbase</value>
</property>
<property><name>dfs.datanode.max.transfer.threads</name><value>4096</value>
</property>
<property><name>hbase.rootdir</name><value>hdfs://master:8020/hbase</value>
</property>
<property><name>hbase.cluster.distributed</name><value>true</value>
</property>

在这里插入图片描述

16.按键Esc，按键”:wq!”保存退出。
17.配置regionservers文件

vim /opt/hbase/conf/regionservers

在这里插入图片描述

18.按键dd，删除第一行“localhost”，截图如下
在这里插入图片描述

19.按键 i ，填加代码如下：

slave1
slave2

在这里插入图片描述

按键Esc，按键”:wq!”保存退出。
20.配置hbase环境变量

vim ~/.bashrc

在这里插入图片描述

21.按键“shift+g”组合键，达到页面底部。
22.按键 i ，填加代码如下：

export HBASE_HOME=/opt/hbase
export PATH=$PATH:$HBASE_HOME/bin

在这里插入图片描述

23.按键Esc，按键”:wq!”保存退出。
24.刷新配置文件，使新加Hbase环境变量生效。

source ~/.bashrc

在这里插入图片描述

25.拷贝master主机“.bashrc”文件到slave1、slave2从机“~”下。

scp ~/.bashrc slave1:~/

scp ~/.bashrc slave2:~/

在这里插入图片描述

26.拷贝配置好的hbase文件夹到slave1、slave2从机“/opt”下。

scp -r /opt/hbase slave1:/opt

在这里插入图片描述

scp -r /opt/hbase slave2:/opt

在这里插入图片描述

27.切换至“从节点1”机器，双击桌面“Xfce终端”图标打开命令窗口。刷新配置文件，使新加Hbase环境变量生效，退回master主机。

ssh slave1

source ~/.bashrc

exit

在这里插入图片描述

28.切换至“从节点2”机器，双击桌面“Xfce终端”图标打开命令窗口。刷新配置文件，使新加Hbase环境变量生效，退回master主机。

ssh slave2

source ~/.bashrc

exit

在这里插入图片描述

4.HBase集群环境启动、验证和停止

1.切换至“主节点”，双击桌面“Xfce终端”图标打开命令窗口，启动Hadoop。

start-all.sh

在这里插入图片描述

2.启动HBase。

start-hbase.sh

在这里插入图片描述

3.查看守护进程。其中HMaster为HBase的守护进程。

jps

在这里插入图片描述

4.切换至“从节点1”，查看守护进程。其中HRegionServer为HBase的守护进程。

ssh slave1

jps

exit

在这里插入图片描述

5.切换至“从节点2”，查看守护进程。其中HRegionServer为HBase的守护进程。

ssh slave2

jps

exit

在这里插入图片描述

6.切换至“主节点”，查看HDFS平台上Hbase。

hdfs dfs -lsr /hbase

在这里插入图片描述

7.启动HBase-shell。

hbase shell

在这里插入图片描述

8.HBase下建立带有一个列族family1的表table1。

create 'table1','family1'

在这里插入图片描述

9.向表table1中列族family1下建立列为column1，并向列中播入数据value-1。

put 'table1','myrow-1','family1:column1','value-1'

在这里插入图片描述

10.查询表table1中内容。

scan 'table1'

在这里插入图片描述

11.删除表。

disable 'table1'

drop 'table1'

12.退出HBase shell。

quit

在这里插入图片描述

13.停止Hbase进程。注意：这里速度有点慢，可能需要稍等几分钟。

stop-hbase.sh

在这里插入图片描述

14.停止Hadoop进程。

stop-all.sh

在这里插入图片描述

15.停止“主节点”，即master机上的zookeeper进程。

zkServer.sh stop

在这里插入图片描述

16.停止“从节点1”，即slave1机上的zookeeper进程。

ssh slave1

zkServer.sh stop

exit

在这里插入图片描述

17.停止“从节点2”，即slave2机上的zookeeper进程。

ssh slave2

在这里插入图片描述

zkServer.sh stop

在这里插入图片描述

相关文章：

HBase集群环境搭建与测试

&#x1f947;&#x1f947;【大数据学习记录篇】-持续更新中~&#x1f947;&#x1f947; 个人主页&#xff1a;beixi 本文章收录于专栏&#xff08;点击传送&#xff09;&#xff1a;【大数据学习】 &#x1f493;&#x1f493;持续更新中&#xff0c;感谢各位前辈朋友们支持…...

编程日记 2023/9/1 9:33:00

【iOS】Masonry的基本使用

文章目录 前言一、使用Masonry的原因二、约束的常识三、Masonry的简单使用四、Masonry的用例总结 前言 暑假安装了cocoapods&#xff0c;简单使用其调用了SVGKit&#xff0c;但是没有学习Masonry&#xff0c;特此总结博客记录Masonry的学习 一、使用Masonry的原因 Masonry是一…...

编程日记 2023/9/1 9:31:59

浅析SAS协议：链路层

文章目录 概述原语通用原语连接管理原语连接通信原语 地址帧IDENTIFY地址帧OPEN地址帧 链路复位Link ResetHard ResetSATA的Link Reset 连接管理建立连接连接仲裁 流量控制SSP流控Credit Advance SMP流控 相关参考 概述 SAS链路层用于定义原语、地址帧以及连接相关的内容&…...

编程日记 2023/9/1 9:30:57

ES6之浅尝辄止1:class的用法

class是es6新增的一种语法糖&#xff0c;用于简化js中构造类的过程 1.es5中如何构造类&#xff1f; function Person(name,age){this.name name;this.age age; } Person.prototype.sayName function(){return this.name; } let p1 new Person(小明,22);2.es6中的class方式…...

编程日记 2023/9/1 9:29:55

django-发送邮件

一、业务场景 业务警告 邮箱验证 密码找回 二、邮件相关协议 1.SMYTP&#xff08;简答邮件传输协议 25端口&#xff09; 属于“推送”协议 负责发送 2.IMAP&#xff08;交互式邮件访问协议&#xff0c;应用层协议&#xff0c;143端口&#xff09; 用于从本地邮件客户端…...

编程日记 2023/9/1 9:28:54

IP私域系统搭建课，视频号打通你的个人ip私域

标题&#xff1a;搭建IP私域系统课程&#xff1a;打通视频号&#xff0c;打造个人IP私域的关键策略 导语&#xff1a; 在当今信息爆炸的时代&#xff0c;个人IP&#xff08;知识产权&#xff09;的价值越来越受到重视。搭建IP私域系统通过打通视频号&#xff0c;成为了打造个人…...

编程日记 2023/9/1 9:27:52

咸虾米之一些快捷方式的操作，一行方块的左右滑动,方块在一区域内的任意移动

由于本着只学习微信小程序的目的&#xff0c;上面的几篇博文都是跟着黑马程序的课程走的&#xff01;后面的就讲解uni-app的实验呢&#xff01;一个人的精力是有限的&#xff0c;于是换了们课程继续深造微信小程序&#xff01;&#xff01;&#xff01; 以下是在 .wxml中的一些…...

编程日记 2023/9/1 9:26:52

Linux 高级指令

十个常用高级Linux指令、其具体用法和示例&#xff1a; 1.grep&#xff1a;用于搜索指定文本内容&#xff0c;可以通过正则表达式匹配搜索。 用法示例&#xff1a;在当前目录下搜索包含关键词“hello”的文件并列出文件名&#xff1a; grep -r "hello" 2.find&a…...

编程日记 2023/9/1 9:25:51

江苏移动基于OceanBase稳步创新推进核心数据库分布式升级

*本文首发自《中国电信业》 数字经济时代&#xff0c;数据库作为企业核心数据存储、处理、挖潜等方面的关键载体&#xff0c;重要性日益凸显。对于运营商而言&#xff0c;数据库具有行业用户数量多、访问数量多、业务复杂度高、数据安全性高、响应要求性高以及需要 7*24 小时服…...

编程日记 2023/9/1 9:24:50

6. 删除顺序表中的重复元素

p17 6. 删除顺序表中的重复元素 #include<stdio.h> #include<stdlib.h> #define MaxSize 100 typedef struct {int* data;int capacity;int length; }SeqList;int InitList(SeqList &L) {L.data (int*)malloc(MaxSize * sizeof(int));L.capacity MaxSize;L.l…...

编程日记 2023/9/1 9:23:49

Vue——axios的二次封装

文章目录 一、请求和传递参数1、get 请求2、post 请求3、axios 请求配置 二、axios 的二次封装1、配置拦截器2、发送请求 三、API 的解耦1、配置文件对应的请求2、获取请求的数据 四、总结 一、请求和传递参数 在 Vue 中&#xff0c;发送请求一般在 created 钩子中&#xff0c…...

编程日记 2023/9/1 9:22:47

JavaScript Web APIs -03 事件流、事件委托、其他事件（加载、滚动、尺寸）

Web APIs - 03 文章目录 Web APIs - 03事件流捕获和冒泡阻止冒泡 事件委托其他事件页面加载事件元素滚动事件页面尺寸事件 元素尺寸与位置 进一步学习 事件进阶&#xff0c;实现更多交互的网页特效&#xff0c;结合事件流的特征优化事件执行的效率 掌握阻止事件冒泡的方法理解事…...

编程日记 2023/9/1 9:21:46

QT DAY 2

window.cpp #include "window.h" #include<QDebug> #include<QIcon> Window::Window(QWidget *parent) //构造函数的定义: QWidget(parent) //显性调用父类的构造函数 {//this->resize(430,330);this->resize(QSize(800,600));// this…...

编程日记 2023/9/1 9:20:45

ELK安装、部署、调试（三）zookeeper安装，配置

1.准备 java安装&#xff0c;系统自带即可 2.下载zookeeper zookeeper.apache.org上可以下载 tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz -C /usr/local mv apache-zookeeper-3.7.1-bin zookeeper 3.配置zookeeper mv zoo_sample.cfg zoo.cfg /usr/local/zookeeper/con…...

编程日记 2023/9/1 9:19:42

企业级智能PDF及文档处理SDK GdPicture.NET 14.2 Crack

企业级智能PDF及文档处理SDK GdPicture.NET 提供了一组非常先进的 API&#xff0c;这些 API 利用了人工智能、机器学习和模糊逻辑算法等尖端技术。经过超过 15 年的持续研究和对创新的专注&#xff0c;我们的 SDK 已成为市场上针对PDF、OCR、条形码、文档成像和各种格式最全面的…...

编程日记 2023/9/1 9:18:41

应用程序管理工具

应用程序管理是 DevOps 的重要组成部分。它可以定义为在所有阶段监控和管理软件应用程序的可用性、运行状况、性能和功能的过程&#xff0c;包括规划、设计、构建、测试、部署、维护和更新。这意味着应用程序从概念到停止都受到监控。 应用程序管理的重要性 管理应用程序可确…...

编程日记 2023/9/1 9:17:41

当数据集较小时，调节学习率的方法

当数据集较小时&#xff0c;调节学习率的方法 当数据集较小时&#xff0c;调节学习率的方法可以参考以下步骤&#xff1a; 当数据集较小时&#xff0c;调节学习率的方法可以参考以下步骤&#xff1a; 先尝试一个较小的学习率&#xff0c;如0.001&#xff0c;或者根据经验设置一…...

编程日记 2023/9/1 9:16:39

JS实现数组的扁平化(ES6实现)----例子+难点解析

要求&#xff1a; 取出嵌套数组(多维)中的所有元素放到一个新数组(一维)中如: [1, [3, [2, 4]]] > [1, 3, 2, 4] 基础知识&#xff1a; arr.concat() 语法&#xff1a;数组.concat(其他数组) 作用&#xff1a;将其他数组和数组拼接在一起 返回值&#xff1a;拼接好的新数…...

编程日记 2023/9/1 9:15:37

git 提交错误，回滚到某一个版本

git log 查看版本号 commit 后面跟的就是版本号git reset --hard 版本号 &#xff08;就可以回滚到你要去的版本&#xff09;git push -f &#xff08;因为本地回滚了&#xff0c;所以和远程会差几个版本。所以这时候只有强制推送&#xff0c;覆盖远程才可以&#xff09;...

编程日记 2023/9/1 9:14:35

数据结构：八种数据结构大全

数据结构 1.1 数据结构概述 数据结构是计算机存储、组织数据的方式&#xff1b;通常情况下&#xff0c;精心选择的数据结构可以带来更高的运行或者存储效率。数据结构的优良将直接影响着我们程序的性能&#xff1b;常用的数据结构有&#xff1a;数组&#xff08;Array&#xff…...

编程日记 2023/9/1 9:13:34

新手友好：在快马平台通过生成式ai轻松上手tomcat与servlet开发

作为一个Java Web开发的新手&#xff0c;刚开始接触Tomcat和Servlet时确实会遇到不少困惑。记得我第一次尝试搭建环境时&#xff0c;光是配置Tomcat服务器就折腾了大半天&#xff0c;更别提理解Servlet的运行机制了。直到发现了InsCode(快马)平台&#xff0c;才真正找到了快速上…...

编程新知 2026/3/31 18:44:16

如何用Win11Debloat让你的Windows系统速度提升70%：终极优化指南

如何用Win11Debloat让你的Windows系统速度提升70%&#xff1a;终极优化指南 【免费下载链接】Win11Debloat A simple, lightweight PowerShell script that allows you to remove pre-installed apps, disable telemetry, as well as perform various other changes to declutt…...

编程新知 2026/3/31 18:32:07

Qwen3.5-9B-AWQ-4bit开源可部署教程：私有云/K8s集群中部署多实例视觉理解服务

Qwen3.5-9B-AWQ-4bit开源可部署教程&#xff1a;私有云/K8s集群中部署多实例视觉理解服务 1. 模型概述 Qwen3.5-9B-AWQ-4bit是一个支持图像理解的多模态模型&#xff0c;能够结合上传图片与文字提示词&#xff0c;输出中文分析结果。这个量化版本特别适合在资源受限的环境中部…...

编程新知 2026/3/31 12:09:37

eNSP安装避坑指南：WinPcap/Wireshark/VirtualBox依赖关系解析

eNSP安装避坑指南&#xff1a;WinPcap/Wireshark/VirtualBox依赖关系解析 当你第一次打开eNSP安装包时&#xff0c;可能会疑惑为什么需要同时安装WinPcap、Wireshark和VirtualBox这三个看似不相关的软件。这就像组装一台精密仪器——少了任何一个螺丝&#xff0c;整台机器都无法…...

编程新知 2026/3/31 11:05:07

别再写死代码了！用MCP Tool模块5分钟搞定AI与数据库的安全对话

别再写死代码了&#xff01;用MCP Tool模块5分钟搞定AI与数据库的安全对话 当AI模型需要与数据库交互时&#xff0c;开发者常面临两难选择&#xff1a;要么直接暴露数据库连接信息&#xff0c;要么编写大量胶水代码。这两种方案都存在明显缺陷——前者带来安全隐患&#xff0c;…...

编程新知 2026/3/31 11:03:07

DLSS Swapper智能工具：游戏性能优化与版本管理完全指南

DLSS Swapper智能工具&#xff1a;游戏性能优化与版本管理完全指南 【免费下载链接】dlss-swapper 项目地址: https://gitcode.com/GitHub_Trending/dl/dlss-swapper DLSS Swapper是一款专为游戏玩家设计的深度学习超级采样(DLSS)版本管理工具&#xff0c;能够自动扫描…...

编程新知 2026/3/31 10:10:23

Pixel Epic效果展示：支持Markdown+LaTeX混合输出的学术论文初稿生成案例

Pixel Epic效果展示&#xff1a;支持MarkdownLaTeX混合输出的学术论文初稿生成案例 1. 像素史诗&#xff1a;科研写作的新范式 在传统学术写作工具普遍沉闷单调的背景下&#xff0c;Pixel Epic带来了一场视觉与功能双重革新的科研体验。这款基于AgentCPM-Report大模型的智能终…...

编程新知 2026/3/31 6:24:40

汽车ECU FOTA升级必备：手把手教你用C语言解析S19/HEX文件（附完整代码）

汽车ECU FOTA升级实战&#xff1a;C语言高效解析S19/HEX文件的技术内幕 在汽车电子控制单元&#xff08;ECU&#xff09;的固件空中升级&#xff08;FOTA&#xff09;流程中&#xff0c;二进制文件的解析效率直接影响着升级过程的可靠性和实时性。当编译器生成的S19或HEX文件需…...

编程新知 2026/3/31 6:10:33

OpenClaw赋能金融投研：17个高效应用案例详解

扫描下载文档详情页: https://www.didaidea.com/wenku/16666.html...

编程新知 2026/3/31 5:52:29

Ryujinx：C编写的Nintendo Switch模拟器技术解析与应用指南

Ryujinx&#xff1a;C#编写的Nintendo Switch模拟器技术解析与应用指南 【免费下载链接】Ryujinx 用 C# 编写的实验性 Nintendo Switch 模拟器 项目地址: https://gitcode.com/GitHub_Trending/ry/Ryujinx Ryujinx是一款用C#编写的实验性Nintendo Switch模拟器&#xff…...

编程新知 2026/3/31 4:25:13