当前位置: 首页 > news >正文

大数据NoSQL数据库HBase集群部署

目录

1.  简介

2.  安装

1. HBase依赖Zookeeper、JDK、Hadoop(HDFS),请确保已经完成前面

2. 【node1执行】下载HBase安装包

3. 【node1执行】,修改配置文件,修改conf/hbase-env.sh文件

4. 【node1执行】,修改配置文件,修改conf/hbase-site.xml文件

5. 【node1执行】,修改配置文件,修改conf/regionservers文件

6. 【node1执行】,分发hbase到其它机器

7. 【node2、node3执行】,配置软链接

8. 【node1、node2、node3执行】,配置环境变量

9. 【node1执行】启动HBase

10. 验证HBase

11. 简单测试使用HBase


1.  简介

HBase 是一种 分布式 、可扩展、支持海量数据存储的 NoSQL 数据库。
Redis 一样, HBase 是一款 KeyValue 型存储的数据库。
不过和 Redis 设计方向不同
        Redis 设计为少量数据,超快检索
        HBase 设计为海量数据,快速检索
HBase 在大数据领域应用十分广泛,现在我们来在 node1 node2 node3 上部署HBase集群。

2.  安装

1. HBase依赖ZookeeperJDKHadoopHDFS),请确保已经完成前面

1)集群化软件前置准备( JDK)
2) Zookeeper
3) Hadoop
跳转链接:
集群化环境前置准备_时光の尘的博客-CSDN博客
Zookeeper集群安装部署、Kafka集群安装部署_时光の尘的博客-CSDN博客
大数据集群(Hadoop生态)安装部署_时光の尘的博客-CSDN博客

2. node1执行】下载HBase安装包

# 下载
wget
http://archive.apache.org/dist/hbase/2.1.0/hbase-2.1.0-bin.tar.gz# 解压
tar -zxvf hbase-2.1.0-bin.tar.gz -C /export/server# 配置软链接
ln -s /export/server/hbase-2.1.0 /export/server/hbase

3. node1执行】,修改配置文件,修改conf/hbase-env.sh文件

# 在28行配置JAVA_HOME
export JAVA_HOME=/export/server/jdk
# 在126行配置:
# 意思表示,不使用HBase自带的Zookeeper,而是用独立
Zookeeper
export HBASE_MANAGES_ZK=false
# 在任意行,比如26行,添加如下内容:
export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"

4. node1执行】,修改配置文件,修改conf/hbase-site.xml文件

1 # 将文件的全部内容替换成如下内容:
2 <configuration>
3 - HBase数据在HDFS中的存放的路径 - >
4 <property>
5 <name>hbase.rootdir / name>
6 <value>hdfs: / node1:8020/hbase / value>
7 / property>
8 - Hbase的运行模式。false是单机模式,true是分
布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面
>
9 <property>
10 <name>hbase.cluster.distributed / name>
11 <value>true / value>
12 / property>
13 - ZooKeeper的地址 - >
14 <property>
15 <name>hbase.zookeeper.quorum / name>
16 <value>node1,node2,node3 / value>
17 / property>
18 - ZooKeeper快照的存储位置 - >
19 <property>
20
<name>hbase.zookeeper.property.dataDir / name>
21 <value>/export/server/apache-zookeeper-
3.6.0-bin/data / value>
22 / property>
23 - V2.1版本,在分布式情况下, 设置为false - >
24 <property>
25
<name>hbase.unsafe.stream.capability.enforce / name>
26 <value>false / value>
27 / property>
28 / configuration>

部分格式转换时出现错误,图片演示:

5. node1执行】,修改配置文件,修改conf/regionservers文件

# 填入如下内容
node1
node2
node3

6. node1执行】,分发hbase到其它机器

scp -r /export/server/hbase-2.1.0
node2:/export/server/
scp -r /export/server/hbase-2.1.0
node3:/export/server/

7. node2node3执行】,配置软链接

ln -s /export/server/hbase-2.1.0 /export/server/hbase

8. node1node2node3执行】,配置环境变量

# 配置在/etc/profile内,追加如下两行
export HBASE_HOME=/export/server/hbase
export PATH=$HBASE_HOME/bin:$PATHsource /etc/profile

9. node1执行】启动HBase

请确保: Hadoop HDFS Zookeeper 是已经启动了的
start-hbase.sh# 如需停止可使用
stop-hbase.sh
由于我们配置了环境变量 export PATH=$PATH:$HBASE_HOME/bin start-hbase.sh即在 $HBASE_HOME/bin 内,所以可以无论当前目录在哪,均可直接执行

10. 验证HBase

浏览器打开: http: //node1:16010 ,即可看到 HBase WEB UI 页面

11. 简单测试使用HBase

node1 执行】
hbase shell# 创建表
create 'test', 'cf'# 插入数据
put 'test', 'rk001', 'cf:info', 'itheima'# 查询数据
get 'test', 'rk001'# 扫描表数据
scan 'test'

相关文章:

大数据NoSQL数据库HBase集群部署

目录 1. 简介 2. 安装 1. HBase依赖Zookeeper、JDK、Hadoop&#xff08;HDFS&#xff09;&#xff0c;请确保已经完成前面 2. 【node1执行】下载HBase安装包 3. 【node1执行】&#xff0c;修改配置文件&#xff0c;修改conf/hbase-env.sh文件 4. 【node1执行】&#xf…...

百乐钢笔维修(官方售后,全流程)

文章目录 1 背景2 方法3 结果 1 背景 在给钢笔上墨的途中&#xff0c;不小心总成掉地上了&#xff0c;把笔尖摔弯了&#xff08;虽然还可以写字&#xff0c;但是非常的挂纸&#xff09;&#xff0c;笔身没有什么问题&#xff0c;就想着维修一下笔尖或者替换一下总成。 一般维…...

Redis 介绍安装

数据库 关系型数据库 关系型数据库是一个结构化的数据库&#xff0c;创建在关系模型&#xff08;二维表格模型&#xff09;基础上&#xff0c;一般面向于记录。 SQL 语句&#xff08;标准数据查询语言&#xff09;就是一种基于关系型数据库的语言&#xff0c;用于执行对关系型…...

MyCat管理及监控

MyCat原理 在 MyCat 中&#xff0c;当执行一条 SQL 语句时&#xff0c; MyCat 需要进行 SQL 解析、分片分析、路由分析、读写分离分析等操作&#xff0c;最终经过一系列的分析决定将当前的SQL 语句到底路由到那几个 ( 或哪一个 ) 节点数据库&#xff0c;数据库将数据执行完毕后…...

滑动窗口算法题

更新结果 1、判断条件成立后更新结果 2、入窗口后即可更新结果 判断&#xff1a; 出窗口后状态更新&#xff0c;循环回去再判断。 1、长度最小的子数组 力扣&#xff08;LeetCode&#xff09;官网 - 全球极客挚爱的技术成长平台...

部署zabbix代理服务器、部署zabbix高可用集群

目录 部署zabbix代理服务器 1、环境设置 2、设置 zabbix 的下载源&#xff0c;安装 zabbix-proxy 3、配置Mariadb yum源&#xff0c;并下载marisdb数据库 4.、启动数据库&#xff0c;并初始化数据库 5、登录数据库&#xff0c;创建数据库并指定字符集&#xff0c;并进行…...

[stm32]外中断控制灯光

在STM32CubeMX中配置外部中断功能和参数 1、将上拉输入的引脚设置为&#xff1a;GPIO_EXTI功能 2、GPIO模式设为下降沿触发外部中断&#xff0c;使能上拉电阻&#xff0c;用户标签 3、要将NVIC的相关中断勾选 只有将中断源进行勾选&#xff0c;相关的中断请求才能得到内核的…...

huggingface下大模型最好的方案

一、背景&#xff1a; 搞模型应用&#xff0c;看看别家的模型&#xff0c;huggingface模型大市场&#xff0c;国际明星企业都在上发布开源大模型&#xff0c;一般5G&#xff0c;甚至10G更大&#xff0c;怎么下载呢&#xff1f; 二、方案 1、git clone 会把整个工程给下载下来…...

Maven 密码加密

一、简介 Maven支持服务器密码加密。该解决方案解决的主要用例是&#xff1a; 多个用户共享同一台生成计算机&#xff08;服务器、CI 框&#xff09;有些用户有权将 Maven 工件部署到存储库&#xff0c;有些则没有。 这适用于任何需要授权的服务器操作&#xff0c;而不仅仅是…...

Socks5代理和代理IP:网络工程师的多面利器

在数字时代&#xff0c;网络工程师的角色日益重要&#xff0c;他们需要应对跨界电商、爬虫、出海业务、网络安全和游戏等领域的技术挑战。而Socks5代理和代理IP技术作为他们的利器&#xff0c;发挥着至关重要的作用。本文将探讨这两种技术在不同领域的应用&#xff0c;展现其在…...

模拟信号隔离器在水处理控制系统中的应用方案

安科瑞 崔丽洁 摘要&#xff1a;水处理控制系统中&#xff0c;其控制、监测模块的非电量模拟量传感器采用信号隔离器的接线方式合理地解决了相关模拟量传感器供电电源安全和相对独立的问题&#xff0c;保证了监测模块的电源、模拟量采集模块和输出模块的相对隔离&#xff0c;降…...

XML是不是主要用做配置文件?

2023年10月11日&#xff0c;周三下午 这几天发现tomcat的配置文件主要是用XML文件来写的&#xff0c; 于是就有了这个问题。 是的,XML非常适合用来做配置文件。 XML作为配置文件的主要优点: 可读性强。XML使用标签结构组织数据,内容清晰易懂。跨语言和跨平台。XML作为纯文本…...

在 Elasticsearch 中实现自动完成功能 3:completion suggester

在这篇博文中&#xff0c;我们将讨论 complete suggester - 一种针对自动完成功能进行优化的 suggester&#xff0c;并且被认为比我们迄今为止讨论的方法更快。 Completion suggester 使用称为有限状态转换器的数据结构&#xff0c;该结构类似于 Trie 数据结构&#xff0c;并且…...

走进Flink

什么是Flink Flink是一个分布式的、高性能的、可伸缩的、容错的流处理引擎&#xff0c;它支持批处理和流处理&#xff0c;并提供了丰富的 API 和库&#xff0c;是实时数据处理的理想选择 由Java 和 Scala 实现的&#xff0c;所以所有组件都会运行在Java 虚拟机【单个JVM也可以】…...

Kubernetes核心组件Services

1. Kubernetes Service概念 Service是kubernetes最核心的概念&#xff0c;通过创建Service&#xff0c;可以为一组具有相同功能的POD&#xff08;容器&#xff09;应用提供统一的访问入口&#xff0c;并且将请求进行负载分发到后端的各个容器应用上。 在Kubernetes中&#xf…...

Win10 系统中用户环境变量和系统环境变量是什么作用和区别?

环境&#xff1a; Win10专业版 问题描述&#xff1a; Win10 系统中用户环境变量和系统环境变量是什么作用和区别&#xff1f; 解答&#xff1a; 在Windows 10系统中&#xff0c;用户环境变量和系统环境变量是两个不同的环境变量&#xff0c;它们具有不同的作用和区别 1.用…...

rust模式

一、模式是什么 模式是Rust中特殊的语法&#xff0c;它用来匹配值 二、模式的使用场景 &#xff08;一&#xff09;match match的每个分支箭头左边部分就是模式。 match VALUE {PATTERN > EXPRESSION,PATTERN > EXPRESSION,PATTERN > EXPRESSION, }例子 match x …...

紫光同创FPGA 多路视频处理:图像缩放+视频拼接显示,OV7725采集,提供PDS工程源码和技术支持

目录 1、前言免责声明 2、相关方案推荐FPGA图像缩放方案推荐FPGA视频拼接叠加融合方案推荐紫光同创FPGA图像采集方案推荐紫光同创FPGA图像缩放方案推荐紫光同创FPGA视频拼接方案推荐 3、设计思路框架为什么选择OV7725摄像头&#xff1f;视频源选择OV7725摄像头配置及采集动态彩…...

软考 系统架构设计师系列知识点之软件质量属性(4)

接前一篇文章&#xff1a;软考 系统架构设计师系列知识点之软件质量属性&#xff08;3&#xff09; 所属章节&#xff1a; 第8章. 系统质量属性与架构评估 第2节. 面向架构评估的质量属性 相关试题 3. 某公司欲开发一个在线交易系统。在架构设计阶段&#xff0c;公司的架构师…...

如何用BI制作图表组合?

BI&#xff08;Business Intelligence&#xff09;是一种通过收集、分析和可视化数据来帮助企业做出决策的技术和工具。在BI中&#xff0c;制作图表组合是一种常见的方式&#xff0c;可以将不同的图表类型组合在一起&#xff0c;以更全面地呈现数据。 下面将详细介绍如何使用B…...

UE5 学习系列(二)用户操作界面及介绍

这篇博客是 UE5 学习系列博客的第二篇&#xff0c;在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下&#xff1a; 【Note】&#xff1a;如果你已经完成安装等操作&#xff0c;可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作&#xff0c;重…...

内存分配函数malloc kmalloc vmalloc

内存分配函数malloc kmalloc vmalloc malloc实现步骤: 1)请求大小调整:首先,malloc 需要调整用户请求的大小,以适应内部数据结构(例如,可能需要存储额外的元数据)。通常,这包括对齐调整,确保分配的内存地址满足特定硬件要求(如对齐到8字节或16字节边界)。 2)空闲…...

论文解读:交大港大上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架(二)

HoST框架核心实现方法详解 - 论文深度解读(第二部分) 《Learning Humanoid Standing-up Control across Diverse Postures》 系列文章: 论文深度解读 + 算法与代码分析(二) 作者机构: 上海AI Lab, 上海交通大学, 香港大学, 浙江大学, 香港中文大学 论文主题: 人形机器人…...

C++:std::is_convertible

C++标志库中提供is_convertible,可以测试一种类型是否可以转换为另一只类型: template <class From, class To> struct is_convertible; 使用举例: #include <iostream> #include <string>using namespace std;struct A { }; struct B : A { };int main…...

P3 QT项目----记事本(3.8)

3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...

python如何将word的doc另存为docx

将 DOCX 文件另存为 DOCX 格式&#xff08;Python 实现&#xff09; 在 Python 中&#xff0c;你可以使用 python-docx 库来操作 Word 文档。不过需要注意的是&#xff0c;.doc 是旧的 Word 格式&#xff0c;而 .docx 是新的基于 XML 的格式。python-docx 只能处理 .docx 格式…...

让AI看见世界:MCP协议与服务器的工作原理

让AI看见世界&#xff1a;MCP协议与服务器的工作原理 MCP&#xff08;Model Context Protocol&#xff09;是一种创新的通信协议&#xff0c;旨在让大型语言模型能够安全、高效地与外部资源进行交互。在AI技术快速发展的今天&#xff0c;MCP正成为连接AI与现实世界的重要桥梁。…...

selenium学习实战【Python爬虫】

selenium学习实战【Python爬虫】 文章目录 selenium学习实战【Python爬虫】一、声明二、学习目标三、安装依赖3.1 安装selenium库3.2 安装浏览器驱动3.2.1 查看Edge版本3.2.2 驱动安装 四、代码讲解4.1 配置浏览器4.2 加载更多4.3 寻找内容4.4 完整代码 五、报告文件爬取5.1 提…...

【MATLAB代码】基于最大相关熵准则(MCC)的三维鲁棒卡尔曼滤波算法(MCC-KF),附源代码|订阅专栏后可直接查看

文章所述的代码实现了基于最大相关熵准则(MCC)的三维鲁棒卡尔曼滤波算法(MCC-KF),针对传感器观测数据中存在的脉冲型异常噪声问题,通过非线性加权机制提升滤波器的抗干扰能力。代码通过对比传统KF与MCC-KF在含异常值场景下的表现,验证了后者在状态估计鲁棒性方面的显著优…...

作为测试我们应该关注redis哪些方面

1、功能测试 数据结构操作&#xff1a;验证字符串、列表、哈希、集合和有序的基本操作是否正确 持久化&#xff1a;测试aof和aof持久化机制&#xff0c;确保数据在开启后正确恢复。 事务&#xff1a;检查事务的原子性和回滚机制。 发布订阅&#xff1a;确保消息正确传递。 2、性…...