当前位置: 首页 > news >正文

大数据NoSQL数据库HBase集群部署

目录

1.  简介

2.  安装

1. HBase依赖Zookeeper、JDK、Hadoop(HDFS),请确保已经完成前面

2. 【node1执行】下载HBase安装包

3. 【node1执行】,修改配置文件,修改conf/hbase-env.sh文件

4. 【node1执行】,修改配置文件,修改conf/hbase-site.xml文件

5. 【node1执行】,修改配置文件,修改conf/regionservers文件

6. 【node1执行】,分发hbase到其它机器

7. 【node2、node3执行】,配置软链接

8. 【node1、node2、node3执行】,配置环境变量

9. 【node1执行】启动HBase

10. 验证HBase

11. 简单测试使用HBase


1.  简介

HBase 是一种 分布式 、可扩展、支持海量数据存储的 NoSQL 数据库。
Redis 一样, HBase 是一款 KeyValue 型存储的数据库。
不过和 Redis 设计方向不同
        Redis 设计为少量数据,超快检索
        HBase 设计为海量数据,快速检索
HBase 在大数据领域应用十分广泛,现在我们来在 node1 node2 node3 上部署HBase集群。

2.  安装

1. HBase依赖ZookeeperJDKHadoopHDFS),请确保已经完成前面

1)集群化软件前置准备( JDK)
2) Zookeeper
3) Hadoop
跳转链接:
集群化环境前置准备_时光の尘的博客-CSDN博客
Zookeeper集群安装部署、Kafka集群安装部署_时光の尘的博客-CSDN博客
大数据集群(Hadoop生态)安装部署_时光の尘的博客-CSDN博客

2. node1执行】下载HBase安装包

# 下载
wget
http://archive.apache.org/dist/hbase/2.1.0/hbase-2.1.0-bin.tar.gz# 解压
tar -zxvf hbase-2.1.0-bin.tar.gz -C /export/server# 配置软链接
ln -s /export/server/hbase-2.1.0 /export/server/hbase

3. node1执行】,修改配置文件,修改conf/hbase-env.sh文件

# 在28行配置JAVA_HOME
export JAVA_HOME=/export/server/jdk
# 在126行配置:
# 意思表示,不使用HBase自带的Zookeeper,而是用独立
Zookeeper
export HBASE_MANAGES_ZK=false
# 在任意行,比如26行,添加如下内容:
export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"

4. node1执行】,修改配置文件,修改conf/hbase-site.xml文件

1 # 将文件的全部内容替换成如下内容:
2 <configuration>
3 - HBase数据在HDFS中的存放的路径 - >
4 <property>
5 <name>hbase.rootdir / name>
6 <value>hdfs: / node1:8020/hbase / value>
7 / property>
8 - Hbase的运行模式。false是单机模式,true是分
布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面
>
9 <property>
10 <name>hbase.cluster.distributed / name>
11 <value>true / value>
12 / property>
13 - ZooKeeper的地址 - >
14 <property>
15 <name>hbase.zookeeper.quorum / name>
16 <value>node1,node2,node3 / value>
17 / property>
18 - ZooKeeper快照的存储位置 - >
19 <property>
20
<name>hbase.zookeeper.property.dataDir / name>
21 <value>/export/server/apache-zookeeper-
3.6.0-bin/data / value>
22 / property>
23 - V2.1版本,在分布式情况下, 设置为false - >
24 <property>
25
<name>hbase.unsafe.stream.capability.enforce / name>
26 <value>false / value>
27 / property>
28 / configuration>

部分格式转换时出现错误,图片演示:

5. node1执行】,修改配置文件,修改conf/regionservers文件

# 填入如下内容
node1
node2
node3

6. node1执行】,分发hbase到其它机器

scp -r /export/server/hbase-2.1.0
node2:/export/server/
scp -r /export/server/hbase-2.1.0
node3:/export/server/

7. node2node3执行】,配置软链接

ln -s /export/server/hbase-2.1.0 /export/server/hbase

8. node1node2node3执行】,配置环境变量

# 配置在/etc/profile内,追加如下两行
export HBASE_HOME=/export/server/hbase
export PATH=$HBASE_HOME/bin:$PATHsource /etc/profile

9. node1执行】启动HBase

请确保: Hadoop HDFS Zookeeper 是已经启动了的
start-hbase.sh# 如需停止可使用
stop-hbase.sh
由于我们配置了环境变量 export PATH=$PATH:$HBASE_HOME/bin start-hbase.sh即在 $HBASE_HOME/bin 内,所以可以无论当前目录在哪,均可直接执行

10. 验证HBase

浏览器打开: http: //node1:16010 ,即可看到 HBase WEB UI 页面

11. 简单测试使用HBase

node1 执行】
hbase shell# 创建表
create 'test', 'cf'# 插入数据
put 'test', 'rk001', 'cf:info', 'itheima'# 查询数据
get 'test', 'rk001'# 扫描表数据
scan 'test'

相关文章:

大数据NoSQL数据库HBase集群部署

目录 1. 简介 2. 安装 1. HBase依赖Zookeeper、JDK、Hadoop&#xff08;HDFS&#xff09;&#xff0c;请确保已经完成前面 2. 【node1执行】下载HBase安装包 3. 【node1执行】&#xff0c;修改配置文件&#xff0c;修改conf/hbase-env.sh文件 4. 【node1执行】&#xf…...

百乐钢笔维修(官方售后,全流程)

文章目录 1 背景2 方法3 结果 1 背景 在给钢笔上墨的途中&#xff0c;不小心总成掉地上了&#xff0c;把笔尖摔弯了&#xff08;虽然还可以写字&#xff0c;但是非常的挂纸&#xff09;&#xff0c;笔身没有什么问题&#xff0c;就想着维修一下笔尖或者替换一下总成。 一般维…...

Redis 介绍安装

数据库 关系型数据库 关系型数据库是一个结构化的数据库&#xff0c;创建在关系模型&#xff08;二维表格模型&#xff09;基础上&#xff0c;一般面向于记录。 SQL 语句&#xff08;标准数据查询语言&#xff09;就是一种基于关系型数据库的语言&#xff0c;用于执行对关系型…...

MyCat管理及监控

MyCat原理 在 MyCat 中&#xff0c;当执行一条 SQL 语句时&#xff0c; MyCat 需要进行 SQL 解析、分片分析、路由分析、读写分离分析等操作&#xff0c;最终经过一系列的分析决定将当前的SQL 语句到底路由到那几个 ( 或哪一个 ) 节点数据库&#xff0c;数据库将数据执行完毕后…...

滑动窗口算法题

更新结果 1、判断条件成立后更新结果 2、入窗口后即可更新结果 判断&#xff1a; 出窗口后状态更新&#xff0c;循环回去再判断。 1、长度最小的子数组 力扣&#xff08;LeetCode&#xff09;官网 - 全球极客挚爱的技术成长平台...

部署zabbix代理服务器、部署zabbix高可用集群

目录 部署zabbix代理服务器 1、环境设置 2、设置 zabbix 的下载源&#xff0c;安装 zabbix-proxy 3、配置Mariadb yum源&#xff0c;并下载marisdb数据库 4.、启动数据库&#xff0c;并初始化数据库 5、登录数据库&#xff0c;创建数据库并指定字符集&#xff0c;并进行…...

[stm32]外中断控制灯光

在STM32CubeMX中配置外部中断功能和参数 1、将上拉输入的引脚设置为&#xff1a;GPIO_EXTI功能 2、GPIO模式设为下降沿触发外部中断&#xff0c;使能上拉电阻&#xff0c;用户标签 3、要将NVIC的相关中断勾选 只有将中断源进行勾选&#xff0c;相关的中断请求才能得到内核的…...

huggingface下大模型最好的方案

一、背景&#xff1a; 搞模型应用&#xff0c;看看别家的模型&#xff0c;huggingface模型大市场&#xff0c;国际明星企业都在上发布开源大模型&#xff0c;一般5G&#xff0c;甚至10G更大&#xff0c;怎么下载呢&#xff1f; 二、方案 1、git clone 会把整个工程给下载下来…...

Maven 密码加密

一、简介 Maven支持服务器密码加密。该解决方案解决的主要用例是&#xff1a; 多个用户共享同一台生成计算机&#xff08;服务器、CI 框&#xff09;有些用户有权将 Maven 工件部署到存储库&#xff0c;有些则没有。 这适用于任何需要授权的服务器操作&#xff0c;而不仅仅是…...

Socks5代理和代理IP:网络工程师的多面利器

在数字时代&#xff0c;网络工程师的角色日益重要&#xff0c;他们需要应对跨界电商、爬虫、出海业务、网络安全和游戏等领域的技术挑战。而Socks5代理和代理IP技术作为他们的利器&#xff0c;发挥着至关重要的作用。本文将探讨这两种技术在不同领域的应用&#xff0c;展现其在…...

模拟信号隔离器在水处理控制系统中的应用方案

安科瑞 崔丽洁 摘要&#xff1a;水处理控制系统中&#xff0c;其控制、监测模块的非电量模拟量传感器采用信号隔离器的接线方式合理地解决了相关模拟量传感器供电电源安全和相对独立的问题&#xff0c;保证了监测模块的电源、模拟量采集模块和输出模块的相对隔离&#xff0c;降…...

XML是不是主要用做配置文件?

2023年10月11日&#xff0c;周三下午 这几天发现tomcat的配置文件主要是用XML文件来写的&#xff0c; 于是就有了这个问题。 是的,XML非常适合用来做配置文件。 XML作为配置文件的主要优点: 可读性强。XML使用标签结构组织数据,内容清晰易懂。跨语言和跨平台。XML作为纯文本…...

在 Elasticsearch 中实现自动完成功能 3:completion suggester

在这篇博文中&#xff0c;我们将讨论 complete suggester - 一种针对自动完成功能进行优化的 suggester&#xff0c;并且被认为比我们迄今为止讨论的方法更快。 Completion suggester 使用称为有限状态转换器的数据结构&#xff0c;该结构类似于 Trie 数据结构&#xff0c;并且…...

走进Flink

什么是Flink Flink是一个分布式的、高性能的、可伸缩的、容错的流处理引擎&#xff0c;它支持批处理和流处理&#xff0c;并提供了丰富的 API 和库&#xff0c;是实时数据处理的理想选择 由Java 和 Scala 实现的&#xff0c;所以所有组件都会运行在Java 虚拟机【单个JVM也可以】…...

Kubernetes核心组件Services

1. Kubernetes Service概念 Service是kubernetes最核心的概念&#xff0c;通过创建Service&#xff0c;可以为一组具有相同功能的POD&#xff08;容器&#xff09;应用提供统一的访问入口&#xff0c;并且将请求进行负载分发到后端的各个容器应用上。 在Kubernetes中&#xf…...

Win10 系统中用户环境变量和系统环境变量是什么作用和区别?

环境&#xff1a; Win10专业版 问题描述&#xff1a; Win10 系统中用户环境变量和系统环境变量是什么作用和区别&#xff1f; 解答&#xff1a; 在Windows 10系统中&#xff0c;用户环境变量和系统环境变量是两个不同的环境变量&#xff0c;它们具有不同的作用和区别 1.用…...

rust模式

一、模式是什么 模式是Rust中特殊的语法&#xff0c;它用来匹配值 二、模式的使用场景 &#xff08;一&#xff09;match match的每个分支箭头左边部分就是模式。 match VALUE {PATTERN > EXPRESSION,PATTERN > EXPRESSION,PATTERN > EXPRESSION, }例子 match x …...

紫光同创FPGA 多路视频处理:图像缩放+视频拼接显示,OV7725采集,提供PDS工程源码和技术支持

目录 1、前言免责声明 2、相关方案推荐FPGA图像缩放方案推荐FPGA视频拼接叠加融合方案推荐紫光同创FPGA图像采集方案推荐紫光同创FPGA图像缩放方案推荐紫光同创FPGA视频拼接方案推荐 3、设计思路框架为什么选择OV7725摄像头&#xff1f;视频源选择OV7725摄像头配置及采集动态彩…...

软考 系统架构设计师系列知识点之软件质量属性(4)

接前一篇文章&#xff1a;软考 系统架构设计师系列知识点之软件质量属性&#xff08;3&#xff09; 所属章节&#xff1a; 第8章. 系统质量属性与架构评估 第2节. 面向架构评估的质量属性 相关试题 3. 某公司欲开发一个在线交易系统。在架构设计阶段&#xff0c;公司的架构师…...

如何用BI制作图表组合?

BI&#xff08;Business Intelligence&#xff09;是一种通过收集、分析和可视化数据来帮助企业做出决策的技术和工具。在BI中&#xff0c;制作图表组合是一种常见的方式&#xff0c;可以将不同的图表类型组合在一起&#xff0c;以更全面地呈现数据。 下面将详细介绍如何使用B…...

Android Wi-Fi 连接失败日志分析

1. Android wifi 关键日志总结 (1) Wi-Fi 断开 (CTRL-EVENT-DISCONNECTED reason3) 日志相关部分&#xff1a; 06-05 10:48:40.987 943 943 I wpa_supplicant: wlan0: CTRL-EVENT-DISCONNECTED bssid44:9b:c1:57:a8:90 reason3 locally_generated1解析&#xff1a; CTR…...

Java 语言特性(面试系列1)

一、面向对象编程 1. 封装&#xff08;Encapsulation&#xff09; 定义&#xff1a;将数据&#xff08;属性&#xff09;和操作数据的方法绑定在一起&#xff0c;通过访问控制符&#xff08;private、protected、public&#xff09;隐藏内部实现细节。示例&#xff1a; public …...

【磁盘】每天掌握一个Linux命令 - iostat

目录 【磁盘】每天掌握一个Linux命令 - iostat工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景 注意事项 【磁盘】每天掌握一个Linux命令 - iostat 工具概述 iostat&#xff08;I/O Statistics&#xff09;是Linux系统下用于监视系统输入输出设备和CPU使…...

屋顶变身“发电站” ,中天合创屋面分布式光伏发电项目顺利并网!

5月28日&#xff0c;中天合创屋面分布式光伏发电项目顺利并网发电&#xff0c;该项目位于内蒙古自治区鄂尔多斯市乌审旗&#xff0c;项目利用中天合创聚乙烯、聚丙烯仓库屋面作为场地建设光伏电站&#xff0c;总装机容量为9.96MWp。 项目投运后&#xff0c;每年可节约标煤3670…...

CocosCreator 之 JavaScript/TypeScript和Java的相互交互

引擎版本&#xff1a; 3.8.1 语言&#xff1a; JavaScript/TypeScript、C、Java 环境&#xff1a;Window 参考&#xff1a;Java原生反射机制 您好&#xff0c;我是鹤九日&#xff01; 回顾 在上篇文章中&#xff1a;CocosCreator Android项目接入UnityAds 广告SDK。 我们简单讲…...

智能分布式爬虫的数据处理流水线优化:基于深度强化学习的数据质量控制

在数字化浪潮席卷全球的今天&#xff0c;数据已成为企业和研究机构的核心资产。智能分布式爬虫作为高效的数据采集工具&#xff0c;在大规模数据获取中发挥着关键作用。然而&#xff0c;传统的数据处理流水线在面对复杂多变的网络环境和海量异构数据时&#xff0c;常出现数据质…...

laravel8+vue3.0+element-plus搭建方法

创建 laravel8 项目 composer create-project --prefer-dist laravel/laravel laravel8 8.* 安装 laravel/ui composer require laravel/ui 修改 package.json 文件 "devDependencies": {"vue/compiler-sfc": "^3.0.7","axios": …...

mac 安装homebrew (nvm 及git)

mac 安装nvm 及git 万恶之源 mac 安装这些东西离不开Xcode。及homebrew 一、先说安装git步骤 通用&#xff1a; 方法一&#xff1a;使用 Homebrew 安装 Git&#xff08;推荐&#xff09; 步骤如下&#xff1a;打开终端&#xff08;Terminal.app&#xff09; 1.安装 Homebrew…...

android RelativeLayout布局

<?xml version"1.0" encoding"utf-8"?> <RelativeLayout xmlns:android"http://schemas.android.com/apk/res/android"android:layout_width"match_parent"android:layout_height"match_parent"android:gravity&…...

Axure 下拉框联动

实现选省、选完省之后选对应省份下的市区...