我的私人笔记(安装hbase)
在安装前需要安装好JDK、Hadoop以及Zookeeper,JDK版本为1.8、Hadoop版本为2.7.4以及Zookeeper的版本为3.4.10。
4.1.下载
下载地址:Index of /dist/hbase
本次学习版本为: hbase-1.2.1-bin.tar.gz
4.2.安装步骤
-
上传安装包至hadoop01节点的/opt/software目录下
-
解压hbase-1.2.1-bin.tar.gz 至/opt/servers目录下,并将改名为hbase
//解压hbase-1.2.1-bin.tar.gz
tar -xzvf /opt/software/hbase-1.2.1-bin.tar.gz -C /opt/servers/
//改名
cd /opt/servers/
mv hbase-1.2.1 hbase
-
配置环境变量
//编辑配置文件
vi /etc/profile
//在PATH变量前添加一行
export HBASE_HOME=/opt/servers/hbase
//在PATH中后添加$HBASE_HOME/bin
export PATH=$PATH:$HBASE_HOME/bin
//更新配置文件
source /etc/profile
-
验证
hbase version
4.3.配置hbase
4.3.1.local/standalone模式
-
创建本地目录
mkdir -p /home/centos/hbase/zk
-
配置hbase-env.sh文件
[hbase/conf/hbase-env.sh]
export JAVA_HOME=/opt/servers/jdk
-
配置hbase本地目录
[hbase/conf/hbase-site.xml]
<property>
<name>hbase.rootdir</name>
<value>file:///home/centos/hbase</value>
</property>
-
配置zk本地数据存放目录
[hbase/conf/hbase-site.xml]
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/centos/hbase/zk</value>
</property>
4.3.2.伪分布式
-
配置hbase的hbase.cluster.distributed.
//[hbase-site.xml]
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:8020/hbase</value>
</property>
-
启动hbase
start-hbase.sh
-
检查进程
jps
----------------------
SecondaryNameNode
HMaster //master服务器
NameNode
HRegionServer //区域区域服务器
Jps
HQuorumPeer //zk
ResourceManager
4.3.3.完全分布式
-
配置前需删除HDFS中已经存在的"hdfs://hadoop01:8020/hbase"目录(伪分布式使用过改目录,没有请跳过)。
hdfs dfs -rm -r /hbase
-
检查集群中所有节点的时间,保持误差不超过30秒。(因我们是克隆的虚拟机,此步骤可跳过)
ntpdate -u cn.pool.ntp.org
-
配置hbase-site.xml文件,更多配置请参照:HBase-site.xml 常见重要配置参数
<!--指定hbase在HDFS上的存储路径-->
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop01:9000/hbase</value>
</property>
<!--指定hbase是分布式的-->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!--指定zk的地址,多个用","分隔-->
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
-
配置hbase-env.sh文件
//在文件最后加上
#配置jdk的环境变量
export JAVA_HOME=/opt/servers/jdk
#配置hbase使用外部的zookeeper
export HBASE_MANAGES_ZK=false
-
配置regionservers文件
hadoop02
hadoop03
-
修改backup-masters配置文件
vi backup-masters
hadoop02
-
分发hbase
//分别分发/opt/moudle/hbase到其他节点
scp -r /opt/servers/hbase/ hadoop02:/opt/servers/
scp -r /opt/servers/hbase/ hadoop03:/opt/servers/
-
分发配置文件
scp -r /etc/profile hadoop02:/etc/profile
scp -r /etc/profile hadoop03:/etc/profile
-
重启系统使/etc/profile生效(或者逐个机器更新)
-
启动hbase
//启动hadoop
start-all.sh
//启动zookeeper
start-zk.sh
//启动hbase
start-hbase.sh
11.分别查看各个节点的进程
12.进入HBase Shell查看HBase的运行状态
hbase shell
status
2 servers表示当前有2个HRegionServer正在正常运行。
13.可以通过web端查看HBase运行状态,浏览器输入https://hadoop01:16010
14.最后可以使用exit退出HBase Shell
15.停止集群时先停止HBase(先启后停)
{
export JAVA_HOME=/opt/servers/jdk
export HADOOP_HOME=/opt/servers/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export ZOOKEEPER_HOME=/opt/servers/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
export HIVE_HOME=/opt/servers/hive
export PATH=$PATH:$HIVE_HOME/bin
export HBASE_HOME=/opt/servers/hbase
export PATH=$PATH:$HBASE_HOME/bin
}
相关文章:
我的私人笔记(安装hbase)
在安装前需要安装好JDK、Hadoop以及Zookeeper,JDK版本为1.8、Hadoop版本为2.7.4以及Zookeeper的版本为3.4.10。 4.1.下载 下载地址:Index of /dist/hbase 本次学习版本为: hbase-1.2.1-bin.tar.gz 4.2.安装步骤 上传安装包至hadoop01节点…...
【MySQL】用户管理
之前我们一直都使用root身份来对mysql进行操作,但这样存在安全隐患。这时,就需要使用MySQL的用户管理 目录 一、用户 1.1 用户信息 1.2 添加用户 1.3 删除用户 1.4 修改用户密码 二、用户权限 2.1 赋予授权 2.2 回收权限 一、用户 1.1 用户信息…...
音视频 ffmpeg命令转封装
保持编码格式: ffmpeg -i test.mp4 -vcodec copy -acodec copy test_copy.ts ffmpeg -i test.mp4 -codec copy test_copy2.ts改变编码格式: ffmpeg -i test.mp4 -vcodec libx265 -acodec libmp3lame out_h265_mp3.mkv修改帧率: ffmpeg -i …...
恢复已删除的git分支
1.打开对应项目文件夹目录,在目录下执行git命令 2.执行命令 git reflog --dateiso , 找到最后一次commit 的id 3. 执行git checkout -b 新建分支名称 commitId 就会基于commitId这次提交时工作区新建一个分支,就能达到我们找到删除分支的代码效果。 4.直接看ide…...
ATF(TF-A)安全通告 TFV-3 (CVE-2017-7563)
安全之安全(security)博客目录导读 ATF(TF-A)安全通告汇总 目录 一、ATF(TF-A)安全通告 TFV-3 (CVE-2017-7563) 二、CVE-2017-7563 一、ATF(TF-A)安全通告 TFV-3 (CVE-2017-7563) Title RO内存始终在AArch64 Secure EL1下可执行CVE ID CVE-2017-7563 Date 06 Apr 2017 Vers…...
虚拟机Ubuntu18.04系统使用时所需要的便利配置选项
文章目录 一、屏幕分辨率调节二、解决虚拟机和宿主机之间无法进行复制粘贴和自由移动文件:三、允许使用Git指令四、可以使用Cmake进行编译五、vi编辑器查看代码文件,类型linux的记事本 每次配置虚拟机,都需要重新安装配置一些能提供便利功能的…...
python内置函数
Python 解释器内置了很多函数和类型,任何时候都能使用。以下按字母顺序给出列表。 内置函数 A abs() aiter() all() any() anext() ascii() B bin() bool() breakpoint() bytearray() bytes() C callable() chr() classmethod() compile() complex() D delattr(…...
线性思维和系统思维
1 线性思维介绍 线性思维是一种直线的、均匀的、不变的、单一的、单维的思维方式,一切都随着初始条件的给定而给定。 线性思维的5种具体表现: 简单复制过往经验去推断未来 (比如:银行工作者是铁饭碗)用已知结果得出…...
为什么要学习C++
操作系统历史 UINX操作系统诞生之初是用汇编语言编写的。随着UNIX的发展,汇编语言的开发效率成为一个瓶颈。寻找新的高效开发语言成为UNIX开发者需要解决的问题。当时BCPL语言成为了当时的选择之一。Ken Thomposn对BCPL进行简化得到了B语言。但是B语言不是直接生成…...
eureka服务注册和服务发现
文章目录 问题实现以orderservice为例orderservice服务注册orderservice服务拉取 总结 问题 我们要在orderservice中根据查询到的userId来查询user,将user信息封装到查询到的order中。 一个微服务,既可以是服务提供者,又可以是服务消费者&a…...
QT的介绍和优点,以及使用QT初步完成一个登录界面
QT介绍 QT主要用于图形化界面的开发,QT是基于C编写的一套界面相关的类库,进程线程库,网络编程的库,数据库操作的库,文件操作的库…QT是一个跨平台的GUI图形化界面开发工具 QT的优点 跨平台,具有较为完备…...
MySQL教程
MySQL教程 数据库简介数据库的基本概念MySQL简介windows下安装MySQLLinux下安装MySQL在MacOS下面安装MySQLMySQL配置文件分析MySQL数据库的基本操作MySQL创建表MySQL插入数据MySQL删除数据MySQL修改数据MySQL基本查询MySQL可视化客户端SQL语句的分类MySQL的DDLMySQL的数据类型…...
深入理解协同过滤算法及其实现
导语 个性化推荐系统在现代数字时代扮演着重要的角色,协助用户发现他们可能感兴趣的信息、产品或媒体内容。协同过滤是个性化推荐系统中最流行和有效的算法之一。 目录 协同过滤算法的原理 基于用户的协同过滤(User-Based Collaborative Filtering&am…...
力扣:随即指针138. 复制带随机指针的链表
复制带随机指针的链表 OJ链接 分析: 该题的大致题意就是有一个带随机指针的链表,复制这个链表但是不能指向原链表的节点,所以每一个节点都要复制一遍 大神思路: ps:我是学来的 上代码: struct Node* copyRandomList(s…...
【从0学习Solidity】合约入门 Hello Web3
【学习Solidity的基础】入门智能合约开发 Hello Web3 📱不写代码没饭吃上架主页 在强者的眼中,没有最好,只有更好。我们是全栈开发领域的优质创作者,同时也是阿里云专家博主。 ✨ 关注我们的主页,探索全栈开发的无限…...
awtk-ftpd 发布
1. 介绍 在嵌入式应用程序中,有时需要提供一个 FTP 服务,用于对系统的文件进行远程管理。 awtk-ftpd 实现了一个 简单的 FTP 服务。主要特色有: 小巧。约 800 行代码。可以在各种嵌入式平台运行。内存开销低。正常内存需求小于 6K。兼容 F…...
抽象轻松的C语言
#include <stdio.h> /* 预处理指令*/ /* 函数 */ int main() {int log 3.14;printf("hello word * %d\n easy", log);getchar();/* 获取键盘输入的字母,在这个程序中的作用是防止程序瞬间关闭 */return 0; } 上一篇说过,C程序是C语言的…...
【力扣每日一题01】两数之和
开了一个新专栏,用来记录自己每天刷题,并且也是为了养成每日学习这个习惯,期待坚持一年后的自己! 一、题目 给定一个整数数组 nums 和一个整数目标值 target,请你在该数组中找出 和为目标值 target 的那 两个 整数&am…...
机器学习——手写数字识别
0、:前言 这篇文章能够帮助你从数据到模型的整个过程实现不过至于安装第三方库等基础问题,本文不涉及,因为确实不难,搜一搜一大把本此实验运行环境为jupyter,当然通过pycharm也是可行的 1、数据: 手写数字…...
【日积月累】后端刷题日志
刷题日志 说说对Java的理解JAVA中抽象类和接口之间的区别Java中的泛型 和equals()的区别八种基本数据类型与他们的包装类在一个静态方法内调用一个非静态成员为什么是非法的静态方法与实例方法有何不同重载与重写深拷贝浅拷贝面向过程与面向对象成员变量与局部变量Spring框架Sp…...
Cursor实现用excel数据填充word模版的方法
cursor主页:https://www.cursor.com/ 任务目标:把excel格式的数据里的单元格,按照某一个固定模版填充到word中 文章目录 注意事项逐步生成程序1. 确定格式2. 调试程序 注意事项 直接给一个excel文件和最终呈现的word文件的示例,…...
CVPR 2025 MIMO: 支持视觉指代和像素grounding 的医学视觉语言模型
CVPR 2025 | MIMO:支持视觉指代和像素对齐的医学视觉语言模型 论文信息 标题:MIMO: A medical vision language model with visual referring multimodal input and pixel grounding multimodal output作者:Yanyuan Chen, Dexuan Xu, Yu Hu…...
如何在看板中体现优先级变化
在看板中有效体现优先级变化的关键措施包括:采用颜色或标签标识优先级、设置任务排序规则、使用独立的优先级列或泳道、结合自动化规则同步优先级变化、建立定期的优先级审查流程。其中,设置任务排序规则尤其重要,因为它让看板视觉上直观地体…...
c++ 面试题(1)-----深度优先搜索(DFS)实现
操作系统:ubuntu22.04 IDE:Visual Studio Code 编程语言:C11 题目描述 地上有一个 m 行 n 列的方格,从坐标 [0,0] 起始。一个机器人可以从某一格移动到上下左右四个格子,但不能进入行坐标和列坐标的数位之和大于 k 的格子。 例…...
多模态商品数据接口:融合图像、语音与文字的下一代商品详情体验
一、多模态商品数据接口的技术架构 (一)多模态数据融合引擎 跨模态语义对齐 通过Transformer架构实现图像、语音、文字的语义关联。例如,当用户上传一张“蓝色连衣裙”的图片时,接口可自动提取图像中的颜色(RGB值&…...
Python如何给视频添加音频和字幕
在Python中,给视频添加音频和字幕可以使用电影文件处理库MoviePy和字幕处理库Subtitles。下面将详细介绍如何使用这些库来实现视频的音频和字幕添加,包括必要的代码示例和详细解释。 环境准备 在开始之前,需要安装以下Python库:…...
HTML前端开发:JavaScript 常用事件详解
作为前端开发的核心,JavaScript 事件是用户与网页交互的基础。以下是常见事件的详细说明和用法示例: 1. onclick - 点击事件 当元素被单击时触发(左键点击) button.onclick function() {alert("按钮被点击了!&…...
【论文阅读28】-CNN-BiLSTM-Attention-(2024)
本文把滑坡位移序列拆开、筛优质因子,再用 CNN-BiLSTM-Attention 来动态预测每个子序列,最后重构出总位移,预测效果超越传统模型。 文章目录 1 引言2 方法2.1 位移时间序列加性模型2.2 变分模态分解 (VMD) 具体步骤2.3.1 样本熵(S…...
ip子接口配置及删除
配置永久生效的子接口,2个IP 都可以登录你这一台服务器。重启不失效。 永久的 [应用] vi /etc/sysconfig/network-scripts/ifcfg-eth0修改文件内内容 TYPE"Ethernet" BOOTPROTO"none" NAME"eth0" DEVICE"eth0" ONBOOT&q…...
JS手写代码篇----使用Promise封装AJAX请求
15、使用Promise封装AJAX请求 promise就有reject和resolve了,就不必写成功和失败的回调函数了 const BASEURL ./手写ajax/test.jsonfunction promiseAjax() {return new Promise((resolve, reject) > {const xhr new XMLHttpRequest();xhr.open("get&quo…...
