HBase 分布式集群部署实战：从解压到启动的完整指南

HBase 分布式集群部署实战从解压到启动的完整指南文章目录HBase 分布式集群部署实战从解压到启动的完整指南步骤一解压安装文件步骤二配置环境变量步骤三修改配置文件master节点步骤四集群分发步骤五HBase 集群启动视频版本部署教程在开始部署之前先通过下面的流程图了解 HBase 分布式集群搭建的整体步骤解压安装文件配置环境变量修改配置文件集群分发启动集群验证部署步骤一解压安装文件使用 Xftp 将 HBase 压缩包上传到/opt/software目录下[rootmaster ~]# cd /opt/software/[rootmaster software]# tar -zxvf hbase-1.2.6-bin.tar.gz -C /opt/module/ # 解压到统一安装目录[rootmaster software]# cd ~[rootmaster ~]#mv /opt/module /hbase-1.2.6 /opt/module/hbase步骤二配置环境变量1编辑/etc/profile文件。[rootmaster ~]# vi /etc/profile将以下配置信息添加到/etc/profile文件的末尾将 HBase 的 bin 目录添加到系统环境变量 PATH 中exportHBASE_HOME/opt/module/hbaseexportPATH$PATH:$HBASE_HOME/bin2将 master 中的配置文件用 scp 分别分发到 slave1 和 slave2 上再执行source /etc/profile命令使其生效。[rootmaster ~]# scp -r /etc/profile rootslave1:/etc/[rootmaster ~]# scp -r /etc/profile rootslave2:/etc/3执行source /etc/profile命令使配置的环境变量在系统全局范围生效。[rootmaster ~]# source /etc/profile[rootslave1~]# source /etc/profile[rootslave2 ~]# source /etc/profile步骤三修改配置文件master节点conf下文件修改1hbase-env.shHBase的配置文件放置在安装目录下的conf文件夹内切换到该目录首先修改HBase环境配置文件 hbase-env.sh设置 JAVA_HOME 为自己安装的版本。将以下配置信息添加到hbase-env.sh的末尾。[rootmaster ~]# cd /opt/module/hbase/conf[rootmaster conf]# vi hbase-env.shexportJAVA_HOME/opt/module/javaexportHADOOP_HOME/opt/module/hadoopexportHADOOP_CONF_DIR${HADOOP_HOME}/etc/hadoopexportHBASE_MANAGES_ZKfalseexportHBASE_LOG_DIR${HBASE_HOME}/logsexportHBASE_PID_DIR${HBASE_HOME}/pidJAVA_HOME为java程序所在位置HBASE_MANAGES_ZK表示是否使用HBase自带的zookeeper环境如果使用自己安装的zookeeper此处可以设置为false(默认为true)即不使用hbase自带的zookeeper。HADOOP_CONF_DIR 是Hadoop配置文件的地址。HBASE_LOG_DIR与HBASE_PID_DIR分别为日志与pid文件输出目录。注释这两行#export HBASE_MASTER_OPTS$HBASE_MASTER_OPTS -XX:PermSize128m -XX:MaxPermSize128m#export HBASE_REGIONSERVER_OPTS$HBASE_REGIONSERVER_OPTS -XX:PermSize128m -XX:MaxPermSize128m2hbase-site.xml修改配置文件 hbase-site.xml添加相关信息。将以下配置信息添加到hbase-site.xml文件与之间。propertynamehbase.rootdir/namevaluehdfs://master:8020/hbase/value/propertypropertynamehbase.master.info.port/namevalue16010/value/propertypropertynamehbase.cluster.distributed/namevaluetrue/value/propertypropertynamehbase.tmp.dir/namevalue/opt/module/hbase/tmp/value/propertypropertynamehbase.zookeeper.property.clientPort/namevalue2181/value/propertypropertynamehbase.zookeeper.property.dataDir/namevalue/opt/module/hbase/tmp/zookeeper-hbase/value/propertypropertynamehbase.zookeeper.quorum/namevaluemaster,slave1,slave2/value/propertypropertynamezookeeper.session.timeout/namevalue120000/value/propertypropertynamehbase.unsafe.stream.capability.enforce/namevaluefalse/value/property各配置项的含义整理如下表属性名值说明hbase.rootdirhdfs://master:8020/hbase指定 HBase 在 HDFS 上的存储目录hbase.master.info.port16010HBase Master 的 Web UI 访问端口hbase.cluster.distributedtrue开启 HBase 分布式模式hbase.tmp.dir/opt/module/hbase/tmpHBase 本地临时文件路径类似 Hadoop 的hadoop.tmp.dirhbase.zookeeper.property.clientPort2181ZooKeeper 的连接端口hbase.zookeeper.property.dataDir/opt/module/hbase/tmp/zookeeper-hbaseHBase 在 ZooKeeper 上存储数据的目录hbase.zookeeper.quorummaster,slave1,slave2ZooKeeper 集群节点列表zookeeper.session.timeout120000RegionServer 与 ZooKeeper 间的连接超时时间毫秒hbase.unsafe.stream.capability.enforcefalse是否强制检查流能力设为 false 可避免某些兼容性问题3regionservers修改 regionservers文件删除localhost添加以下内容。[rootmaster conf]# vi regionserversslave1 slave24复制配置文件为了让Hbase读取到hadoop的配置将core-site.xml和hdfs-site.xml两个文件拷贝到 $HBASE_HOME/conf/ 目录下。[rootmaster conf]# cp /opt/module/hadoop/etc/hadoop/core-site.xml /opt/module/hbase/conf/[rootmaster conf]# cp /opt/module/hadoop/etc/hadoop/hdfs-site.xml /opt/module/hbase/conf/步骤四集群分发将master节点配置好的HBase安装包分发给slave1slave2节点。[rootmaster conf]# cd# 从master远程拷贝hbase文件到slave1节点[rootmaster ~]# scp -r /opt/module/hbase rootslave1: /opt/module# 从master远程拷贝hbase文件到slave2节点[rootmaster ~]# scp -r /opt/module/hbase rootslave2: /opt/module步骤五HBase 集群启动先在 master 上使用start-all.sh启动 Hadoop 集群再在各个节点上启动 ZooKeeper最后在 master 上使用start-hbase.sh命令启动 HBase。[rootmaster ~]$ start-all.sh[rootmaster ~]# zkServer.sh start[rootslave1 ~]# zkServer.sh start[rootslave2 ~]# zkServer.sh start[rootmaster ~]$ start-hbase.sh用webUI查看集群特别强调hbase2.0的端口是16010。图 HBase浏览器界面5、查看集群1jps查看master上有HMasterslave1和slave2上有HRegionserver。QuorumPeerMain是zookeeper的守护进程[rootmaster conf]# jps13296HMaster2435NameNode13667Jps3028NodeManager3316QuorumPeerMain12292JobHistoryServer1943ResourceManager2601DataNode12809HRegionServer[rootslave1 ~]# jps1863DataNode11383Jps11080HRegionServer1930NodeManager10942QuorumPeerMain2web端查看192.168.11.50:16010视频版本部署教程大数据必学HBase分布式数据库手把手搭建教程避坑指南