2023.11.18 -自用hadoop高可用环境搭建命令

启动hadoop高可用环境

# 1.先恢复快照到高可用环境

# 2.三台服务器启动zookeeper服务
[root@node1 ~]# zkServer.sh start
[root@node2 ~]# zkServer.sh start
[root@node3 ~]# zkServer.sh start

查看服务状态: [root@node]# zkServer.sh status

关闭zk服务的命令是: [root@node]# zkServer.sh stop

# 3.在node1中启动hadoop集群
[root@node1 ~]# start-all.sh

# 4.检查服务
[root@node1 ~]# jps
[root@node2 ~]# jps
[root@node3 ~]# jps

# 一键启动hdfs和yarn集群

[root@node1 ~]# start-all.sh

# 单独启动mr计算任务历史服务

[root@node1 ~]# mapred --daemon start historyserver

[root@node1 bin]# nohup hive --service metastore &
[1] 13490
nohup: 忽略输入并把输出追加到"nohup.out" 
回车

[root@node1 bin]# nohup hive --service hiveserver2 &
[2] 13632
nohup: 忽略输入并把输出追加到"nohup.out" 
回车

[root@node1 bin]# jps
...
13490 RunJar
13632 RunJar

[root@node1 bin]# 
# 注意:10000端口号一般需要等待3分钟左右才会查询到
[root@node1 bin]# lsof -i:10000
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    18804 root  520u  IPv6 266172      0t0  TCP *:ndmp (LISTEN)
# 此处代表hive启动成功

如果许久启动服务不成功,可以杀死进程,重新再进行操作试试

杀死进程命令:kill -9 进程端口号

不开启高可用,网页端查看数据

 如果没有做以下配置,需要使用ip地址访问:

​        HDFS: http://192.168.88.161:9870/

​        YARN: http://192.168.88.161:8088/

​        jobhistory: http://192.168.88.161:19888/

 配置完成后,可以直接通过node1访问

HDFS:http://node1:9870/dfshealth.html#tab-overview

YARN:http://node1:8088/

JOBHISTORY:http://node1:19888/

高可用开启后网页端查看hadoop集群数据

Name node active
http://node1:50070/dfshealth.html#tab-overview

Name node standby
http://node2:50070/dfshealth.html#tab-overview

resourse manager node1
http://node1:8088/cluster

--rm两个服务同时启动,按照上述链接去访问会自动跳到同一个主节点页面
resourse manager node2
http://node2:8088/cluster

Job History
http://node1:19888/jobhistory