Hadoop HA集群两个NameNode都是standby或者主NameNode是standby，从NameNode是active的情况集锦

这里说一下配置Hadoop HA集群可能出现的两种情况，第一种就是两个NameNode都是standby，第二种就是主Master是standby，从Master是active。

背景

针对Hadoop 1.x中可能出现的NameNode单点故障（SPOF）或者短时间无法使用的情况，Hadoop 2.x 通过增加一个NameNode的方式进行了改善，而增加一个NameNode后，实际在没有出现问题时，只需要一个NameNode，所以两个NameNode一个处于Standby状态，一个处于Active状态。Standby不对外提供服务，仅同步Active NameNode的状态，以便Active NameNode出现问题时及时切换成Active状态。

架构

Hadoop 2.x 的两个NameNode一般会配置在两台独立的机器上，Active NameNode会响应集群客户端，而Standby NameNode只是作为Active NameNode的备份，保证在Active NameNode出现问题时能够快速的替代它。

Standby NameNode通过JournalNodes的通信来与Active NameNode保持同步。

Active NameNode和Standby NameNode在哪个节点上，是由zookeeper通过主备选举机制来确定的。

HDFS HA配置

NameNode：对应配置相同的两台物理机，分别运行Active NameNode和Standby NameNode。

JournalNode：JournalNode不会耗费太多的资源，可以和其它进程部署在一起，如NameNode、Datanode、ResourceManager等，需要至少3个且为基数，这样可以允许（N-1）/2个JNS进程失败。

DataNode：根据数据量的大小和处理数据所需资源进行配置，一般实际应用中数量较多，且分布在较多的机器上。

NameNode和SecondaryNameNode不要安装在同一台服务器

ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode放在同一台机器上。

通过hdfs haadmin -getServiceState nn1和hdfs haadmin -getServiceState nn2命令查看，发现两个NameNode的状态都是standby
通过hdfs dfsadmin -report命令查看，发现HDFS数据均为0

错误原因

当首次执行命令hadoop namenode -format格式化NameNode时，会在dfs.namenode.name.dir对应路径下生成current/VERSION文件，其中记录了clusterID，同时dfs.datanode.data.dir对应的DataNode目录中也会生成current/VERSION文件，其中clustreID的与NameNode中clusterID的值相同。
当再次执行hadoop namenode -format命令时，NameNode对应的目录下会重新生成clusterID，导致和DataNode对应的clusterID不一致，从而造成上述问题。

解决方案

方案一

1. 关掉集群

./stop-dfs.sh

2. 删掉各个节点上DataNode对应的目录

rm -rf data

3. 格式化NameNode

hadoop namenode -format

4. 重启集群

./start-dfs.sh

方案二

1. 关掉集群

./stop-dfs.sh

2. 编辑clusterID使Namenode和DataNode同步

vim clusterID

3. 重启集群

./start-dfs.sh

注意：
在生产环境中，谨慎使用hadoop namenode -format命令。以上操作是在首次搭建集群时且没有重要数据的情况下执行的。

hdfs haadmin -transitionToActive nn1

方案三（首先查看自己各参数文件是否配置出错）

1、首先在hdfs-site.xml中添加下面的参数，该参数的值默认为false：

<property><name>dfs.ha.automatic-failover.enabled.ns</name><value>true</value>
</property>

2、在core-site.xml文件中添加下面的参数，该参数的值为ZooKeeper服务器的地址，ZKFC将使用该地址。

<property><name>ha.zookeeper.quorum<name><value>spark01.kfk.com:2181,spark02.kfk.com:2181,spark03.kfk.com:2181<value>
<property>

首先你要确定不用ha的时候你的hadoop集群是正常的，不然找错误的方向就偏离了

配置HA 需要zookeeper，先要看看是不是zookeeper没有配置好的问题

如果都正常，在hadoop安装目录执行sbin/hadoop-daemon.sh start zkfc，这句是启动zookeeper选举制度，然后执行 hdfs haadmin -transitionToActive nn1 ，其中nn1是你的namenode中的一个（如果是新配置的HAhadoop集群，可能是zkfc（DFSZKFailoverController）没有格式化导致namenode节点的自动切换机制没有开启）

在HA或者HDFS中，上面的两个参数还需要以NameServiceID为后缀，比如dfs.ha.automatic-failover.enabled.mycluster。除了上面的两个参数外，还有其它几个参数用于自动故障转移，比如ha.zookeeper.session-timeout.ms，但对于大多数安装来说都不是必须的。

在添加了上述的配置参数后，下一步就是在ZooKeeper中初始化要求的状态，可以在任一NameNode中运行hdfs zkfc -formatZK命令实现该目的，该命令在ZooKeeper中创建znode

执行该命令需要进入Hadoop的安装目录下面的bin目录中找到hdfs这个命令，输入上面的命令执行，然后就可以修复这个问题了。

注意：之前，先得启动好每台机器的zookeeper进程。

后记

对于hdfs的一些命令，不熟悉的情况下，可以先用以下的命令查看。

hdfs -help  查看命令
hdfs haadmin -help 

这里记录一下常用的命令

hdfs haadmin -getAllServiceState   查询所有NN的服务状态
hdfs haadmin -transitionToActive nn1 开启nn1为active状态
hdfs haadmin -transitionToActive nn2 开启nn2为active状态
hdfs haadmin -transitionToStandby nn1 开启nn1为standby状态
hdfs haadmin -failover nn1 nn2   手动执行故障转移
hadoop-daemon.sh start namenode 启动 namemode进程
kill -9 namenode进程号    使namenode进程挂掉
yarn rmadmin -getServiceState rm1  查看resourcemanager节点状态
hdfs --daemon start/stop namenode/datanode/secondarynamenode   分别启动/停止HDFS组件
yarn --daemon start/stop resourcemanager/nodemanager    启动/停止YARN

注意，其实hdfs自带的命令里，都提供了，若两者都是standby状态怎么执行。若两者都是active状态怎么执行。这里，不多赘述。

补充

failover

切换NameNode的主备状态，一般推荐用此方式来切换主备

执行hdfs haadmin -failover <serviceId of current active> <serviceId of new active>命令，切换NameNode的主备状态。

例如：
nn1当前是Active NameNode，想让nn2成为新的Active NameNode，可执行以下命令。

haadmin -getAllServiceState 
hdfs haadmin -failover nn2 nn1  将 nn1 变为 主

如果nn2当前已是Active NameNode，执行以下命令后，nn2仍为新的Active NameNode。

haadmin -getAllServiceState 
hdfs haadmin -failover nn1 nn2  将 nn2 变为 主

transitionToActive

将给定的NameNode切换成主，不会做fencing（和failover有区别的点）

当开启了故障自动切换failover（dfs.ha.automatic-failover.enabled=true）之后，无法手动进行。想要 transitionToActive 切换主，就需要 带上 强制手动的标志 --forcemanual

hdfs haadmin -transitionToActive nn1

此时 nn1: standby nn2: active

hdfs haadmin -getAllServiceState
hdfs haadmin -transitionToActive --forcemanual nn1

此时提示的是 nn2 已经是 active，切换不起作用

当active节点正常时，使用hdfs haadmin -transitionToActive命令对两个namenode节点切换都不起作用.

此时试试将 active 状态切换成 standby

hdfs haadmin -getAllServiceState
hdfs haadmin -transitionToStandby --forcemanual nn2
hdfs haadmin -getAllServiceState

此时提示的是 nn2 已经是 standby，切换生效

当active节点正常时，执行hdfs haadmin -transitionToStandby命令可以将active的namenode节点转换成standby状态。

常用端口号及配置文件

常用端口号

hadoop3.x

• HDFS NameNode 内部通常端口：8020/9000/9820

• HDFS NameNode 用户查询端口：9870

• Yarn查看任务运行情况：8088

• 历史服务器：19888

hadoop2.x

• HDFS NameNode 内部通常端口：8020/9000

• HDFS NameNode 用户查询端口：50070

• Yarn查看任务运行情况：8088

• 历史服务器：19888

常用配置文件

• 3.x core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml workers

• 2.x core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves

转载自 ：https://blog.csdn.net/u014727709/article/details/131194566
欢迎start，欢迎评论，欢迎指正