HDFS优化

单节点多块磁盘数据均衡

生成HDFS块均衡计划	hdfs diskbalancer -plan node1
执行均衡计划,node1.plan.json均衡计划文件	hdfs diskbalancer -execute node1.plan.json
查看当前均衡任务的执行情况	hdfs diskbalancer -query node1
取消均衡任务	hdfs diskbalancer -cancel node1.plan.json
修改均衡计划触发阈值	hdfs diskbalancer -plan node1 --thresholdPercentage 0.01

默认的thresholdPercentage值为10％，这意味着仅当磁盘包含的数据比理想存储值多10％或更少时，磁盘才用于平衡操作。

均衡操作示例

 均衡后

多节点之间的数据均衡

sbin/start-balancer.sh -threshold 10

对于参数10，代表的是集群中各个节点的磁盘空间利用率相差不超过10%，可根据实际情况进行调整。

sbin/stop-balancer.sh

注意：由于HDFS需要启动单独的Rebalance Server来执行Rebalance操作，所以尽量不要在NameNode上执行start-balancer.sh，而是找一台比较空闲的机器。

NameNode节点故障恢复

删除NameNode节点中的NameNode元数据

# 伪代码
rm -rf <hdfs-site.xml_dfs.namenode.name.dir>/*
# 示例
rm -rf /home/tools/hadoop/hadoop-3.1.3/data/namenode/*

拷贝namesecondary中的备份镜像文件进行恢复

# 伪代码
cp -r <core-site.xml_hadoop.tmp.dir>/dfs/namesecondary/* <hdfs-site.xml_dfs.namenode.name.dir>
## 示例
cp -r /home/tools/hadoop/hadoop-3.1.3/data/temp/dfs/namesecondary/* /home/tools/hadoop/hadoop-3.1.3/data/namenode/

重启NameNode就恢复了

集群安全模式修复

强制退出安全模式

hdfs dfsadmin safemoode forceExit

删除损坏块

hdfs fsck -delete /

两个集群之间的数据拷贝

<hadoop_home>/bin/hadoop distcp hdfs://node1:8020/data/hello.txt hdfs://mini1:8020/hello.txt

小文件存档

归档文件(将/user/input 目录下的所有文件归档成input.har文件存储在/user/output目录下)

hadoop archive -archiveName input.har -p /input /output

查看归档文件(使用har协议可以查看归档的文件名称也可以查看文件内容)

hadoop fs -ls har:///output/input.har

解归档文件

hadoop fs -cp har:///output/input.har/* /input/

HDFS回收站(修改配置文件<hdoop_home/>)