（全网独家）面试要懂运维真实案例：HDFS重新平衡(HDFS Balancer)没触发问题排查

在面试时，面试官为了考察面试者是否真的有经验，经常会问运维集群时遇到什么问题，解决具体流程。下面是自己遇到HDFS Balancer没执行，花了半天时间进行排查，全网独家的案例和解决方案。

目录

使用CDH自带重新平衡操作

用命令行来进行操作

平衡操作的触发依赖以下几个条件：

如何排查非 HDFS 使用的空间

1. 检查磁盘使用情况

具体步骤：

2. 排查常见的非 HDFS 空间占用来源

3. 自动化检查工具

4. 清理策略

HDFS Balancer使用高级技巧

设置包含和排除节点

设置最大迁移速率

增加并发迁移线程数

---

使用CDH自带重新平衡操作

在CDH的所有主机看到有1台服务器的磁盘空间使用80%多，别的服务器才使用50%多。在CDH6.3.2的HDFS管理界面，操作选择重新平衡，在之前公司用过好多次，现在竟然没有作用。

用命令行来进行操作

可以用下面的命令来查看hdfs balancer的操作参数：

hdfs balancer -help

于是怀疑是不是阈值低了，或者CDH没开启配置。用下面的命令 

阈值（threshold）用于控制触发平衡的使用率差异。CDH默认的阈值是10%，即当节点间磁盘使用率差异超过10%时，Balancer会启动平衡操作。可以通过以下命令来调整阈值，更低的阈值更容易触发：

hdfs balancer -threshold 5

用上面的命令行还是没有触发。觉得很不合理，阈值是超过5%。

平衡操作的触发依赖以下几个条件：

1. 节点磁盘使用率差异超过阈值：默认的平衡器阈值是 10%。如果一个DataNode的磁盘使用率比集群中其他节点的平均使用率高出10%，那么HDFS Balancer 就会触发数据块迁移操作。

2. HDFS 集群运行状态正常：Balancer 只在 HDFS 集群处于健康状态时运行。如果集群正在进行某些维护任务（如升级、修复等），Balancer 不会执行。

3. 没有手动排除的节点：如果某些节点被排除在Balancer操作之外（通过 -exclude 参数或配置信息），这些节点将不会参与平衡操作，即使它们的使用率超出阈值。

为什么没触发平衡操作，HDFS Balancer计算的是节点DFS的磁盘空间使用率，并不包括不是不是HDFS占用的空间。

可以用hdfs dfsadmin -report 来观察集群配置情况。观察到

Hostname: cdh01
Rack: /default
Decommission Status : Normal
Configured Capacity: 16656052023296 (15.15 TB)
DFS Used: 4840676593599 (4.40 TB)
Non DFS Used: 8188630638657 (7.45 TB)
DFS Remaining: 2785643620165 (2.53 TB)
DFS Used%: 29.06%
DFS Remaining%: 16.72%
Configured Cache Capacity: 4294967296 (4 GB)
Cache Used: 0 (0 B)
Cache Remaining: 4294967296 (4 GB)
Cache Used%: 0.00%
Cache Remaining%: 100.00%
Xceivers: 31
Last contact: Fri Oct 11 15:09:51 CST 2024
Last Block Report: Fri Oct 11 15:03:24 CST 2024Hostname: cdh02
Rack: /default
Decommission Status : Normal
Configured Capacity: 16656052023296 (15.15 TB)
DFS Used: 4827967553247 (4.39 TB)
Non DFS Used: 2653966696737 (2.41 TB)
DFS Remaining: 8333836684496 (7.58 TB)
DFS Used%: 28.99%
DFS Remaining%: 50.03%
Configured Cache Capacity: 4294967296 (4 GB)
Cache Used: 0 (0 B)
Cache Remaining: 4294967296 (4 GB)
Cache Used%: 0.00%
Cache Remaining%: 100.00%
Xceivers: 15
Last contact: Fri Oct 11 15:44:00 CST 2024
Last Block Report: Fri Oct 11 12:34:33 CST 2024Hostname: cdh03
Rack: /default
Decommission Status : Normal
Configured Capacity: 16656052023296 (15.15 TB)
DFS Used: 4746786218883 (4.32 TB)
Non DFS Used: 2817949895805 (2.56 TB)
DFS Remaining: 8250599884860 (7.50 TB)
DFS Used%: 28.50%
DFS Remaining%: 49.54%
Configured Cache Capacity: 4294967296 (4 GB)
Cache Used: 0 (0 B)
Cache Remaining: 4294967296 (4 GB)
Cache Used%: 0.00%
Cache Remaining%: 100.00%
Xceivers: 25
Last contact: Fri Oct 11 15:43:59 CST 2024
Last Block Report: Fri Oct 11 14:15:08 CST 2024

上面的3个节点，cdh01的磁盘空间使用了80%多，另外2个节点磁盘空间只使用50%多。但为什么没有触发，觉得应该是由于HDFS Balance应该只是看DFS Used，这3个节点利用率差不多，所以没有触发操作。

如何排查非 HDFS 使用的空间

1. 检查磁盘使用情况

使用 Linux 命令行工具来查看文件系统中各个目录的磁盘使用情况。可以通过 du 命令逐层排查，识别占用大量空间的文件或目录。

具体步骤：

1. 查看磁盘总使用情况
   使用 df -h 命令查看各个挂载点的磁盘使用情况。

   df -h

   输出示例：

   Filesystem      Size  Used Avail Use% Mounted on
   /dev/sda1       500G  450G   50G  90% /
   

   Filesystem Size Used Avail Use% Mounted on /dev/sda1 500G 450G 50G 90% /

   重点关注非 HDFS 数据所在的文件系统挂载点，确认使用情况。

2. 使用 du 排查具体目录
   使用 du 命令可以查看目录的具体磁盘使用情况，并逐层定位占用磁盘空间较大的目录或文件。可以从根目录（或 dfs.data.dir 的父目录）开始进行排查。

   du -h --max-depth=1 /

   输出示例：

   12G     /var
   30G     /usr
   8.1G    /lib
   50G     /home
   90G     /
   

   此时，可以看到 /var、/usr、/home 等目录的使用情况。通过将 --max-depth 参数调整为更深的层级，可以进一步深入查看子目录的使用情况。

3. 递归查找特定目录内占用空间较大的文件 一旦发现了占用较大空间的目录，可以进一步使用 du 命令查找目录内的文件或子目录。

   du -h --max-depth=1 /var

   例如：

   2.5G    /var/log
   9.5G    /var/lib
   12G     /var
   

4. 查看具体文件大小 一旦定位到具体的子目录，可以使用 ls -lh 命令查看目录内的文件及其大小。

   ls -lh /var/log

2. 排查常见的非 HDFS 空间占用来源

以下是一些常见的占用非 HDFS 空间的地方：

1. 系统日志文件 日志文件通常存储在 /var/log 目录下，特别是 Hadoop 相关日志文件（如 HDFS、YARN、MapReduce）可能会占用大量空间。
   检查 /var/log 目录下是否有过大的日志文件，例如：

   ls -lh /var/log

   可以定期清理旧日志或配置日志轮转机制（log rotation），避免日志文件无限增长。

2. 本地临时文件 Hadoop 的数据节点和其他服务可能会在本地磁盘上创建临时文件，这些文件可能会积累过多，尤其是在任务失败或系统崩溃后。检查 /tmp 或 /var/tmp 等临时目录的空间使用：

   du -h --max-depth=1 /tmp

3. YARN/Nodemanager 的本地目录 Hadoop 的 YARN 框架在节点上运行任务时，会产生本地数据，特别是在 YARN Nodemanager 的本地目录中。这个目录通常配置为 yarn.nodemanager.local-dirs，可以查找该配置指向的目录并检查使用情况。

   du -h --max-depth=1 /path/to/yarn/local-dir

4. 应用程序生成的临时数据 如果节点上运行了其他应用程序或服务（例如数据库、监控系统），这些服务生成的文件可能占用较多磁盘空间。可以检查 /opt、/usr/local 或者特定应用程序的存储目录。

3. 自动化检查工具

如果你不想手动排查，可以使用一些系统工具或脚本帮助识别大文件：

1. ncdu 工具
   ncdu 是一个基于 ncurses 的磁盘使用分析工具，可以通过图形化界面方便地查看每个目录占用的空间。 安装并使用：

   sudo apt-get install ncdu  # Ubuntu/Debian
   sudo yum install ncdu      # CentOS/RHEL
   ncdu /
   

2. find 命令查找大文件 你也可以使用 find 命令直接查找系统中超过一定大小的文件。例如，查找系统中超过 1 GB 的文件：

   find / -type f -size +1G -exec ls -lh {} \; | awk '{ print $9 ": " $5 }'

4. 清理策略

排查到占用大量非 HDFS 空间的文件后，可以采取以下措施进行清理和优化：

• 删除不必要的日志文件或临时文件。
• 配置日志轮转：通过设置 logrotate 来自动清理过时的日志文件。
• 定期清理临时目录：通过计划任务 (cron) 定期清理 /tmp、YARN 本地目录等临时存储。
• 调整系统或应用程序配置：检查 Hadoop 或其他服务的配置文件，避免过度使用磁盘空间（例如设置合理的本地临时文件清理策略）。

HDFS Balancer使用高级技巧

设置包含和排除节点

如果想对特定节点进行平衡操作，或者排除某些节点，可以使用 -include 或 -exclude 参数。例如：

• 包含节点：

hdfs balancer -include <node1,node2,...>

只对指定的节点进行平衡操作。

• 排除节点：

hdfs balancer -exclude <node1,node2,...>

排除指定的节点不进行平衡操作。

设置最大迁移速率

平衡操作可能会消耗较多带宽和系统资源，因此可以控制最大数据迁移速率。HDFS中通过参数 dfs.balance.bandwidthPerSec 控制每秒最大数据传输速率。默认值是 1 MiB/s，如果要加快或减慢平衡过程，可以通过以下方式修改：

• 修改 HDFS 配置文件

hdfs-site.xml 中的 dfs.balance.bandwidthPerSec 值：

<property><name>dfs.balance.bandwidthPerSec</name><value>10485760</value> <!-- 10 MiB/s -->
</property>

• 或者在命令行运行 Balancer 时指定速率：

hdfs balancer -bandwidth <字节数/秒>

例如，设置为每秒传输 10 MiB 数据：

hdfs balancer -bandwidth 10485760

增加并发迁移线程数

在一些大集群中，默认的并发迁移线程数可能不足以快速完成平衡操作。可以通过增加 dfs.balancer.moverThreads 参数，来允许更多的数据块同时迁移。例如，默认值是1000，可以根据集群负载情况适当增大这个值：

<property><name>dfs.balancer.moverThreads</name><value>2000</value></property>

小结

HDFS Balancer 判断节点是否不平衡，主要依据的是每个节点的 磁盘使用率差异（DFS的使用率），不包括非DFS空间。集群节点之间的磁盘利用率一旦超过设定的阈值（threshold），HDFS Balancer 就会认为集群处于不平衡状态，进而触发数据块迁移操作。具体步骤如下：

1. 收集节点磁盘使用情况：HDFS NameNode 会定期统计所有 DataNode 的磁盘使用情况。
2. 比较节点之间的使用率差异：Balancer 会根据设定的 阈值（threshold），比较集群中不同节点的磁盘使用率。如果某些节点的使用率比其他节点高出设定的阈值，Balancer 就会认为集群不均衡。
3. 决定数据块迁移：当节点间的使用率差异超过阈值，Balancer 会尝试将一些数据块从高使用率的节点迁移到低使用率的节点，以减小这种差异。