EMC Isilon存储节点挂掉--Journal故障问题处理

EMC isilon 的集群存储系统经常会遇到有些节点关机后无法启动，使用串口或者接上显示器去看，会看到node节点启动到下面的位置就不正常启动了。典型的console输出如下：

老的版本，OneFS 7.0版本以前的：

Checking Isilon Journal integrity...

DRAM journal is invalid, initiating recovery...

Attempting to save and restore journal to clear any ECC errors in unused DRAM blocks...

Attempting to save journal to default location

Warning: /etc/ifs/journal_bad exists. Saving bad journal.

OneFS is unmounted

Writing journal_backup_valid  : backup in progress

Writing journal_backup_serial : unmounted backup at Sun Feb 23 13:54:15 2025

Saving journal to /var/journal/journal.gz

Unable to save journal (isi_dumpjournal -s returned 1)

Error output:

        Writing v4/v5/v6 journal

         type       sector      bytes

        -----   ---------- ----------

        Bad version: 9

        isi_dumpjournal: Bad v4 superblock sect 0x0

Unable to save journal /var/journal/journal:

Restore failed

!! The journal test has encountered a problem.

!! Could not recover journal. Contact Isilon Customer Support

!! immediately.

!! Type 'prompt' to drop to a shell.

OneFS 7.0 版本以后的提示：

Test Journal exited with error - Checking Isilon Journal integrity. . .
Attempting to save journal to default location
Warning: /etc/ifs/journal_bad exists. Saving bad journal .
OneFS is unmounted
Writing journal_backup_valid: backup in progress
Writing journal_backup_serial: unmounted backup at Sun Oct 20 08: 36: 31 2013
Saving journal to /var/journal/journal.gz
Unable to save journal ( isi_dump journal - s returned 1)
Error output :
data 422768 8192
data 787792 8192
data 617904 8192
Bad flags: 0xe01d
isi_dump journal : Bad v4 txn block sect 0x1a57f
Unable  to save journal /var/journal/jour nal :
DRAM journal is invalid, initiating recover y. . .
Attempting to save and restore journal to clear any ECC errors in unused DRAM blocks. . . 
Restore failed
Could not recover journal . Contact Isilo Customer Support immediately.
Please contact Isilon Customer Support at 1-877-2-ISILON. 
Command Options:
1) Enter recovery shell 
2) Continue booting
3) Reboot

开始之前，先简单说一下，什么是journal，为什么journal有问题，节点就无法启动了。简单来说，journal就是OneFS存储系统的日志文件，就是内存中的数据，这些数据还没有写入到磁盘中。如果journal有问题了，那么存储操作系统的一致性就有问题了，就意味着有数据丢失了。这也就是isilon为什么遇到这个问题就不让节点加入集群的原因了。

导致出现journal出现问题的原因从大的方面就是2种：

硬件问题，常见的是NVRAM 卡坏了，笼子chassis有问题了。

软件问题，就是journal数据不一致了。这个常见的是保存在NVRAM中的数据由于长时间关机，nvram中的数据没有了。

解决这个问题最简单的就是把node节点给smartfail了，然后再add进来。但是也有很多情况，客户是无法对node做smartfail的，比如，cluster集群的空间不够一个node的smartfail，或者集群中超过protection level的node出现了故障。这个时候就要分析node出现故障前journal的情况来进行相关问题处理，可以联系我们，添加vx: StorageExpert。

下面是关于EMC isilon OneFS操作系统中journal的详细介绍，有了这些概念的深入理解，我们就可以更好的处理journal issue问题了。

1. 什么是 journal？

• 定义：在 OneFS 中，journal 是一种日志机制，用于记录文件系统元数据的更改（例如创建、删除、修改文件或目录）。它类似于数据库的 WAL（Write-Ahead Logging）或传统文件系统（如 ext3/ext4）的 journal，但是为 Isilon 的分布式文件系统设计，专门用于确保多节点集群的数据一致性和恢复能力。
• 作用：
  • 一致性保证：在节点崩溃、断电或硬件故障后，journal 允许 OneFS 回放日志，恢复文件系统到一致状态，避免数据丢失或损坏。
  • 性能优化：通过先将元数据更改写入 journal（通常在 NVRAM 中），然后异步刷新到磁盘，OneFS 可以在高负载下提高写性能。
  • 分布式支持：在多节点集群中，journal 确保所有节点之间的元数据更改同步一致。
• 存储位置：
  • NVRAM：OneFS 使用 NVRAM（非易失性随机存取内存）作为 journal 的主要存储区域，提供高速、低延迟的写操作。NVRAM 通常是硬件卡（如 Mellanox NVRAM 卡）。
  • 磁盘（/var/journal）：journal 的副本或备份存储在本地磁盘的 /var/journal分区中。这是持久化存储，用于在 NVRAM 耗尽或损坏时尝试恢复。

2. OneFS 中的 journal 特性

• 分布式设计：OneFS 是分布式文件系统，每个节点维护自己的 journal，但通过群组管理协议（GMP，Group Management Protocol）同步集群元数据，确保一致性。
• 元数据聚焦：journal 主要记录元数据更改（文件属性、目录结构、权限等），而不是实际数据内容（数据块存储在 /ifs上的磁盘中）。
• 冗余与恢复：OneFS 使用 journal 备份（如 /var/journal/journal.gz）和cluster的更改日志，在节点故障时恢复元数据meta data。

OneFS journal 的原理

1. 基本原理

• 日志记录：当用户或应用对 /ifs中的文件或目录进行操作（例如创建文件、修改权限），OneFS 将这些元数据的更改写入 journal。
• 两阶段提交：
  1. 写入 NVRAM：更改首先写入 NVRAM 中的 journal，标记为“未提交”（dirty）。NVRAM 提供低延迟和高可靠性，确保即使电源中断，数据不会丢失。
  2. 刷新到磁盘：在适当时间（例如定期或达到阈值），OneFS 将 journal 数据从 NVRAM 刷入磁盘上的 /var/journal或 /ifs的元数据区域，标记为“已提交”（committed）。
• 回放机制：如果系统崩溃或断电，OneFS 在重启时读取 journal，检查未提交的更改，执行回放（replay）操作，恢复文件系统到一致状态。
• 一致性检查：OneFS 在启动时运行 journal 测试，验证 journal 的完整性和一致性。如果检测到损坏（例如 NVRAM 数据丢失、磁盘 ECC 错误），会创建 journal_bad文件并阻止启动。

2. 分布式一致性

• 在多节点集群中，每个节点维护自己的 journal，但通过 GMP 同步元数据更改。
• 当一个节点更新元数据时：
  1. 该节点的 journal 记录更改。
  2. 通过网络广播更改到其他节点，更新它们的 journal 和元数据。
  3. 所有节点达成一致后，元数据刷入磁盘。
• 如果某个节点的 journal 损坏，集群可能无法启动。

OneFS journal 的工作机制

1. 数据流

• 写操作：
  1. 用户通过 NFS、SMB 或其他协议发起文件操作（如 touch /ifs/test.txt）。
  2. OneFS 将元数据更改（例如文件创建时间、权限）写入 NVRAM 中的 journal。
  3. NVRAM 数据异步刷新到 /var/journal和 /ifs的元数据区域。
  4. 数据块（文件内容）直接写入磁盘（/ifs），由 OneFS 的数据保护机制（N+1、N+2 冗余）管理。
• 读操作：
  • 读取时直接访问 /ifs上的数据块和元数据，无需 journal 参与（除非需要恢复）。
• 崩溃恢复：
  1. 系统重启时，OneFS 检查 NVRAM 和 /var/journal中的 journal。
  2. 如果 journal 完整，执行回放操作，应用未提交的更改。
  3. 如果 journal 损坏，创建 journal_bad并停止启动。

2. 硬件依赖

• NVRAM：提供高速、低延迟的 journal 写操作。长时间停电可能导致 NVRAM 电池耗尽，journal 数据丢失。
• 磁盘：/var/journal分区存储 journal 备份（如 journal.gz）。

3. 错误处理

• ECC 错误：磁盘或者NVRAM的ECC 错误（ECC block list hit）可能破坏 journal 或元数据，导致 OneFS 无法恢复。
• journal 损坏：见 journal_bad（“The journal device is corrupted.”），可能是 NVRAM 耗尽、磁盘故障或停电导致。