GPFS 集群运维「神器」：手搓一个 EC 模式可视化监控平台，实现自动化飞书告警！

01 存储运维的「黑盒」之痛做过大规模 GPFSIBM Spectrum Scale集群运维的同学都懂集群拓扑全靠mmlscluster、mmlsnsd命令脑补ECErasure Coding纠删码模式的磁盘、Vdisk、Pdisk 关系错综复杂文档里翻半天才能理清健康状态依赖mmhealth 人工巡检出了问题才发现告警只能靠邮件不能及时推送到日常工作的 IM 工具。今天和大家分享一个「手搓」的 GPFS EC 模式可视化监控运维平台—— 基于 OpenClaw 技术栈打造把一个复杂的存储集群变成一张「看得懂、管得住」的仪表盘。图 1平台 Dashboard 总览一屏掌握集群运行全貌02 为什么选择「手搓」目前业界对 GPFS 的监控方案多为通用型如 Prometheus Grafana但对于EC 模式的专项监控往往不够细致需求维度通用方案自研平台EC 拓扑可视化❌ 不支持✅ 完整展示Vdisk/Pdisk 关联❌ 需二次开发✅ 原生支持飞书实时告警❌ 需自建桥接✅ 内置配置全中文友好界面⚠️ 依赖模板✅ 开箱即用这个平台的核心理念是让 GPFS EC 集群的每一层架构都「透明可见」。03 核心功能一览3.1 一屏总览Dashboard登录即见「Cluster Overview」关键指标一目了然节点状态4 节点全在线Quorum 达成 ✅存储概览8 块 NSD 磁盘已用 3.2 GB / 394.7 GB仅 0.8%文件系统1 个文件系统fs0120 块 Pdisk17 个 Vdisk健康摘要Component Health Summary 柱状图Node State Distribution 环形图实时刷新支持 5 分钟自动刷新数据不落伍图 2Component Health Summary 与 Node State Distribution集群异常一眼定位3.2 拓扑可视化告别「脑补」架构GPFS EC 模式的架构逻辑是Filesystem → Recovery Group → Declustered Array → Pdisks ↓ Vdisks43p EC / 4Way Replication ↓ NSD → 挂载到节点这个平台用分层拓扑图把这关系画清楚了图 3GPFS 集群拓扑全景图 —— 从文件系统到底层物理磁盘的全链路可视化拓扑面板可以看到fs01文件系统挂载点及容量、Inode 使用率8 个 NSD的网络映射关系Recovery Group rg01下的Declustered Array DA14 个 EC 节点EC1~EC4每个节点挂载 5 块物理磁盘状态均为 healthy 运维价值磁盘替换、扩容规划、故障定位时不用再mmlsrecoverygroup翻命令行了。3.3 节点管理Live Node States实时展示所有节点的存活与 Quorum 状态图 4Live Node Statesmmgetstate—— 4 节点全部 activeQuorum 3/4 达标节点名、状态标签active 、Quorum 节点数每个节点的3 quorum状态清晰可见一旦发现节点掉线或仲裁丢失秒级标红提示3.4 存储资源全维度透视 NSD 层Network Shared Disks图 5Storage NSDs 列表 —— NSD 到服务器、本地磁盘的映射关系8 个 NSD 一一对应 EC01 服务器上的本地磁盘每张盘 49.3 GB使用率 1%剩余 99%。 Disk 层物理磁盘详情图 6Storage Disks —— 每块磁盘的元数据/数据承载状态、故障组、可用性故障组Failure Group1/2 交替分布确保冗余Holds Metadata / Holds Data全是 yes说明 EC 配置下磁盘同时承载数据和元数据状态ready可用性up Pdisk 层物理磁盘阵列图 7Pdisksmmlspdisk— Recovery Group 下的物理磁盘健康与容量详情Recovery Grouprg01下的所有 Pdisk均归属 DA1容量 99.9 GB剩余约 10 GB状态ok。 Vdisk 层虚拟磁盘与 EC 模式图 8Vdisks —— 4WayReplication 与 43p EC 两种冗余策略一目了然最关键的一张表清楚展示了Vdisk 类型RAID Code说明LOGHOME4WayReplication日志盘4 副本高可靠VS00143p数据盘EC 纠删码模式43p EC 的含义数据被切分为 4 个数据块 3 个校验块允许最多 3 块盘同时故障而不丢数据存储利用率高达 57%4/7远高于 3 副本的 33%。3.5 告警通知飞书 Webhook 秒级推送平台内置告警中枢支持配置飞书机器人 Webhook图 9Setup 配置页 —— 飞书告警、通知分级、后端参数一站式配置多级告警过滤ERROR / WARNING / INFO 按需勾选一键测试配置完立即测试 Webhook 连通性即时推送突破邮件延迟故障秒级到达运维群后端可调GPFS 轮询间隔、UI 刷新频率、日志目录均可自定义3.6 健康总览mmhealth 图形化将mmhealth cluster show的输出转成直观的健康矩阵图 10Health —— mmhealth cluster show 的图形化呈现9 大组件全绿通关覆盖 9 大核心组件NODE、GPFS、NETWORK、FILESYSTEM、DISK、FILESYSMGR、NATIVE_RAID、PERFMON、THRESHOLD状态分级 Healthy健康 Degraded降级 Failed故障⚪ Other其他当前集群9 大组件全绿是个安心睡觉的好日子。04 技术亮点总结特性实现效果EC 模式专项支持完整展示 43p / 4WayReplication 的 Vdisk 策略全链路拓扑Filesystem → RG → DA → Pdisk → Vdisk → NSD层层穿透实时 telemetry基于 IBM Storage Scale 原生命令采集数据真实可靠飞书原生集成告警不再依赖邮件运维响应速度提升一个数量级OpenClaw 自研轻量级、可定制、无商业依赖代码自己掌控05 适合谁用✅ 运行 GPFS / IBM Spectrum Scale 的 HPC/AI 集群运维团队✅ 使用 EC 纠删码替代传统副本策略的存储架构师✅ 希望把「命令行式运维」升级为「可视化管理」的技术管理者✅ 需要把告警推送到飞书/钉钉/企业微信的 DevOps 团队06 写在最后存储系统的稳定性是整个基础设施的底座。GPFS 作为一个功能强大但学习曲线较陡的分布式文件系统EC 模式虽然在成本和可靠性之间取得了很好的平衡但运维可视化的缺失一直是痛点。这个平台的初衷很简单让每一台服务器、每一块磁盘、每一个 Vdisk 的状态都清晰可见。如果你也在做 GPFS 集群运维希望这个项目能给你一些启发。 文末互动你目前在用什么工具监控 GPFSPrometheus自研脚本你最希望 GPFS 监控平台增加什么功能欢迎在评论区留言交流或者转发给做存储的战友本文配图均为平台真实截图集群规模为 4 节点 8 NSD 的测试环境。