VMware中的重要日志文件 vobd.log 学习总结

最近几天处理完毕存储的故障后，接着就是host方面的问题，Vmware无法访问到存储，其实存储的LUN和POOL 已经online ready了，但是主机还是访问不到存储。

这里介绍下Vmware中的一个重要的日志文件 vobd.log，该文件对于分析硬件故障、存储故障、路径问题、网络问题以及虚拟机性能等方面等非常有帮助。如果有问题查看log后还是无法定位或者解决问题，可以添加weChat，就是vx，用户名:StorageExpert 进一步探讨。

vobd.log 是 VMware ESXi 主机中专门记录 VOB（VMkernel Observation）的日志文件，用于捕获与硬件和虚拟机性能相关的关键事件和警告。它是 VMware vSphere 中重要的故障排查和监控工具之一，有助于识别硬件问题、存储故障和其他系统级事件。

该日志文件的默认位置为 /var/log/vobd.log。

1. vobd.log 的用途

• 硬件状态监控：vobd.log 记录 ESXi 主机硬件的状态，例如 CPU、内存、磁盘和电源等硬件组件的异常状态。
• 存储与网络事件：捕捉存储设备（如 HBA、磁盘阵列）和网络设备的状态变化，包括设备故障、连接问题等。
• 虚拟机监控事件：记录影响虚拟机运行的关键系统事件，例如资源调配错误、资源争用等情况。
• 系统性能问题：如果 ESXi 主机存在高 CPU 或内存使用率的情况，vobd.log 也会记录相关警告。
• vSphere HA 和 DRS 事件：在启用了 vSphere HA 或 DRS 的集群中，如果出现节点故障、心跳丢失、资源争用等事件，vobd.log 也会捕获相关记录。

2. vobd.log 的常见内容结构

vobd.log 中的每行日志通常包括以下字段：

• 时间戳：事件发生的具体时间，格式为 [年-月-日 T 时:分:秒.毫秒]。
• 日志级别：例如 INFO、WARNING、ERROR 等，用于表示事件的严重性。
• 事件代码（Event Code）：表示具体的事件代码，用于标识事件的类型。例如 esx.problem.* 表示问题事件。
• 事件描述：具体的事件描述信息，包括硬件、存储、网络等组件的状态变化或异常信息。

3. 分析 vobd.log 的常用方法

（1）硬件问题排查

如果怀疑硬件故障，例如内存故障或电源问题，可以查找 vobd.log 中 esx.problem.hardware 开头的事件代码。常见的硬件事件包括：

• CPU 故障：可能会出现 esx.problem.cpu 的日志，表示 CPU 出现异常。
• 内存错误：例如 esx.problem.memory 表示内存发生故障或错误。
• 电源问题：如 esx.problem.power 表示主机的电源可能存在故障。

（2）存储问题排查

当存储设备（如磁盘、HBA）出现问题时，vobd.log 中会出现与 esx.problem.storage 相关的事件代码，例如：

• 路径丢失：当 ESXi 主机检测到存储路径丢失时，会出现 esx.problem.storage.path.lost 事件，通常还会记录受影响的存储设备信息。
• 路径恢复：当路径恢复后，会记录 esx.clear.storage.path.restored 事件，表明主机重新检测到存储路径。
• 设备连接失败：例如 esx.problem.scsi.device 表示 SCSI 设备连接失败。

（3）网络问题排查

当网络设备或连接出现问题时，vobd.log 中会记录类似 esx.problem.network 的事件，例如：

• 网络连接丢失：记录网络适配器连接丢失的事件，如 esx.problem.network.nic.lost。
• 恢复连接：例如 esx.clear.network.nic.restored 表示网络连接恢复。
• 高延迟警告：当网络出现异常高延迟时，会记录警告信息，便于网络排查。

（4）虚拟机资源分配问题排查

vobd.log 还会记录影响虚拟机的事件，常见的事件包括：

• 资源争用：例如 CPU 或内存资源不足导致虚拟机性能下降，可能会记录 esx.problem.vm.resource.
• 虚拟机故障转移：在启用 vSphere HA 的环境中，当虚拟机从一台主机故障转移到另一台主机时，vobd.log 会记录相关的故障转移事件。

4. vobd.log 日志分析工具与方法

• 文本编辑器：可以直接使用文本编辑器查看，也可以通过 grep 命令筛选特定的事件代码或关键词。如果对Linux命令很熟悉，可以借助于vi，less， grep等命令来查看该日志。如果日志很大，可以考虑download到本地，使用notepad++，editplus等文件编辑器工具来详细查看。
• vSphere 客户端事件日志：vSphere 客户端中也可以查看主机的事件日志，与 vobd.log 信息互为补充。

5. 常见 vobd.log 示例

• 路径丢失和恢复：
  
  [2024-11-09T12:00:00.123Z] [vobd] [ERROR] esx.problem.storage.path.lost: Lost path to storage device naa.6006016020300d00c00d000000000000. Path vmhba1:C0:T1:L0 is down.
  [2024-11-09T12:02:10.456Z] [vobd] [INFO] esx.clear.storage.path.restored: Successfully restored path to storage device naa.6006016020300d00c00d000000000000.
  表示存储路径丢失并重新恢复。
• 网络连接丢失和恢复：
  [2024-11-09T12:15:30.789Z] [vobd] [WARNING] esx.problem.network.nic.lost: Lost network connectivity on adapter vmnic0.
  [2024-11-09T12:18:50.012Z] [vobd] [INFO] esx.clear.network.nic.restored: Network connectivity restored on adapter vmnic0.
  表示网络连接丢失并恢复。