当前位置： 首页 > news >正文

ORACLE 6节点组成的ACFS文件系统异常的分析思路

news 文章来源：https://blog.csdn.net/q947817003/article/details/139120779 2025/5/23 1:46:36

近期遇到多次6节点集群的ACFS文件系统环境异常问题；如24日中午12点附近出现ACFS文件系统访问异常，通过查看集群ALERT日志、CSSD进程日志及OSW监控软件的日志，可以发现OSW监控软件在11:55-12:40分时没有收集到虚拟机LINUX主机的监控数据，同期数据库的CSSD进程也有与其它节点的私网信息已经丢失网络心跳，因此可以推断当时主机已经HANG住。

前环境为VMWARE虚拟机环境搭建6节点ORACLE GRID集群，使用ACFS文件系统为应用程序提供数据共享目录 /DATA，应用程序同时部署在6节点ORACLE GRID集群的对应主机上；未在集群环境运行ORACLE数据库。

对于近期两次典型问题分析如下：6/24日中午12点附近出现ACFS文件系统访问异常，通过查看集群ALERT日志、CSSD进程日志及OSW监控软件的日志，可以发现OSW监控软件在11:55-12:40分时没有收集到主机的监控数据，同期数据库的CSSD进程也有与其它节点的私网信息已经丢失网络心跳，因此可以推断当时主机已经HANG住。7/2日上午9点附近ACFS文件系统无法访问，当时OSW监控未开启；从集群ALERT日志来看当时有应用进程在使用/DATA目录 无法UNMOUNT，操作系统日志中有NFO: task java:12227 blocked for more than 120 seconds.信息，因未有其它有效信息，暂无法判断当时何种原因导致ACFS文件系统访问异常。

从具体的问题来看，ORACLE集群软件做为操作系统上层的软件，会受到底层操作系统OS以及更底层的VMWARE虚拟机环境的影响；由于几层系统之间监控日志粒度也不同，对于问题的分析带来了较大的复杂度；许多信息无法向下追踪去查找根本原因；

如下为分析过程：

1.集群 alert日志信息

2019-06-24 11:32:43.138:

[ctssd(3268)]CRS-2408:The clock on host node5 has been updated by the Cluster Time Synchronization Service to be synchronous with the mean cluster time.

2019-06-24 12:17:40.220:

[cssd(3148)]CRS-1612:Network communication with node node2 (2) missing for 50% of timeout interval.  Removal of this node from cluster in 14.560 seconds

2019-06-24 12:17:48.222:

[cssd(3148)]CRS-1611:Network communication with node node2 (2) missing for 75% of timeout interval.  Removal of this node from cluster in 6.560 seconds

2019-06-24 12:17:52.223:

[cssd(3148)]CRS-1610:Network communication with node node2 (2) missing for 90% of timeout interval.  Removal of this node from cluster in 2.560 seconds

2019-06-24 12:17:54.790:

[cssd(3148)]CRS-1601:CSSD Reconfiguration complete. Active nodes are node1 node3 node4 node5 node6 .

2019-06-24 12:18:38.016:

[cssd(3148)]CRS-1601:CSSD Reconfiguration complete. Active nodes are node1 node2 node3 node4 node5 node6 .

2019-06-24 12:33:48.943:

[cssd(3148)]CRS-1662:Member kill requested by node node6 for member number 5, group ocr_oanew-cluster

2019-06-24 12:33:48.959:

2.OSW监控数据

部分输入如下：

zzz ***Mon Jun 24 11:55:04 CST 2019

Tasks: 520 total,   1 running, 519 sleeping,   0 stopped,   0 zombie

Cpu(s):  1.9%us,  1.4%sy,  0.1%ni, 96.5%id,  0.0%wa,  0.1%hi,  0.1%si,  0.0%st

Mem:  24608192k total, 24400720k used,   207472k free,   450168k buffers

Swap: 16383992k total,   149316k used, 16234676k free,  3719180k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND            

21449 root      20   0 14.9g 6.5g  16m S 34.6 27.6 311:40.89 java               

25134 root      20   0  109m 1212  892 D  5.9  0.0   0:50.58 find               

25763 root      10 -10     0    0    0 S  4.0  0.0   1:33.21 oks_comm           

 2522 root      20   0  157m  19m 6044 S  2.0  0.1 296:44.37 Xorg               

25569 root      30  10  238m  12m 5388 S  2.0  0.1   0:07.87 floaters           

32100 oracle    20   0  4636 1268  660 S  2.0  0.0   0:00.03 pidstat            

32110 oracle    20   0  4648 1284  660 S  2.0  0.0   0:00.03 pidstat            

32125 oracle    20   0 15300 1556  932 R  2.0  0.0   0:00.02 top                

32152 root      20   0 7407m  11m 7084 S  2.0  0.0   0:00.02 jstat              

  106 root      20   0     0    0    0 S  1.0  0.0   6:46.23 kblockd/0          

24801 oracle    20   0 1835m  38m  16m S  1.0  0.2   5:47.71 oraagent.bin       

25759 root      10 -10     0    0    0 S  1.0  0.0   0:04.91 oks_comm           

25760 root      10 -10     0    0    0 S  1.0  0.0   0:05.08 oks_comm           

25761 root      10 -10     0    0    0 S  1.0  0.0   0:04.99 oks_comm           

25762 root      10 -10     0    0    0 S  1.0  0.0   0:17.44 oks_comm           

27667 root      20   0  815m  19m  10m S  1.0  0.1 110:42.34 octssd.bin         

27731 root      RT   0  756m  90m  57m S  1.0  0.4 823:45.84 osysmond.bin       

    1 root      20   0 19364 1152  920 S  0.0  0.0   0:01.55 init               

    2 root      20   0     0    0    0 S  0.0  0.0   0:00.50 kthreadd           

    3 root      RT   0     0    0    0 S  0.0  0.0   1:37.36 migration/0        

    4 root      20   0     0    0    0 S  0.0  0.0   0:29.71 ksoftirqd/0        

    5 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/0        

    6 root      RT   0     0    0    0 S  0.0  0.0   0:03.78 watchdog/0         

    7 root      RT   0     0    0    0 S  0.0  0.0   2:56.86 migration/1        

    8 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/1        

    9 root      20   0     0    0    0 S  0.0  0.0   0:40.01 ksoftirqd/1        

   10 root      RT   0     0    0    0 S  0.0  0.0   0:03.14 watchdog/1         

   11 root      RT   0     0    0    0 S  0.0  0.0   1:45.06 migration/2        

   12 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/2        

   13 root      20   0     0    0    0 S  0.0  0.0   0:30.71 ksoftirqd/2        

   14 root      RT   0     0    0    0 S  0.0  0.0   0:04.09 watchdog/2         

   15 root      RT   0     0    0    0 S  0.0  0.0   1:39.74 migration/3        

   16 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/3        

   17 root      20   0     0    0    0 S  0.0  0.0   0:15.30 ksoftirqd/3        

   18 root      RT   0     0    0    0 S  0.0  0.0   0:05.59 watchdog/3         

   19 root      RT   0     0    0    0 S  0.0  0.0   1:21.81 migration/4        

   20 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/4        

   21 root      20   0     0    0    0 S  0.0  0.0   0:24.62 ksoftirqd/4        

   22 root      RT   0     0    0    0 S  0.0  0.0   0:02.89 watchdog/4         

   23 root      RT   0     0    0    0 S  0.0  0.0   2:59.13 migration/5        

   24 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/5        

   25 root      20   0     0    0    0 S  0.0  0.0   0:29.33 ksoftirqd/5        

   26 root      RT   0     0    0    0 S  0.0  0.0   0:03.09 watchdog/5         

   27 root      RT   0     0    0    0 S  0.0  0.0   2:05.44 migration/6        

zzz ***Mon Jun 24 12:40:18 CST 2019

top - 12:40:19 up 38 days, 21:55,  7 users,  load average: 389.66, 349.33, 237.0

Tasks: 479 total,   2 running, 476 sleeping,   0 stopped,   1 zombie

Cpu(s): 12.3%us,  7.6%sy,  0.6%ni, 79.2%id,  0.2%wa,  0.0%hi,  0.1%si,  0.0%st

Mem:  24608192k total, 13600176k used, 11008016k free,   450344k buffers

Swap: 16383992k total,   121744k used, 16262248k free,  3679644k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND            

 2079 root      20   0 1925m  60m 8280 R 195.2  0.3   0:01.97 java              

25787 root      20   0     0    0    0 S 29.7  0.0   0:13.62 acfsvol1           

 1785 root      30  10  233m 8240 5356 S 10.9  0.0   0:00.18 floaters           

 1780 root      20   0 1434m  33m  15m S  2.0  0.1   0:00.11 orarootagent.bi    

 1848 oracle    20   0  4660 1292  660 S  2.0  0.0   0:00.03 pidstat            

 1784 oracle    20   0  4708 1344  660 S  1.0  0.0   0:00.02 pidstat            

 2522 root      20   0  156m  17m 6044 S  1.0  0.1 296:44.88 Xorg               

23104 root      20   0 1914m  34m  16m S  1.0  0.1 168:20.21 ohasd.bin          

27384 oracle    RT   0 1346m 115m  54m S  1.0  0.5 390:41.65 ocssd.bin          

27731 root      RT   0  756m  90m  57m S  1.0  0.4 823:47.37 osysmond.bin       

    1 root      20   0 19364 1152  920 S  0.0  0.0   0:01.59 init               

    2 root      20   0     0    0    0 S  0.0  0.0   0:00.50 kthreadd           

    3 root      RT   0     0    0    0 S  0.0  0.0   1:37.36 migration/0        

    4 root      20   0     0    0    0 S  0.0  0.0   0:29.89 ksoftirqd/0        

    5 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/0        

    6 root      RT   0     0    0    0 S  0.0  0.0   0:03.79 watchdog/0         

    7 root      RT   0     0    0    0 S  0.0  0.0   2:56.86 migration/1        

    8 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/1        

    9 root      20   0     0    0    0 S  0.0  0.0   0:40.02 ksoftirqd/1        

   10 root      RT   0     0    0    0 S  0.0  0.0   0:03.14 watchdog/1         

   11 root      RT   0     0    0    0 S  0.0  0.0   1:45.06 migration/2        

   12 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/2        

   13 root      20   0     0    0    0 S  0.0  0.0   0:30.72 ksoftirqd/2        

   14 root      RT   0     0    0    0 S  0.0  0.0   0:04.10 watchdog/2         

   15 root      RT   0     0    0    0 S  0.0  0.0   1:39.82 migration/3        

   16 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/3        

   17 root      20   0     0    0    0 S  0.0  0.0   0:15.30 ksoftirqd/3        

   18 root      RT   0     0    0    0 S  0.0  0.0   0:05.60 watchdog/3         

   19 root      RT   0     0    0    0 S  0.0  0.0   1:21.81 migration/4        

   20 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/4        

   21 root      20   0     0    0    0 S  0.0  0.0   0:24.64 ksoftirqd/4        

   22 root      RT   0     0    0    0 S  0.0  0.0   0:02.89 watchdog/4         

   23 root      RT   0     0    0    0 S  0.0  0.0   2:59.15 migration/5        

   24 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/5   

3.节点1 CSSD进程日志信息

2019-06-24 12:17:46.238: [    CSSD][2716677888]clssnmSendingThread: sent 5 status msgs to all nodes

2019-06-24 12:17:46.631: [    CSSD][2727913216]clssnmvDiskPing: Writing with status 0x3, timestamp 1561349866/3359336954

2019-06-24 12:17:47.132: [    CSSD][2727913216]clssnmvDiskPing: Writing with status 0x3, timestamp 1561349867/3359337454

2019-06-24 12:17:47.631: [    CSSD][2718254848]clssnmPollingThread: node node2 (2) at 75% heartbeat fatal, removal in 7.150 seconds

2019-06-24 12:17:47.631: [    CSSD][2727913216]clssnmvDiskPing: Writing with status 0x3, timestamp 1561349867/3359337954

2019-06-24 12:17:48.132: [    CSSD][2727913216]clssnmvDiskPing: Writing with status 0x3, timestamp 1561349868/3359338454

2019-06-24 12:17:48.631: [    CSSD][2727913216]clssnmvDiskPing: Writing with status 0x3, timestamp 1561349868/3359338954

2019-06-24 12:17:49.132: [    CSSD][2727913216]clssnmvDiskPing: Writing with status 0x3, timestamp 1561349869/3359339454

2019-06-24 12:17:49.631: [    CSSD][2727913216]clssnmvDiskPing: Writing with status 0x3, timestamp 1561349869/3359339954

2019-06-24 12:17:50.132: [    CSSD][2727913216]clssnmvDiskPing: Writing with status 0x3, timestamp 1561349870/3359340454

2019-06-24 12:17:50.631: [    CSSD][2727913216]clssnmvDiskPing: Writing with status 0x3, timestamp 1561349870/3359340954

2019-06-24 12:17:51.132: [    CSSD][2727913216]clssnmvDiskPing: Writing with status 0x3, timestamp 1561349871/3359341454

2019-06-24 12:17:51.240: [    CSSD][2716677888]clssnmSendingThread: sending status msg to all nodes

2019-06-24 12:17:51.240: [    CSSD][2716677888]clssnmSendingThread: sent 5 status msgs to all nodes

2019-06-24 12:17:51.632: [    CSSD][2727913216]clssnmvDiskPing: Writing with status 0x3, timestamp 1561349871/3359341954

2019-06-24 12:17:52.133: [    CSSD][2727913216]clssnmvDiskPing: Writing with status 0x3, timestamp 1561349872/3359342454

2019-06-24 12:17:52.632: [    CSSD][2718254848]clssnmPollingThread: node node2 (2) at 90% heartbeat fatal, removal in 2.150 seconds,

seedhbimpd 1

    1. 7/2日问题分析

7/2日上午9点附近ACFS文件系统无法访问，当时OSW监控未开启；从集群ALERT日志来看当时有应用进程在使用/DATA目录 无法UNMOUNT，操作系统日志中有NFO: task java:12227 blocked for more than 120 seconds.信息，因未有其它有效信息，暂无法判断当时何种原因导致ACFS文件系统访问异常。

1.集群ALERT日志信息

2019-07-02 08:49:03.484:

[ctssd(3257)]CRS-2408:The clock on host node1 has been updated by the Cluster Time Synchronization Service to be synchronous with the mean cluster time.

[client(17179)]CRS-10001:02-Jul-19 09:04 ACFS-9153: Program '/app/weaver/jdk1.6.0_27/bin/java -Djava.util.logging.manager=com.caucho.log.LogManagerImpl -Djava.system.class.loader=com.caucho.loader.SystemClassLoader -Djavax.management.builder.initial=com.caucho.jmx.MBeanServerBuilderImpl -Djava.awt.headless=true -Dresin.home=/app/weaver/Resin/ -Xmx6000m -Xms6000m -Xss256k -XX:PermSize=256m -XX:MaxPermSize=512m -XX:ParallelGCThreads=20 -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+DisableExplicitGC -javaagent:wagent.jar -Djava.util.logging.manager=com.caucho.log.LogManagerImpl -Djavax.management.builder.initial=com.caucho.jmx.MBeanServerBuilderImpl -Djava.awt.headless=true -Dresin.home=/app/weaver/Resin/ -Dresin.root=/app/weaver/Resin/ -Dcom.sun.management.jmxremote -Djava.util.logging.manager=com.caucho.log.LogManagerImpl -Djavax.management.builder.initial=com.caucho.jmx.MBeanServerBuilderImpl -Djava.awt.headless=true -Dresin.home=/app/weaver/Resin/ -Dresin.root=/app/weaver/Resin/ -Dcom.sun.management.jmxremo

WARNING:Alert message too long

[client(17188)]CRS-10001:02-Jul-19 09:04 ACFS-9153: Program '/app/weaver/jdk1.6.0_27/bin/java -Djava.util.logging.manager=com.caucho.log.LogManagerImpl -Djava.system.class.loader=com.caucho.loader.SystemClassLoader -Djavax.management.builder.initial=com.caucho.jmx.MBeanServerBuilderImpl -Djava.awt.headless=true -Dresin.home=/app/weaver/Resin/ -Xmx6000m -Xms6000m -Xss256k -XX:PermSize=256m -XX:MaxPermSize=512m -XX:ParallelGCThreads=20 -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+DisableExplicitGC -javaagent:wagent.jar -Djava.util.logging.manager=com.caucho.log.LogManagerImpl -Djavax.management.builder.initial=com.caucho.jmx.MBeanServerBuilderImpl -Djava.awt.headless=true -Dresin.home=/app/weaver/Resin/ -Dresin.root=/app/weaver/Resin/ -Dcom.sun.management.jmxremote -Djava.util.logging.manager=com.caucho.log.LogManagerImpl -Djavax.management.builder.initial=com.caucho.jmx.MBeanServerBuilderImpl -Djava.awt.headless=true -Dresin.home=/app/weaver/Resin/ -Dresin.root=/app/weaver/Resin/ -Dcom.sun.management.jmxremo

WARNING:Alert message too long

[client(17190)]CRS-10001:02-Jul-19 09:04 ACFS-9252: The following process IDs have open references on mount point '/data':

[client(17192)]CRS-10001:5822

[client(17194)]CRS-10001:02-Jul-19 09:04 ACFS-9253: Failed to unmount mount point '/data'.  Mount point likely in use.

[client(17196)]CRS-10001:02-Jul-19 09:04 ACFS-9254: Manual intervention is required.

[client(17219)]CRS-10001:02-Jul-19 09:04 ACFS-9153: Program '/app/weaver/jdk1.6.0_27/bin/java -Djava.util.logging.manager=com.caucho.log.LogManagerImpl -Djava.system.class.loader=com.caucho.loader.SystemClassLoader -Djavax.management.builder.initial=com.caucho.jmx.MBeanServerBuilderImpl -Djava.awt.headless=true -Dresin.home=/app/weaver/Resin/ -Xmx6000m -Xms6000m -Xss256k -XX:PermSize=256m -XX:MaxPermSize=512m -XX:ParallelGCThreads=20 -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+DisableExplicitGC -javaagent:wagent.jar -Djava.util.logging.manager=com.caucho.log.LogManagerImpl -Djavax.management.builder.initial=com.caucho.jmx.MBeanServerBuilderImpl -Djava.awt.headless=true -Dresin.home=/app/weaver/Resin/ -Dresin.root=/app/weaver/Resin/ -Dcom.sun.management.jmxremote -Djava.util.logging.manager=com.caucho.log.LogManagerImpl -Djavax.management.builder.initial=com.caucho.jmx.MBeanServerBuilderImpl -Djava.awt.headless=true -Dresin.home=/app/weaver/Resin/ -Dresin.root=/app/weaver/Resin/ -Dcom.sun.management.jmxremo

WARNING:Alert message too long

[client(17225)]CRS-10001:02-Jul-19 09:04 ACFS-9153: Program '/app/weaver/jdk1.6.0_27/bin/java -Djava.util.logging.manager=com.caucho.log.LogManagerImpl -Djava.system.class.loader=com.caucho.loader.SystemClassLoader -Djavax.management.builder.initial=com.caucho.jmx.MBeanServerBuilderImpl -Djava.awt.headless=true -Dresin.home=/app/weaver/Resin/ -Xmx6000m -Xms6000m -Xss256k -XX:PermSize=256m -XX:MaxPermSize=512m -XX:ParallelGCThreads=20 -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+DisableExplicitGC -javaagent:wagent.jar -Djava.util.logging.manager=com.caucho.log.LogManagerImpl -Djavax.management.builder.initial=com.caucho.jmx.MBeanServerBuilderImpl -Djava.awt.headless=true -Dresin.home=/app/weaver/Resin/ -Dresin.root=/app/weaver/Resin/ -Dcom.sun.management.jmxremote -Djava.util.logging.manager=com.caucho.log.LogManagerImpl -Djavax.management.builder.initial=com.caucho.jmx.MBeanServerBuilderImpl -Djava.awt.headless=true -Dresin.home=/app/weaver/Resin/ -Dresin.root=/app/weaver/Resin/ -Dcom.sun.management.jmxremo

WARNING:Alert message too long

[client(17227)]CRS-10001:02-Jul-19 09:04 ACFS-9252: The following process IDs have open references on mount point '/data':

[client(17229)]CRS-10001:5822

2.操作系统日志

Jul  2 08:59:49 node1 kernel: [<ffffffff81185d29>] do_sys_open+0x69/0x140

Jul  2 08:59:49 node1 kernel: [<ffffffff81185e40>] sys_open+0x20/0x30

Jul  2 08:59:49 node1 kernel: [<ffffffff8100b072>] system_call_fastpath+0x16/0x1b

Jul  2 09:01:49 node1 kernel: INFO: task java:12227 blocked for more than 120 seconds.

Jul  2 09:01:49 node1 kernel:      Tainted: P           --------------- H  2.6.32-431.el6.x86_64 #1

Jul  2 09:01:49 node1 kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.

Jul  2 09:01:49 node1 kernel: java          D 000000000000000c     0 12227   5821 0x00000000

Jul  2 09:01:49 node1 kernel: ffff88033e49d8c8 0000000000000082 0000000200001000 ffff88062d4742c0

Jul  2 09:01:49 node1 kernel: ffff8803432b6d70 ffff880635ced090 ffff88062d4316c0 ffff8800283968a8

Jul  2 09:01:49 node1 kernel: ffff8805c7f25af8 ffff88033e49dfd8 000000000000fbc8 ffff8805c7f25af8

Jul  2 09:01:49 node1 kernel: Call Trace:

Jul  2 09:01:49 node1 kernel: [<ffffffff8109b4ee>] ? prepare_to_wait_exclusive+0x4e/0x80

Jul  2 09:01:49 node1 kernel: [<ffffffffa052cdb5>] OfsWaitEvent+0x225/0x290 [oracleacfs]

Jul  2 09:01:49 node1 kernel: [<ffffffff81065df0>] ? default_wake_function+0x0/0x20

Jul  2 09:01:49 node1 kernel: [<ffffffff8152784d>] ? bictcp_cong_avoid+0x2d/0x390

3.数据库CHM相关日志

[oracle@node6 node6]$ cat 02-JUL-2019-09:20:20.txt|grep "spent too much time"

dm-1 ior: 0.000 iow: 1117.912 ios: 279 qlen: 304 wait: 7914;';3:Time=07-02-19 09.15.20, Disk dm-1 spent too much time (7914 msecs) waiting for I/O (> 100 msecs)' type: SYS

sdb ior: 0.000 iow: 1654.062 ios: 152 qlen: 23 wait: 573;';3:Time=07-02-19 09.15.20, Disk sdb spent too much time (573 msecs) waiting for I/O (> 100 msecs)' type: SYS

sda ior: 0.000 iow: 11.182 ios: 1 qlen: 0 wait: 119;';3:Time=07-02-19 09.15.40, Disk sda spent too much time (119 msecs) waiting for I/O (> 100 msecs)' type: SWAP

sda3 ior: 0.000 iow: 11.182 ios: 1 qlen: 0 wait: 119;';3:Time=07-02-19 09.15.40, Disk sda3 spent too much time (119 msecs) waiting for I/O (> 100 msecs)' type: SYS

dm-0 ior: 0.000 iow: 11.182 ios: 2 qlen: 1 wait: 412;';3:Time=07-02-19 09.15.40, Disk dm-0 spent too much time (412 msecs) waiting for I/O (> 100 msecs)' type: SYS

sdc ior: 192.196 iow: 1.996 ios: 7 qlen: 2 wait: 377;';3:Time=07-02-19 09.15.40, Disk sdc spent too much time (377 msecs) waiting for I/O (> 100 msecs)' type: SYS

sdc ior: 106.347 iow: 2.101 ios: 14 qlen: 0 wait: 148;';3:Time=07-02-19 09.16.20, Disk sdc spent too much time (148 msecs) waiting for I/O (> 100 msecs)' type: SYS

sda ior: 0.000 iow: 13.605 ios: 3 qlen: 3 wait: 937;';3:Time=07-02-19 09.16.40, Disk sda spent too much time (937 msecs) waiting for I/O (> 100 msecs)' type: SWAP

sda3 ior: 0.000 iow: 13.605 ios: 3 qlen: 3 wait: 937;';3:Time=07-02-19 09.16.40, Disk sda3 spent too much time (937 msecs) waiting for I/O (> 100 msecs)' type: SYS

dm-1 ior: 0.000 iow: 24.811 ios: 6 qlen: 14 wait: 1565;';3:Time=07-02-19 09.16.40, Disk dm-1 spent too much time (1565 msecs) waiting for I/O (> 100 msecs)' type: SYS

dm-0 ior: 0.000 iow: 15.206 ios: 3 qlen: 4 wait: 838;';3:Time=07-02-19 09.16.40, Disk dm-0 spent too much time (838 msecs) waiting for I/O (> 100 msecs)' type: SYS

sdc ior: 0.899 iow: 2.000 ios: 3 qlen: 1 wait: 382;';3:Time=07-02-19 09.16.40, Disk sdc spent too much time (382 msecs) waiting for I/O (> 100 msecs)' type: SYS

sdb ior: 0.000 iow: 18.407 ios: 1 qlen: 3 wait: 770;';3:Time=07-02-19 09.16.40, Disk sdb spent too much time (770 msecs) waiting for I/O (> 100 msecs)' type: SYS

dm-1 ior: 0.000 iow: 737.072 ios: 184 qlen: 10 wait: 1060;';3:Time=07-02-19 09.16.55, Disk dm-1 spent too much time (1060 msecs) waiting for I/O (> 100 msecs)' type: SYS

sdb ior: 0.000 iow: 1011.573 ios: 15 qlen: 0 wait: 1210;';3:Time=07-02-19 09.16.55, Disk sdb spent too much time (1210 msecs) waiting for I/O (> 100 msecs)' type: SYS

sda ior: 0.000 iow: 8.803 ios: 1 qlen: 0 wait: 3992;';3:Time=07-02-19 09.17.00, Disk sda spent too much time (3992 msecs) waiting for I/O (> 100 msecs)' type: SWAP

sda3 ior: 0.000 iow: 8.803 ios: 1 qlen: 0 wait: 3992;';3:Time=07-02-19 09.17.00, Disk sda3 spent too much time (3992 msecs) waiting for I/O (> 100 msecs)' type: SYS

dm-0 ior: 0.000 iow: 7.202 ios: 1 qlen: 0 wait: 4436;';3:Time=07-02-19 09.17.00, Disk dm-0 spent too much time (4436 msecs) waiting for I/O (> 100 msecs)' type: SYS

sdc ior: 2.596 iow: 1.896 ios: 3 qlen: 1 wait: 370;';3:Time=07-02-19 09.17.40, Disk sdc spent too much time (370 msecs) waiting for I/O (> 100 msecs)' type: SYS

sda ior: 0.000 iow: 21.602 ios: 3 qlen: 1 wait: 1943;';3:Time=07-02-19 09.18.45, Disk sda spent too much time (1943 msecs) waiting for I/O (> 100 msecs)' type: SWAP

sda3 ior: 0.000 iow: 21.602 ios: 3 qlen: 1 wait: 1943;';3:Time=07-02-19 09.18.45, Disk sda3 spent too much time (1943 msecs) waiting for I/O (> 100 msecs)' type: SYS

dm-1 ior: 0.000 iow: 1968.174 ios: 492 qlen: 77 wait: 202;';3:Time=07-02-19 09.18.45, Disk dm-1 spent too much time (202 msecs) waiting for I/O (> 100 msecs)' type: SYS

dm-0 ior: 0.000 iow: 8.801 ios: 2 qlen: 2 wait: 4660;';3:Time=07-02-19 09.18.45, Disk dm-0 spent too much time (4660 msecs) waiting for I/O (> 100 msecs)' type: SYS

sdc ior: 5.700 iow: 2.899 ios: 6 qlen: 0 wait: 1033;';3:Time=07-02-19 09.18.45, Disk sdc spent too much time (1033 msecs) waiting for I/O (> 100 msecs)' type: SYS

dm-1 ior: 0.000 iow: 274.506 ios: 68 qlen: 208 wait: 12512;';3:Time=07-02-19 09.20.05, Disk dm-1 spent too much time (12512 msecs) waiting for I/O (> 100 msecs)' type: SYS

sdb ior: 0.000 iow: 579.425 ios: 47 qlen: 39 wait: 2515;';3:Time=07-02-19 09.20.05, Disk sdb spent too much time (2515 msecs) waiting for I/O (> 100 msecs)' type: SYS

三、总结与后续处理建议

3.1 问题总结

当前环境为VMWARE虚拟机环境搭建6节点ORACLE GRID集群，使用ACFS文件系统为应用程序提供数据共享目录 /DATA，应用程序同时部署在6节点ORACLE GRID集群的对应主机上；未在集群环境运行ORACLE数据库。

对于近期两次典型问题分析如下：6/24日中午12点附近出现ACFS文件系统访问异常，通过查看集群ALERT日志、CSSD进程日志及OSW监控软件的日志，可以发现OSW监控软件在11:55-12:40分时没有收集到主机的监控数据，同期数据库的CSSD进程也有与其它节点的私网信息已经丢失网络心跳，因此可以推断当时主机已经HANG住。7/2日上午9点附近ACFS文件系统无法访问，当时OSW监控未开启；从集群ALERT日志来看当时有应用进程在使用/DATA目录 无法UNMOUNT，操作系统日志中有NFO: task java:12227 blocked for more than 120 seconds.信息，因未有其它有效信息，暂无法判断当时何种原因导致ACFS文件系统访问异常。

从具体的问题来看，ORACLE集群软件做为操作系统上层的软件，会受到底层操作系统OS以及更底层的VMWARE虚拟机环境的影响；由于几层系统之间监控日志粒度也不同，对于问题的分析带来了较大的复杂度；许多信息无法向下追踪去查找根本原因；

3.2 后续处理建议

因此结合历次问题及整体架构的考虑建议如下：

1.加强对LINUX虚拟主机运行情况的监控，如开启OSW监控，开启ZABBIX监控。

2.建议联系VMWARE虚拟机维护人员沟通是否可以从VMWARE虚拟机层面对LINUX主机进行监控，同时对VMWARE虚拟机本身及底层的物理机能有更加细粒度的监控。

3.ASM实例的memory_max_target内存参数当前为默认的1076M；后续建议调整到2048M，提升ASM实例的性能。

相关文章：

ORACLE 6节点组成的ACFS文件系统异常的分析思路

近期遇到多次6节点集群的ACFS文件系统环境异常问题&#xff1b;如24日中午12点附近出现ACFS文件系统访问异常&#xff0c;通过查看集群ALERT日志、CSSD进程日志及OSW监控软件的日志&#xff0c;可以发现OSW监控软件在11:55-12:40分时没有收集到虚拟机LINUX主机的监控数据&#…...

编程日记 2024/5/29 8:20:24

vscode当前分支有未提交的修改,但是暂时不想提交,想要切换到另一个分支该怎么办

当前分支有未提交的修改,但是暂时不想提交,想要切换到另一个分支该怎么办? 首先,可以将当前修改暂存起来,以便之后恢复 git stash 然后切换到目标分支,例如需求A所在分支 git checkout feat-a-jie 修改完A需求后,需要先切换回之前的分支,例如需求B所在分支 git checkout feat…...

编程日记 2024/5/29 8:19:22

前端API: IntersectionObserver的那一二三件事

IntersectionObserver 基础 IntersectionObserver 可以监听一个元素和可视区域相交部分的比例&#xff0c;然后在可视比例达到某个阈值的时候触发回调。比如可以用来处理图片的懒加载等等 首先我们来看下基本的格式&#xff1a; const observer new IntersectionObserver(c…...

编程日记 2024/5/29 8:18:21

C++迈向精通：vector复现与sort复现

vector复现 思考过程 对于vector考虑如下几点&#xff1a; 底层数据结构算法实现方式对外表现形式 这里底层的数据结构采用了顺序表&#xff0c;当然&#xff0c;原版STL中的vector也是采用的顺序表。 算法实现的方式放在代码中去设计 对外表现形式是数组&#xff0c;因此需…...

编程日记 2024/5/29 8:17:20

【头歌】计算机网络DHCP服务器配置第二关access口配置答案

头歌计算机网络DHCP服务器配置第二关access口配置操作步骤 任务描述 本关任务&#xff1a;创建 vlan &#xff0c;并且将与 pc 机相连接口划分 vlan 。 操作要求 在第一关的拓扑图的基础上&#xff0c;配置交换机&#xff0c;具体要求如下&#xff1a; 1、在特权模式下进入 vla…...

编程日记 2024/5/29 8:16:19

Python机器学习 Tensorflow + keras 实现CNN

一、实验目的 1. 了解SkLearn Tensorlow使用方法 2. 了解SkLearn keras使用方法 二、实验工具&#xff1a; 1. SkLearn 三、实验内容 &#xff08;贴上源码及结果&#xff09; 使用Tensorflow对半环形数据集分 #encoding:utf-8import numpy as npfrom sklearn.datasets i…...

编程日记 2024/5/29 8:15:18

基于事件的架构工作机制和相关产品

基于事件的架构 基于事件的架构可否这样理解&#xff0c;每个事件相当于传统API的一次函数调用请求&#xff0c;比如Add(123,456)。区别在于&#xff0c;基于事件的架构只是把这个请求发出&#xff0c;并不急于得到结果&#xff0c;而是等合适的子系统处理完这个请求&#xff…...

编程日记 2024/5/29 8:14:16

OSINT 与心理学：通过开源情报进行剖析和行为分析

在不断发展的心理学领域&#xff0c;人们越来越认识到通过应用开源情报 (OSINT) 方法取得进步的潜力。OSINT 主要以其在安全和情报领域的应用而闻名&#xff0c;并且越来越多地展示其在心理分析和行为分析方面的潜力。本文探讨了 OSINT 和心理学的迷人交叉点&#xff0c;研究如…...

编程日记 2024/5/29 8:13:15

yarn 设置淘宝镜像配置

为了提升在中国大陆地区的下载速度&#xff0c;你可以将Yarn的包仓库配置为淘宝镜像。最新的推荐做法是使用npmmirror.com作为镜像源&#xff0c;替代旧的npm.taobao.org。以下是设置Yarn使用淘宝镜像&#xff08;npmmirror.com&#xff09;的步骤&#xff1a; 查询当前镜像配置…...

编程日记 2024/5/29 8:12:15

debian 常用命令

Debian 是一个广泛使用的 Linux 发行版&#xff0c;这里列出了一些常用的 Debian 命令&#xff0c;适用于系统管理和日常使用&#xff1a; ### 文件与目录操作 1. **ls** - 列出目录内容&#xff1a; bash ls ls -l # 长格式显示 ls -a # 显示所有文件&#xff…...

编程日记 2024/5/29 8:11:13

流水账（CPU设计实战）——lab3

Lab3 Rewrite V1.0 版本控制 版本描述V0V1.0相对V0变化&#xff1a; 修改了文件名&#xff0c;各阶段以_stage结尾&#xff08;因为if是关键词&#xff0c;所以module名不能叫if&#xff0c;遂改为if_stage&#xff0c;为了统一命名&#xff0c;将所有module后缀加上_stage&a…...

编程日记 2024/5/29 8:10:12

k8s集群配置普通用户权限

集群管理员&#xff1a;负责管理 Kubernetes 集群的用户&#xff0c;拥有最高权限&#xff0c;可以对集群中的资源进行任何操作。 开发者&#xff1a;在 Kubernetes 集群中部署和管理自己的应用&#xff0c;可能有限制的权限&#xff0c;仅能管理特定的命名空间或资源。 第三…...

编程日记 2024/5/29 8:09:10

clickhouse——clickhouse单节点部署及基础命令介绍

clickhouse支持运行在主流的64位CPU架构的linux操作系统之上&#xff0c;可以通过源码编译&#xff0c;预编译压缩包&#xff0c;docker镜像和rpm等多种方式进行安装。 一、单节点部署 1、安装curl工具 yum install -y curl 2、添加clickhouse的yum镜像 curl -s https://pack…...

编程日记 2024/5/29 8:08:09

MATLAB基础应用精讲-【数模应用】价格敏感度PSM分析（附python代码实现）

目录 前言 算法原理 什么是价格敏感度分析？ 原理 示例 PSM用途...

编程日记 2024/5/29 8:07:08

数据驱动的UI艺术：智能设计的视觉盛宴

数据驱动的UI艺术&#xff1a;智能设计的视觉盛宴 引言 在当今这个数据泛滥的时代&#xff0c;大数据不仅仅是一种技术手段&#xff0c;它更是一种艺术形式。当大数据遇上UI设计&#xff0c;两者的结合便催生了一种全新的艺术形式——数据驱动的UI艺术。本文将探讨如何将数据…...

编程日记 2024/5/29 8:06:07

栈的特性及代码实现（C语言）

目录 栈的定义 栈的结构选取 链式储存结构和顺序栈储存结构的差异 栈的代码实现 "stack.h" "stack.c" 总结 栈的定义 栈&#xff1a;栈是限定仅在表尾进行插入和删除操作的线性表。 我们把运行插入的和删除的一段叫做栈顶&#xff08;TOP&#xff…...

编程日记 2024/5/29 8:05:06

防火墙如何端口映射？

防火墙端口映射&#xff08;Firewall Port Mapping&#xff09;是一种网络技术&#xff0c;通过对防火墙配置进行调整&#xff0c;允许外部网络用户访问内部网络中的指定端口。该技术使得外部用户可以通过公共网络访问内部网络中的特定服务或应用程序&#xff0c;从而实现远程访…...

编程日记 2024/5/29 8:04:05

咖啡看书休闲时光404错误页面源码

源码介绍 咖啡看书休闲时光404错误页面源码&#xff0c;源码由HTMLCSSJS组成&#xff0c;记事本打开源码文件可以进行内容文字之类的修改&#xff0c;双击html文件可以本地运行效果&#xff0c;也可以上传到服务器里面&#xff0c;重定向这个界面 源码效果 源码下载 咖啡看书…...

编程日记 2024/5/29 8:03:04

中央事件bus

中央事件bus的使用 使用场景&#xff1a;当需要传递给多个组件的时候例如父组件->子组件->孙组件&#xff0c;甚至还得传递到更深的组件的时候中央事件就起到了作用&#xff0c;不需要一直传递。bus其实就是一个发布订阅模式&#xff0c;利用vue的自定义事件机制 // 事…...

编程日记 2024/5/29 8:02:02

中国上市企业行业异质性数据分析

数据简介&#xff1a;企业行业异质性数据是指不同行业的企业在运营、管理、财务等方面的差异性数据。这些数据可以反映不同行业企业的特点、优势和劣势&#xff0c;以及行业间的异质性对企业经营和投资的影响。通过对企业行业异质性数据的分析&#xff0c;投资者可以更好地了解…...

编程日记 2024/5/29 8:01:01

【全开源】防伪溯源一体化管理系统源码（FastAdmin+ThinkPHP和Uniapp）

一款基于FastAdminThinkPHP和Uniapp进行开发的多平台&#xff08;微信小程序、H5网页&#xff09;溯源、防伪、管理一体化独立系统&#xff0c;拥有强大的防伪码和溯源码双码生成功能&#xff08;内置多种生成规则&#xff09;、批量大量导出防伪和溯源码码数据、支持代理商管理…...

编程日记 2024/5/29 8:00:00

鸿蒙ArkUI-X跨语言调用说明：【平台桥接(@arkui-x.bridge)】

平台桥接(arkui-x.bridge) 简介 平台桥接用于客户端&#xff08;ArkUI&#xff09;和平台&#xff08;Android或iOS&#xff09;之间传递消息&#xff0c;即用于ArkUI与平台双向数据传递、ArkUI侧调用平台的方法、平台调用ArkUI侧的方法。 以Android平台为例&#xff0c;Ark…...

编程日记 2024/5/29 7:58:59

ts面试题： 面试题2

31. 计算字符串长度 // 计算字符串的长度&#xff0c;类似于 String#length 。答案 type test Str1<"abc123">; type Str1<T extends string, L extends any[] []> T extends ${infer f}${infer b} ? Str1<b, [...L, f]> : L[length];32. 接…...

编程日记 2024/5/29 7:57:58

.NET 某和OA办公系统全局绕过漏洞分析

转自先知社区 作者&#xff1a;dot.Net安全矩阵 原文链接&#xff1a;.NET 某和OA办公系统全局绕过漏洞分析 - 先知社区 0x01 前言 某和OA协同办公管理系统C6软件共有20多个应用模块&#xff0c;160多个应用子模块&#xff0c;从功能型的协同办公平台上升到管理型协同管理平…...

编程日记 2024/5/29 7:56:57

Git-01

Git是一个免费且开源的分布式版本控制系统&#xff0c;它可以跟踪文件的修改、记录变更的历史&#xff0c;并且在多人协作开发中提供了强大的工具和功能。 Git最初是由Linus Torvalds开发的&#xff0c;用于Linux内核的开发&#xff0c;现在已经成为了广泛使用的版本控制系统&a…...

编程日记 2024/5/29 7:55:56

GitLab的原理及应用详解（七）

本系列文章简介： 随着软件开发的不断进步和发展，版本控制系统成为了现代软件开发过程中不可或缺的一部分。而GitLab作为其中一种流行的版本控制工具，在软件开发领域享有广泛的应用。GitLab不仅提供了强大的版本控制功能，还集成了项目管理、持续集成和部署、代码审查等多个功…...

编程日记 2024/5/29 7:54:55

Vue中使用Vue-scroll做表格使得在x轴滑动

页面效果 首先 npm i vuescroll 在main.js中挂载到全局 页面代码 <template><div class"app-container"><Header :titletitle gobackgoBack><template v-slot:icon><van-icon clickgoHome classicon namewap-home-o /></templat…...

编程日记 2024/5/29 7:53:54

【高频】从输入URL到页面展示到底发生了什么？

一、相关衍生面试问题&#xff1a; 浏览器输入美团网站&#xff0c;从回车到浏览器展示经历了哪些过程 &#xff1f; http输入网页之后的流程&#xff1f; 百度搜索页面&#xff0c;从点开搜索框&#xff0c;到显示搜索页面经历了什么&#xff1f; 二、探究各个过程&#x…...

编程日记 2024/5/29 7:52:53

【CSharp】ushort[]的IntPtr快速转换为ushort[]无符号短整型数组

【CSharp】ushort[]的IntPtr快速转换为ushort[]无符号短整型数组 1.背景2.代码1.背景 参考博客： 【CSharp】无符号短整型数组ushort[]转化为IntPtr https://blog.csdn.net/jn10010537/article/details/139278321?spm=1001.2014.3001.5501探测器/相机SDK获得是InPtr指针，它…...

编程日记 2024/5/29 7:51:52

释放 OSINT 的力量：在线调查综合指南

开源情报 (OSINT) 是从公开信息中提取有价值见解的艺术。无论您是网络安全专业人士、道德黑客还是情报分析师&#xff0c;OSINT 都能为您提供先进的技术&#xff0c;帮助您筛选海量的数字数据&#xff0c;发现隐藏的真相。 在本文中&#xff0c;我们将深入研究大量的OSINT 资源…...

编程日记 2024/5/29 7:50:51