RAC故障：一个节点重启，另一节点LMON terminates the ins...

mdshuo

环境：ORACLE LINUX 6.4 x86_64 + 11203 RAC

故障现象：
由于磁盘故障引起节点2重启；
但节点1短暂接管后，出现
LMON terminates the instance.


附件为相关日志，故障时间从18点50分左右开始

麻烦帮忙分析节点1为什么也会出问题。谢谢！

whutabs

不知道你说的磁盘故障，是共享磁盘还是本地磁盘，

若是共享磁盘出问题，两个节点都会有问题

mdshuo

共享存储故障。

再次仔细分析日志
操作系统日志中，两个节点都发现问题了lpfc link down。目前定位为存储控制器硬件故障
节点2当时就挂了，
而节点1还咬牙坚持了20分钟，
直到节点2报：
Tue Mar 31 19:11:34 2015
NOTE: ASMB terminating
Errors in file /u01/app/oracle/diag/rdbms/netdb/netdb2/trace/netdb2_asmb_4203.trc:
ORA-15064: communication failure with ASM instance
ORA-03113: end-of-file on communication channel

节点1才
Tue Mar 31 19:12:34 2015
LMON is running too slowly and in the middle of reconfiguration.
LMON terminates the instance.

在trc中发现
4: waited for 'control file parallel write'
    files=0x1, block#=0x3, requests=0x1
    wait_id=13099634 seq_num=58238 snap_id=1
    wait times: snap=0.000062 sec, exc=0.000062 sec, total=0.000062 sec
    wait times: max=infinite
    wait counts: calls=0 os=0
    occurred after 58.515758 sec of elapsed time

个人认为 'control file parallel write'事件来源于IO，但并无OSWATCH等监控记录，而且个人能力所限无法继续追查下去，还望老师们加以指导。

mdshuo

是否与此BUG相关呢？
Bug 14268365 : CSSD ON NODE 1 DIDN'T RECONFIGURE AFTER NODE 2 LEFT THE CLUSTER

lixiaxin200319

你传上了的都是写TRC文件，建议把数据库的告警日子、ASM的告警日志、CRS的告警日志都传上来。

lixiaxin200319

建议使用DD命令直接从操作系统层面看是否可以读取存储上的数据，如果读取不了就肯等是存储层面出问题了