Oracle数据库数据恢复、性能优化»论坛 › Oracle › Oracle数据库管理 › RAC故障：一个节点重启，另一节点LMON terminates the i ...

mdshuo

0 积分	1 好友	5 主题

发消息

[Exadata常规管理] RAC故障：一个节点重启，另一节点LMON terminates the ins...

1^#

发表于 2015-4-1 10:20:54 | 查看: 5136| 回复: 5

本帖最后由 mdshuo 于 2015-4-1 10:29 编辑

环境：ORACLE LINUX 6.4 x86_64 + 11203 RAC

故障现象：
由于磁盘故障引起节点2重启；
但节点1短暂接管后，出现
LMON terminates the instance.

附件为相关日志，故障时间从18点50分左右开始

麻烦帮忙分析节点1为什么也会出问题。谢谢！

log.zip

798.96 KB, 下载次数: 1883

分享0

收藏0 回复只看该作者道具举报

lixiaxin200319

6^#

发表于 2015-4-18 21:28:17

建议使用DD命令直接从操作系统层面看是否可以读取存储上的数据，如果读取不了就肯等是存储层面出问题了

回复只看该作者道具举报

lixiaxin200319

5^#

发表于 2015-4-18 21:18:06

你传上了的都是写TRC文件，建议把数据库的告警日子、ASM的告警日志、CRS的告警日志都传上来。

回复只看该作者道具举报

mdshuo

4^#

发表于 2015-4-4 12:51:43

是否与此BUG相关呢？
Bug 14268365 : CSSD ON NODE 1 DIDN'T RECONFIGURE AFTER NODE 2 LEFT THE CLUSTER

回复只看该作者道具举报

mdshuo

3^#

发表于 2015-4-1 21:32:08

共享存储故障。

再次仔细分析日志
操作系统日志中，两个节点都发现问题了lpfc link down。目前定位为存储控制器硬件故障
节点2当时就挂了，
而节点1还咬牙坚持了20分钟，
直到节点2报：
Tue Mar 31 19:11:34 2015
NOTE: ASMB terminating
Errors in file /u01/app/oracle/diag/rdbms/netdb/netdb2/trace/netdb2_asmb_4203.trc:
ORA-15064: communication failure with ASM instance
ORA-03113: end-of-file on communication channel

节点1才
Tue Mar 31 19:12:34 2015
LMON is running too slowly and in the middle of reconfiguration.
LMON terminates the instance.

在trc中发现
4: waited for 'control file parallel write'
files=0x1, block#=0x3, requests=0x1
wait_id=13099634 seq_num=58238 snap_id=1
wait times: snap=0.000062 sec, exc=0.000062 sec, total=0.000062 sec
wait times: max=infinite
wait counts: calls=0 os=0
occurred after 58.515758 sec of elapsed time

个人认为 'control file parallel write'事件来源于IO，但并无OSWATCH等监控记录，而且个人能力所限无法继续追查下去，还望老师们加以指导。

回复只看该作者道具举报

whutabs

2^#

发表于 2015-4-1 12:09:10

不知道你说的磁盘故障，是共享磁盘还是本地磁盘，

若是共享磁盘出问题，两个节点都会有问题

回复只看该作者道具举报

返回列表

		自动登录	找回密码
密码			注册