WAITED TOO LONG FOR A ROW CACHE ENQUEUE LOCK! 导致数据库hang住

Ora_fans

环境描述：AIX + 10.2.0.4 RAC （2节点），一个5×8的业务系统数据库；
问题描述：今天凌晨向以往一样跑批处理（大概是DELETE/TRUNCATE操作），发现失败(批处理端显示：ORA-04021、ORA-03113、ORA-12505)；
简单的处理：值班人员发现异常后，直接shutdown 数据库（发现有异常的进程，手工KILL） 并startup，暂时解决了问题；

现在想知道发生此问题的原因是什么，是哪个会话导致的，根据现有知识，看不懂trace的内容，想请 刘老师 ，以及各位大师 帮忙看一下， 谢谢 ！

在告警日志中发现存在大量“ WAITED TOO LONG FOR A ROW CACHE ENQUEUE LOCK!” 的信息
相关文件 alert、trace、awr 建见附件

[ 本帖最后由 Ora_fans 于 2012-8-9 15:23 编辑 ]

Ora_fans

自己占楼··············

[ 本帖最后由 Ora_fans 于 2012-7-26 12:49 编辑 ]

Ora_fans

自己占楼···········

[ 本帖最后由 Ora_fans 于 2012-7-26 12:49 编辑 ]

Maclean Liu(刘相兵

ODM FINDING:

>>> WAITED TOO LONG FOR A ROW CACHE ENQUEUE LOCK! pid=19
System State dumped to trace file /oracle/app/oracle/admin/ncdb/bdump/ncdb1_smon_205002.trc
Mon Jul 23 20:09:41 2012
Thread 1 advanced to log sequence 154092 (LGWR switch)
  Current log# 2 seq# 154092 mem# 0: /dev/rrac_redo12
Mon Jul 23 20:10:23 2012
Thread 1 advanced to log sequence 154093 (LGWR switch)
  Current log# 1 seq# 154093 mem# 0: /dev/rrac_redo11
Mon Jul 23 21:37:00 2012
>>> WAITED TOO LONG FOR A ROW CACHE ENQUEUE LOCK! pid=21
System State dumped to trace file /oracle/app/oracle/admin/ncdb/bdump/ncdb1_cjq0_410056.trc
Mon Jul 23 21:55:23 2012
Thread 1 advanced to log sequence 154094 (LGWR switch)
  Current log# 2 seq# 154094 mem# 0: /dev/rrac_redo12
Mon Jul 23 21:56:44 2012
Thread 1 advanced to log sequence 154095 (LGWR switch)
  Current log# 1 seq# 154095 mem# 0: /dev/rrac_redo11
Mon Jul 23 23:06:46 2012
IPC Send timeout detected. Receiver ospid 369010
Receiver is waiting for a latch dumping latch state for receiver -16172
Mon Jul 23 23:06:46 2012
Errors in file /oracle/app/oracle/admin/ncdb/udump/ncdb1_ora_463354.trc:
Mon Jul 23 23:06:47 2012
Errors in file /oracle/app/oracle/admin/ncdb/bdump/ncdb1_lck0_369010.trc:
Mon Jul 23 23:06:47 2012
Trace dumping is performing id=[cdmp_20120723230647]
Tue Jul 24 06:42:44 2012
IPC Send timeout detected. Receiver ospid 369010
Receiver is waiting for a latch dumping latch state for receiver -16172
Tue Jul 24 06:42:44 2012
Errors in file /oracle/app/oracle/admin/ncdb/udump/ncdb1_ora_233652.trc:
Tue Jul 24 06:42:45 2012
Errors in file /oracle/app/oracle/admin/ncdb/bdump/ncdb1_lck0_369010.trc:
Tue Jul 24 06:42:45 2012
Trace dumping is performing id=[cdmp_20120724064245]
Tue Jul 24 06:48:55 2012
>>> WAITED TOO LONG FOR A ROW CACHE ENQUEUE LOCK! pid=109
System State dumped to trace file /oracle/app/oracle/admin/ncdb/udump/ncdb1_ora_565346.trc



WAITED TOO LONG FOR A ROW CACHE ENQUEUE LOCK! 生成了 三个systemstate dump分别是：

/oracle/app/oracle/admin/ncdb/bdump/ncdb1_smon_205002.trc
/oracle/app/oracle/admin/ncdb/bdump/ncdb1_cjq0_410056.trc
/oracle/app/oracle/admin/ncdb/udump/ncdb1_ora_565346.trc

请至少压缩上传其中一个

Ora_fans

相关文件已经上传

[ 本帖最后由 Ora_fans 于 2012-7-26 12:52 编辑 ]

Ora_fans

相关文件 ncdb1_smon_205002.trc 、ncdb1_ora_565346.trc 已经上传，还有一个AWR（不知是否有用）
ncdb1_cjq0_410056.trc 文件太大80M传不了，请 刘老师，抽空看一下，谢谢

[ 本帖最后由 Ora_fans 于 2012-7-26 12:59 编辑 ]

Ora_fans

相关文件 ncdb1_smon_205002.trc 、ncdb1_ora_565346.trc 已经上传，还有一个AWR（不知是否有用）
ncdb1_cjq0_410056.trc 文件太大80M传不了，请 刘老师，抽空看一下，谢谢

Ora_fans

下沉了，顶起来········