14 积分	0 好友	0 主题

发消息

WAITED TOO LONG FOR A ROW CACHE ENQUEUE LOCK! 导致数据库hang住

1^#

发表于 2012-7-24 15:20:24 | 查看: 7051| 回复: 7

环境描述：AIX + 10.2.0.4 RAC （2节点），一个5×8的业务系统数据库；
问题描述：今天凌晨向以往一样跑批处理（大概是DELETE/TRUNCATE操作），发现失败(批处理端显示：ORA-04021、ORA-03113、ORA-12505)；
简单的处理：值班人员发现异常后，直接shutdown 数据库（发现有异常的进程，手工KILL）并startup，暂时解决了问题；

现在想知道发生此问题的原因是什么，是哪个会话导致的，根据现有知识，看不懂trace的内容，想请刘老师，以及各位大师帮忙看一下，谢谢！

在告警日志中发现存在大量“ WAITED TOO LONG FOR A ROW CACHE ENQUEUE LOCK!” 的信息
相关文件 alert、trace、awr 建见附件

[ 本帖最后由 Ora_fans 于 2012-8-9 15:23 编辑 ]

分享0

收藏0 回复只看该作者道具举报

Ora_fans

2^#

发表于 2012-7-24 15:22:52

自己占楼··············

[ 本帖最后由 Ora_fans 于 2012-7-26 12:49 编辑 ]

回复只看该作者道具举报

Ora_fans

3^#

发表于 2012-7-24 15:23:31

自己占楼···········

[ 本帖最后由 Ora_fans 于 2012-7-26 12:49 编辑 ]

回复只看该作者道具举报

Maclean Liu(刘相兵

4^#

发表于 2012-7-24 20:56:28

ODM FINDING:

>>> WAITED TOO LONG FOR A ROW CACHE ENQUEUE LOCK! pid=19
System State dumped to trace file /oracle/app/oracle/admin/ncdb/bdump/ncdb1_smon_205002.trc
Mon Jul 23 20:09:41 2012
Thread 1 advanced to log sequence 154092 (LGWR switch)
  Current log# 2 seq# 154092 mem# 0: /dev/rrac_redo12
Mon Jul 23 20:10:23 2012
Thread 1 advanced to log sequence 154093 (LGWR switch)
  Current log# 1 seq# 154093 mem# 0: /dev/rrac_redo11
Mon Jul 23 21:37:00 2012
>>> WAITED TOO LONG FOR A ROW CACHE ENQUEUE LOCK! pid=21
System State dumped to trace file /oracle/app/oracle/admin/ncdb/bdump/ncdb1_cjq0_410056.trc
Mon Jul 23 21:55:23 2012
Thread 1 advanced to log sequence 154094 (LGWR switch)
  Current log# 2 seq# 154094 mem# 0: /dev/rrac_redo12
Mon Jul 23 21:56:44 2012
Thread 1 advanced to log sequence 154095 (LGWR switch)
  Current log# 1 seq# 154095 mem# 0: /dev/rrac_redo11
Mon Jul 23 23:06:46 2012
IPC Send timeout detected. Receiver ospid 369010
Receiver is waiting for a latch dumping latch state for receiver -16172
Mon Jul 23 23:06:46 2012
Errors in file /oracle/app/oracle/admin/ncdb/udump/ncdb1_ora_463354.trc:
Mon Jul 23 23:06:47 2012
Errors in file /oracle/app/oracle/admin/ncdb/bdump/ncdb1_lck0_369010.trc:
Mon Jul 23 23:06:47 2012
Trace dumping is performing id=[cdmp_20120723230647]
Tue Jul 24 06:42:44 2012
IPC Send timeout detected. Receiver ospid 369010
Receiver is waiting for a latch dumping latch state for receiver -16172
Tue Jul 24 06:42:44 2012
Errors in file /oracle/app/oracle/admin/ncdb/udump/ncdb1_ora_233652.trc:
Tue Jul 24 06:42:45 2012
Errors in file /oracle/app/oracle/admin/ncdb/bdump/ncdb1_lck0_369010.trc:
Tue Jul 24 06:42:45 2012
Trace dumping is performing id=[cdmp_20120724064245]
Tue Jul 24 06:48:55 2012
>>> WAITED TOO LONG FOR A ROW CACHE ENQUEUE LOCK! pid=109
System State dumped to trace file /oracle/app/oracle/admin/ncdb/udump/ncdb1_ora_565346.trc

WAITED TOO LONG FOR A ROW CACHE ENQUEUE LOCK! 生成了三个systemstate dump分别是：

/oracle/app/oracle/admin/ncdb/bdump/ncdb1_smon_205002.trc
/oracle/app/oracle/admin/ncdb/bdump/ncdb1_cjq0_410056.trc
/oracle/app/oracle/admin/ncdb/udump/ncdb1_ora_565346.trc

请至少压缩上传其中一个

回复只看该作者道具举报

Ora_fans

5^#

发表于 2012-7-25 08:30:23

回复 4# 的帖子

相关文件已经上传

[ 本帖最后由 Ora_fans 于 2012-7-26 12:52 编辑 ]

回复只看该作者道具举报

Ora_fans

6^#

发表于 2012-7-25 16:18:57

回复 4# 的帖子

相关文件 ncdb1_smon_205002.trc 、ncdb1_ora_565346.trc 已经上传，还有一个AWR（不知是否有用）
ncdb1_cjq0_410056.trc 文件太大80M传不了，请刘老师，抽空看一下，谢谢

[ 本帖最后由 Ora_fans 于 2012-7-26 12:59 编辑 ]

回复只看该作者道具举报

Ora_fans

7^#

发表于 2012-7-26 12:54:43

回复 4# 的帖子

相关文件 ncdb1_smon_205002.trc 、ncdb1_ora_565346.trc 已经上传，还有一个AWR（不知是否有用）
ncdb1_cjq0_410056.trc 文件太大80M传不了，请刘老师，抽空看一下，谢谢

回复只看该作者道具举报

Ora_fans

8^#

发表于 2012-7-27 12:44:29

下沉了，顶起来········

回复只看该作者道具举报

返回列表

		自动登录	找回密码
密码			注册