0 积分	1 好友	13 主题

发消息

[Exadata常规管理] RAC某节点racgimon长期占用CPU资源超过50%

1^#

发表于 2013-7-30 10:42:08 | 查看: 5347| 回复: 3

DB版本：10.2.0.4.0
OS版本: 5.3/64 bit

CRS无补丁
$ /oraapp/oracle/db1/bin/crsctl query crs activeversion
CRS active version on the cluster is [10.2.0.4.0]

问题描述:这是套2节点的RAC，在TOPAS中可以看到racgimon长期占用CPU资源超过50%，全天都是如此，之前发现racgimon长期占用CPU在10-20%，后来重启了该节点，重启后racgimon进程正常，今天发现racgimon进程又消耗这么多CPU资源。2个节点的告警日志均无报错，节点2的crs日志也没有任何报错信息。
Name          PID  CPU%  PgSp Owner
racgimon 1912852  55.6  42.1 oracle  <====占用超过50% CPU资源
oracle    1273920 0.4 6.0 oracle
oracle    1236996 0.3 6.1 oracle
oracle    2343024 0.2 7.1 oracle
oracle    1765394 0.2 6.0 oracle
ps       1548302 0.1 3.2 tivoli
crsd.bin    901268 0.0  45.1 root
oracle    1106000 0.0 6.1 oracle

从下面看出在$CRS_HOME/log/<hostname>/racg目录下并不存在imon_<dbname>.log
$ env|grep CRS
CRS_HOME=/oraapp/oracle/crs_1
$ pwd
/oraapp/oracle/crs_1/log/ncpxrac1/racg
$ ls -ltr
total 56
drwxrwxrwt 2 oracle dba          256 Sep 17 2012  racgmain
drwxrwxrwt 2 oracle dba          256 Sep 17 2012  racgevtf
drwxrwxrwt 2 oracle dba          256 Sep 17 2012  racgeut
-rw-r--r-- 1 root    system       237 Sep 17 2012  ora.ncpxrac1.vip.log
-rw-r--r-- 1 oracle dba          376 Sep 19 2012  evtf.log
-rw-r--r-- 1 oracle dba          9967 May 23 23:21 ora.ncpxrac1.ons.log
-rw-r--r-- 1 oracle dba          4427 May 23 23:21 ora.ncpxrac1.gsd.log

出现问题的节点1的crsd.log中有如下错误输出:
2013-07-23 02:13:30.549: [  CRSEVT][11119]32CAAMonitorHandler :: 0:Could not join /oraapp/oracle/db1/bin/racgwrap(check)
category: 1234, operation: scls_process_join, loc: childcrash, OS error: 0, other: Abnormal termination of the child

2013-07-23 02:13:30.556: [  CRSEVT][11119]32CAAMonitorHandler :: 0:Action Script /oraapp/oracle/db1/bin/racgwrap(check) timed out for ora.cpxdb.cpxdb1.inst! (timeout=600)
2013-07-23 02:13:30.556: [  CRSAPP][11119]32CheckResource error for ora.cpxdb.cpxdb1.inst error code = -2
2013-07-23 02:14:40.607: [  CRSEVT][11380]32CAAMonitorHandler :: 0:Could not join /oraapp/oracle/db1/bin/racgwrap(check)
category: 1234, operation: scls_process_join, loc: childcrash, OS error: 0, other: Abnormal termination of the child

CRSD和procstack输出都已上传

麻烦高手帮忙定位下。