11.2.0.3 for windows 2003 64bit rac 宕机问题

szkking

系统环境
windows 2003 64位，11.2.0.3版本的oracle

9月18日晚上宕机了，昨天客户找到我要求进行处理，目前我认为是监听错误导致的问题，监听日志中TNS-12531: TNS:cannot allocate memory错误，我根据此错误，把windows的sharesection的问题解决了一下，按照文档修改了值，1024,204800,1024，原来默认是1024,204800,768。感觉还有其他问题，但是查不出来了，请各位帮忙看看。系统中有几个错误trace基本都没产生，这点也是让我很疑惑的事。

而且看了日志，对于
2013-09-19 02:23:38.578: [ CRSCOMM][3104] Ipc: Client disconnected.
2013-09-19 02:23:38.578: [ CRSCOMM][3104][FFAIL] IpcL: Listener got clsc error 11 for memNum. 77
2013-09-19 02:23:38.578: [ CRSCOMM][3104] IpcL: connection to member 77 has been removed
2013-09-19 02:23:38.578: [CLSFRAME][3104] Removing IPC Member:{Relative|Node:0|Process:77|Type:3}
2013-09-19 02:23:38.578: [CLSFRAME][3104] Disconnected from AGENT process: {Relative|Node:0|Process:77|Type:3}
2013-09-19 02:23:38.578: [   CRSPE][3128] {1:22525:7495} Disconnected from server:
2013-09-19 02:23:38.578: [    AGFW][3116] {1:22525:7497} Agfw Proxy Server received process disconnected notification, count=1
2013-09-19 02:23:38.578: [    AGFW][3116] {1:22525:7497} D:\app\11.2.0\grid\bin\orarootagent.exe_nt authority\system disconnected.
2013-09-19 02:23:38.578: [    AGFW][3116] {1:22525:7497} Agent D:\app\11.2.0\grid\bin\orarootagent.exe_nt authority\system[3320] stopped!
2013-09-19 02:23:38.578: [ CRSCOMM][3116] {1:22525:7497} IpcL: removeConnection: Member 77 does not exist.
2013-09-19 02:23:38.578: [    AGFW][3116] {1:22525:7497} Restarting the agent D:\app\11.2.0\grid\bin\orarootagent.exe_nt authority\system
2013-09-19 02:23:38.578: [    AGFW][3116] {1:22525:7497} Starting the agent: D:\app\11.2.0\grid\bin\orarootagent.exe with user id: nt authority\system and incarnation:21
2013-09-19 02:23:38.578: [    AGFW][3116] {1:22525:7497} Starting the HB [Interval =  30000, misscount = 6kill allowed=1] for agent: D:\app\11.2.0\grid\bin\orarootagent.exe_nt authority\system
2013-09-19 02:23:38.687: [CLSFRAME][3104] New IPC Member:{Relative|Node:0|Process:78|Type:3}:AGENT
2013-09-19 02:23:38.687: [CLSFRAME][3104] New process connected to us ID:{Relative|Node:0|Process:78|Type:3} Info:AGENT
对于这部分理解的不大明白，没看懂这些到底是表明哪方面错误。请刘大指点一下。

Liu Maclean(刘相兵

1、宕机指什么 ？  节点重启？ 实例重启？
2、 是哪个节点 ？

Liu Maclean(刘相兵

找一下 当时的LMHB 和 DBRM进程的TRACE

szkking

第一个节点，asm1，宕机是指外部链接都连接不上了，应用全部HANG死，无法运行。
只能重启服务器。

Liu Maclean(刘相兵

还需要当时附近时段的AWR

szkking

刘大，日志已经上传

szkking

另外的dbrm就是19日凌晨的

szkking

AWR报告，需要等一会，医院内部，发不出来，我先联系一下，拷贝一份出来，这些日志是昨天穿出来的

Liu Maclean(刘相兵

你看一下ASM的trace目录下的lmhb和dbrm的trace

szkking

第一个节点没有dbrm的trace，第二个节点的lmhb只有下面几句话
*** 2013-09-18 19:04:34.359
kjgcr_rcfg: inc 21, memcnt 3, bitmap: 1 2 3   (my memmo 2, my instno 2)

*** 2013-09-19 03:22:09.546
kjgcr_rcfg: inc 22, memcnt 2, bitmap: 1 2   (my memmo 2, my instno 2)

*** 2013-09-19 03:30:09.562
kjgcr_rcfg: inc 23, memcnt 1, bitmap: 2   (my memmo 2, my instno 2)

*** 2013-09-19 03:34:59.562
kjgcr_rcfg: inc 24, memcnt 2, bitmap: 0 2   (my memmo 2, my instno 2)
kjgcr_rcfg: Published my lock info. lk holder: -1

*** 2013-09-19 03:35:54.562
kjgcr_rcfg: inc 25, memcnt 3, bitmap: 0 1 2   (my memmo 2, my instno 2)
kjgcr_rcfg: Published my lock info. lk holder: -1

*** 2013-09-19 07:49:24.687
kjgcr_rcfg: inc 26, memcnt 4, bitmap: 0 1 2 3   (my memmo 2, my instno 2)
kjgcr_rcfg: Published my lock info. lk holder: -1

Liu Maclean(刘相兵

*** 2013-09-15 01:42:18.671
kjgcr_SlaveReqBegin: message queued to slave
kjgcr_Main: KJGCR_ACTION - id 3
kjgrc_ReportTopCPU: Called but no info found.

*** 2013-09-15 01:42:23.671
kjgcr_Main: Reset called for action high cpu, identify users, count 0

*** 2013-09-15 01:42:23.671
kjgcr_Main: Reset called for action high cpu, kill users, count 0

*** 2013-09-15 01:42:23.671
kjgcr_Main: Reset called for action high cpu, activate RM plan, count 0

*** 2013-09-15 01:42:23.671
kjgcr_Main: Reset called for action high cpu, set BG into RT, count 0

*** 2013-09-18 19:04:35.593
kjgcr_rcfg: inc 21, memcnt 3, bitmap: 1 2 3   (my memmo 1, my instno 1)

*** 2013-09-19 03:22:10.593
kjgcr_rcfg: inc 22, memcnt 2, bitmap: 1 2   (my memmo 1, my instno 1)



怀疑这个时段有high cpu

szkking

两个节点4点到5点，还有5点到6点的AWR报告，6点到7点的没生成报告

szkking

Liu Maclean(刘相兵 发表于 2013-9-23 14:00
*** 2013-09-15 01:42:18.671
kjgcr_SlaveReqBegin: message queued to slave
kjgcr_Main: KJGCR_ACTION - ...

刘大，但是那时候还没事，应用彻底连不上是18号晚上6点多，应该是6点半左右吧，应用就彻底HANG死了

szkking

现场描述的人不准确，刚去了一下，那些trace确实没有，但是有18点到19点的AWR，19点到凌晨3点多的AWR都没有了。

szkking

Liu Maclean(刘相兵 发表于 2013-9-23 14:00
*** 2013-09-15 01:42:18.671
kjgcr_SlaveReqBegin: message queued to slave
kjgcr_Main: KJGCR_ACTION - ...

看第一个节点的，确实有高CPU现象。
*** 2013-09-18 18:00:54.781
kjgcr_SlaveReqBegin: message queued to slave
kjgcr_Main: KJGCR_ACTION - id 3
CPU is high.  Top oracle users listed below:
     Session           Serial         CPU
     643               45775             0
     154               7401             0
       1                 1             0
       2                 3             0
       3                 3             0

*** 2013-09-18 18:00:59.781
kjgcr_Main: Reset called for action high cpu, identify users, count 0

Liu Maclean(刘相兵

Elapsed:                  60.04 (mins)                  
DB Time:                  0.50 (mins)                  

这个AWR快照没什么意义

szkking

Liu Maclean(刘相兵 发表于 2013-9-23 15:50
Elapsed:                  60.04 (mins)                  
DB Time:                  0.50 (mins)                  

是啊，所以看不出来东西，像我第一次写的那样，查了下MOS，但是没有其他相关的报错，也不算是BUG，其他的trace还少东西，可用的东西太少了。
操作系统上也没什么可看的，只有一个红色报警错误，是打印机驱动有问题，其他的错误就没有了，我只能现在把监听中的错误修正，看是否还发生错误

szkking

Liu Maclean(刘相兵 发表于 2013-9-23 15:50
Elapsed:                  60.04 (mins)                  
DB Time:                  0.50 (mins)                  

上面还有4点到5点，6点到7点的AWR报告，刘大，不过好像也没多大意义