Instance terminated by MMNL, pid = 1524

sunnyihui

windows 2008 r2  oracle 10.2.0.5.14
日志先报7445，然后MMNL导致实例当掉！！

下面是alert日志信息，相关trc文件在附件

Sat Dec 22 03:11:23 中国标准时间 2012
Thread 1 advanced to log sequence 3134 (LGWR switch)
  Current log# 2 seq# 3134 mem# 0: E:\ORACLE\PRODUCT\10.2.0\ORADATA\CDW\REDO21.LOG
  Current log# 2 seq# 3134 mem# 1: E:\ORACLE\PRODUCT\10.2.0\ORADATA\CDW\REDO22.LOG
Sat Dec 22 03:14:25 中国标准时间 2012
Thread 1 advanced to log sequence 3135 (LGWR switch)
  Current log# 3 seq# 3135 mem# 0: E:\ORACLE\PRODUCT\10.2.0\ORADATA\CDW\REDO31.LOG
  Current log# 3 seq# 3135 mem# 1: E:\ORACLE\PRODUCT\10.2.0\ORADATA\CDW\REDO32.LOG
Sat Dec 22 06:00:28 中国标准时间 2012
Thread 1 advanced to log sequence 3136 (LGWR switch)
  Current log# 4 seq# 3136 mem# 0: E:\ORACLE\PRODUCT\10.2.0\ORADATA\CDW\REDO41.LOG
  Current log# 4 seq# 3136 mem# 1: E:\ORACLE\PRODUCT\10.2.0\ORADATA\CDW\REDO42.LOG
Sat Dec 22 06:00:31 中国标准时间 2012
Errors in file e:\oracle\product\10.2.0\admin\cdw\bdump\cdw_j001_24836.trc:
ORA-07445: exception encountered: core dump [ACCESS_VIOLATION] [kglophup+66] [PC:0x58D4E34] [ADDR:0x127F873133] [UNABLE_TO_WRITE] []

Sat Dec 22 06:00:43 中国标准时间 2012
Errors in file e:\oracle\product\10.2.0\admin\cdw\bdump\cdw_pmon_3696.trc:
ORA-07445: 出现异常错误: 核心转储 [ACCESS_VIOLATION] [kglophup+66] [PC:0x58D4E34] [ADDR:0x127F873133] [UNABLE_TO_WRITE] []

Sat Dec 22 06:00:58 中国标准时间 2012
MMNL: terminating instance due to error 472
Instance terminated by MMNL, pid = 1524

Liu Maclean(刘相兵

Oracle Database 10g Enterprise Edition Release 10.2.0.5.0 - 64bit Production+  Windows NT Version V6.1 Service Pack 1

1. 
   
2. *** 2012-12-22 06:00:43.122
   
3. ksedmp: internal or fatal error
   
4. ORA-07445: 出现异常错误: 核心转储 [ACCESS_VIOLATION] [kglophup+66] [PC:0x58D4E34] [ADDR:0x127F873133] [UNABLE_TO_WRITE] []
   
5. check trace file e:\oracle\product\10.2.0\db_1\rdbms\trace\cdw_ora_0.trc for preloading .sym file messages
   
6. ----- Call Stack Trace -----
   
7. calling              call     entry                argument values in hex      
   
8. location             type     point                (? means dubious value)     
   
9. -------------------- -------- -------------------- ----------------------------
   
10. kglophup+66                   0000000000000000     000000000 000000000 000000000
    
11.                                                    000000000
    
12. kgllccl+731          CALL???  kglophup+66          00519DC40 11D6B0C8B0
    
13.                                                    000000014 000002580
    
14. kgllcu+408           CALL???  kgllccl+731          000000E70 0052E2037 000000540
    
15.                                                    0000005A0
    
16. kslilcr+926          CALL???  kgllcu+408           007BB08A0 1211387D68
    
17.                                                    003E74F14 11D59D7B68
    
18. ksl_cleanup+2010     CALL???  kslilcr+926          11D59D7B68 000000003
    
19.                                                    000000000 120524E700
    
20. ksuxfl+1021          CALL???  ksl_cleanup+2010     007BB08A0 000003CF0 0E9C2BFB4
    
21.                                                    000000000
    
22. ksuxda+66            CALL???  ksuxfl+1021          00000002B 1206250D30
    
23.                                                    000000001 0006D4A5A
    
24. ksucln+2423          CALL???  ksuxda+66            000000E70 0052E2037 000000540
    
25.                                                    000002000
    
26. ksbrdp+988           CALL???  ksucln+2423          004BCD730 004BCD74C 000000002
    
27.                                                    000000004
    
28. opirip+700           CALL???  ksbrdp+988           6F5C3A450000001E 003E481E8
    
29.                                                    00F1BFA10 000000000
    
30. opidrv+856           CALL???  opirip+700           000000032 000000004 00F1BFD50
    
31.                                                    000000000
    
32. sou2o+52             CALL???  opidrv+856           000000032 000000004 00F1BFD50
    
33.                                                    000000003
    
34. opimai_real+268      CALL???  sou2o+52             000000000 000000000 000000000

复制代码

Liu Maclean(刘相兵

ksl_cleanup=>kslilcr=>kgllcu=>kgllccl=>kglophup

1. Hdr: 6913413 10.2.0.2 RDBMS 10.2.0.2 LIB CACHE PRODID-5 PORTID-23
   
2. Abstract: INSTANCE GOT TERMINATED WITH ORA-7445 KGLOPHUP()+52
   
3. 
   
4. DIAGNOSTIC ANALYSIS:
   
5. --------------------
   
6. The PMON STACKS from ibisprd1_pmon_18580.trc shows that possible Bug 5605370.
   

复制代码

这似乎是一个顽固的BUG ， 常发生在PMON清理资源时。考虑通过 实例调优 或者 内存参数调优 降低PMON清理dead process资源的概率，可能是一个WORKAROUND。

sunnyihui

该服务器有128g内存，sga 给了70g，pga给了30g
是不是因为sga给了太大内存的缘故呢？！

wxfjordan

Maclean, 跟踪文件 cdw_pmon_3696.txt 中的从下面这段开始, 请再指出问题所在的原因好吗?

谢谢!

1. ----- End of Call Stack Trace -----
   
2. ===================================================
   
3. PROCESS STATE
   
4. -------------
   
5. Process global information:
   
6.      process: 000000120524E700, call: 0000001205374BC8, xact: 0000000000000000, curses: 0000001211387D68, usrses: 0000001211387D68
   
7.   ----------------------------------------
   
8.   SO: 000000120524E700, type: 2, owner: 0000000000000000, flag: INIT/-/-/0x00
   
9.   (process) Oracle pid=2, calls cur/top: 0000001205374BC8/0000001205374BC8, flag: (e) SYSTEM
   
10.             int error: 0, call error: 0, sess error: 0, txn error 0
    
11.   (post info) last post received: 0 0 15
    
12.               last post received-location: ksupsc
    
13.               last process to post me: 1126c3b8 1 6
    
14.               last post sent: 0 0 18
    
15.               last post sent-location: ksuxfd

复制代码

Liu Maclean(刘相兵

sunnyihui 发表于 2012-12-22 21:51
该服务器有128g内存，sga 给了70g，pga给了30g
是不是因为sga给了太大内存的缘故呢？！ ...

上传一个问题发生时段附件的1-2小时的AWR报告

sunnyihui

刘大您好附件的awr是宕机前一个小时的awr，请查看

sunnyihui

Liu Maclean(刘相兵 发表于 2012-12-24 09:45
上传一个问题发生时段附件的1-2小时的AWR报告

刘大，上传了awr，百忙之余看一下吧，谢谢！！！

Liu Maclean(刘相兵

就AWR看负载非常低

对于这种Windows上的 [ACCESS_VIOLATION]  非法访问问题， 考虑是否有防火墙/杀毒软件，或者考虑打OS(Windows NT Version V6.1 Service Pack 1)补丁来解决