9i rac 一个节点突然宕机，怎么处理呀？紧急。

wlq

9i的rac 今天下午突然一个节点宕机，现将报的错误日志和跟踪日志发送，请帮助解决。谢谢。

xifenfei

ora-600[2103]含义

1. ORA-600 [2103] [a] [c] [d]
   
2. 
   
3.   Meaning:   Oracle has waited too long for the control file enqueue.
   
4.              This error has the same meaning as the single argument
   
5.              case above - we simply output additional information.
   
6. 
   
7.   ARGUMENTS:
   
8. 
   
9.   Arg [a] 1-2 (Read only indicator - 0 for updates, 1 for read only, 2-rac/ops)
   
10.   Arg 0 (Type indicator - 0 and 4 for ENQUEUE)
    
11.   Arg [c] 1 (Wait indicator - 1 indicates we should wait for the request)
    
12.   Arg [d] Time out - the time waited for the enqueue, in seconds.
    
13.                      (normally 900 seconds ie 15 Minutes)

复制代码

trace文件中内容

1. TIMEOUT ON CONTROL FILE ENQUEUE
   
2. mode=X, type=0, wait=1, eqt=900
   
3. *** 2012-06-06 15:52:02.021
   
4. ksedmp: internal or fatal error
   
5. ORA-00600: internal error code, arguments: [2103], [0], [0], [1], [900], [], [], []
   
6. ----- Call Stack Trace -----
   
7. calling              call     entry                argument values in hex      
   
8. location             type     point                (? means dubious value)     
   
9. -------------------- -------- -------------------- ----------------------------
   
10. ksedmp()+496         call     ksedst()             000000000 ?
    
11.                                                    C000000000000A17 ?
    
12.                                                    40000000027C7F00 ?
    
13. ksfdmp()+64          call     ksedmp()             000000003 ?
    
14. kgeriv()+400         call     ksfdmp()             6000000000048290 ?
    
15.                                                    000000003 ?
    
16.                                                    C000000000000797 ?
    
17.                                                    40000000050E38D0 ?
    
18.                                                    00002E2AF ?
    
19.                                                    60000000004C15E8 ?
    
20.                                                    000000000 ? 000000000 ?
    
21. kgesiv()+208         call     kgeriv()             6000000000048290 ?
    
22.                                                    60000000005826F8 ?
    
23.                                                    60000000004C13D0 ?
    
24.                                                    6000000000018220 ?
    
25.                                                    6000000000049308 ?
    
26. ksesic4()+240        call     kgesiv()             6000000000048290 ?
    
27.                                                    60000000005826F8 ?
    
28.                                                    000000837 ? 000000004 ?
    
29.                                                    9FFFFFFFFFFFC8B8 ?
    
30. $cold_kccget()+288   call     ksesic4()            000000837 ?
    
31.                                                    60000000004CE350 ?
    
32.                                                    9FFFFFFFFFFFC8B8 ?
    
33.                                                    60000000004CCD40 ?
    
34.                                                    000000000 ? 000000000 ?
    
35.                                                    000000001 ? 000000000 ?
    
36. kccocx()+544         call     $cold_kccget()       000000000 ? 000000000 ?
    
37.                                                    000000001 ?
    
38.                                                    C00000000000122A ?
    
39.                                                    400000000131DC60 ?
    
40.                                                    00002F82F ?
    
41. kccbcx()+48          call     kccocx()             9FFFFFFFFFFFCEB0 ?
    
42.                                                    000000000 ? 000000000 ?
    
43.                                                    000000001 ?
    
44. kcrfwl()+640         call     kccbcx()             9FFFFFFFFFFFCEB0 ?
    
45.                                                    000000000 ?
    
46.                                                    C000000000000B9F ?
    
47.                                                    400000000135A680 ?
    
48.                                                    000000000 ? 000000000 ?
    
49.                                                    000000000 ? 000000000 ?
    
50. ksbabs()+1104        call     kcrfwl()             9FFFFFFFFFFFCE50 ?
    
51.                                                    9FFFFFFFFFFFCF14 ?
    
52.                                                    C000000000000C1E ?
    
53.                                                    40000000018AC480 ?
    
54.                                                    000027931 ?
    
55.                                                    9FFFFFFFFFFFCEA0 ?
    
56. ksbrdp()+3776        call     ksbabs()             075DDD0F0 ?
    
57.                                                    C000000000001B39 ?
    
58.                                                    4000000001246860 ?
    
59. opirip()+1200        call     ksbrdp()             C000000000000E22 ?
    
60.                                                    40000000011F9490 ?
    
61.                                                    000020079 ?
    
62.                                                    9FFFFFFFFFFFD420 ?
    
63.                                                    60000000004CE4C8 ?
    
64.                                                    60000000004CE540 ?
    
65. opidrv()+1472        call     opirip()             60000000004CE350 ?
    
66.                                                    C000000241000000 ?
    
67.                                                    000000000 ?
    
68.                                                    C000000000000C1C ?
    
69. sou2o()+80           call     opidrv()             000000000 ? 000000000 ?
    
70.                                                    000000000 ?
    
71. main()+624           call     sou2o()              9FFFFFFFFFFFF310 ?
    
72.                                                    9FFFFFFFFFFFF314 ?
    
73.                                                    60000000004CDE28 ?
    
74.                                                    000000000 ?
    
75. main_opd_entry()+80  call     main()               000000001 ?
    
76.                                                    9FFFFFFFFFFFF7C8 ?
    
77.                                                    C000000000000004 ?
    
78.                                                    C00000000004E070 ?
    
79. 
    
80. --------------------- Binary Stack Dump ---------------------
    

复制代码

出现crash的原因是因为获取TIMEOUT ON CONTROL FILE ENQUEUE 超时，然后kill lgwr导致

和下面的mos中文章比较相似

1. 
   
2. Applies to:
   
3. 
   
4. Oracle Server - Enterprise Edition - Version: 10.2.0.3 to 10.2.0.3 - Release: 10.2 to 10.2
   
5. Information in this document applies to any platform.
   
6. Symptoms
   
7. 
   
8. -- Problem Statement:
   
9. Getting ORA-00600: internal error code, arguments: [2103], [1], [0], [1], [900], [], [], []. After this instance fails due to timeout on control file.
   
10. 
    
11. Call stack:
    
12. 
    
13. ksedmp kgeriv kgesiv ksesic4 kccocx kcrribcx kcrrcrl_dbc kcrrcrlc kcrrwk ksbcti ksbabs ksbrdp opirip opidrv sou2o opimai_real main start
    
14. 
    
15. 
    
16. Cause
    
17. 
    
18. Call stack in the trace file matched that of the Bug 7375873 which was closed as a duplicate of Bug 7309327 which was closed as a duplicate of a merged patch on top of 10.2.0.3
    

复制代码

请ML具体诊断

[ 本帖最后由 xifenfei 于 2012-6-6 17:28 编辑 ]

Maclean Liu(刘相兵

ODM DATA:

不完整的 lgwr trace和 alert.log

9.2.0.4.0 +  HP-UX  B.11.23 ia64

ORA-00600: internal error code, arguments: [2103], [0], [0], [1], [900], [], [], []


2103
  Arg [a] 1-2 (Read only indicator - 0 for updates, 1 for read only, 2-rac/ops)
  Arg 0 (Type indicator - 0 and 4 for ENQUEUE)
  Arg [c] 1 (Wait indicator - 1 indicates we should wait for the request)
  Arg [d] Time out - the time waited for the enqueue, in seconds.
                     (normally 900 seconds ie 15 Minutes)

应当是 lgwr 读取controlfile 900s超时


2100         server/rcv         Control File mgmt

stack call =>  ksbabs=> kcrfwl =>kccbcx => kccocx =>$cold_kccget


ODM FINDING:

1. Type         B - Defect         Fixed in Product Version         -
   
2. Severity         2 - Severe Loss of Service         Product Version         9.2.0.5
   
3. Status         91 - Closed, Could Not Reproduce         Platform         197 - HP-UX Itanium
   
4. Created         18-Nov-2004         Platform Version         11.23
   
5. Updated         04-Jan-2006         Base Bug         -
   
6. Database Version         9.2.0.5                
   
7. Affects Platforms         Generic                
   
8. Product Source         Oracle                
   
9. 
   
10. Show Related Products Related Products
    
11. Line         Oracle Database Products         Family         Oracle Database
    
12. Area         Oracle Database         Product         5 - Oracle Server - Enterprise Edition
    
13. 
    
14. Hdr: 4020657 9.2.0.5 RDBMS 9.2.0.5 UNKNOWN PRODID-5 PORTID-197
    
15. Abstract: ORA-600[2103] OCCURED AT LGWR AND LEAD TO INSTANCE DOWN
    
16. 
    
17. 
    
18. 
    
19. PROBLEM:
    
20. --------
    
21. ORA-600[2103] occured at LGWR and leads to instance down.
    
22. Ct's system is 2-node RAC system.
    
23. 
    
24. DIAGNOSTIC ANALYSIS:
    
25. --------------------
    
26. ORA-600[2103] occurred at LGWR on node2.
    
27. 
    
28. Wed Nov 17 15:15:23 2004
    
29. Errors in file /opt/oracle/admin/EX02/bdump/ex02_lgwr_9537.trc:
    
30. ORA-600: internal error code, arguments: [2103], [0], [0], [1], [900], [],
    
31. [], []
    
32. 
    
33. From the trace file of lgwr, LGWR was waiting for CF enqueue (CF-0-0).
    
34. 
    
35.     last wait for 'enqueue' blocking sess=0x0 seq=35208 wait_time=45815
    
36.                 name|mode=43460006, id1=0, id2=0
    
37. 
    
38. But we can not find a holder of CF-0-0 on both nodes.
    
39. 
    
40. 
    
41. So this problem may be related to Bug#3724485.
    
42. 
    
43. WORKAROUND:
    
44. -----------
    
45. None.
    
46. 
    
47. RELATED BUGS:
    
48. -------------
    
49. Bug#3724485
    
50. 
    
51. REPRODUCIBILITY:
    
52. ----------------
    
53. Occurred once on ct's system.
    
54. 
    
55. TEST CASE:
    
56. ----------
    
57. None
    
58. 
    
59. STACK TRACE:
    
60. ------------
    
61. ksedmp ksfdmp kgeriv kgesiv ksesic4 $cold_kccget kccocx
    
62. kccbcx kcrfwl ksbabs ksbrdp opirip opidrv sou2o main main_opd_entry
    
63. 
    
64. SUPPORTING INFORMATION:
    
65. -----------------------
    
66. I will put the following files on ess30 later.
    
67. - alert.log and trace files of both nodes.
    
68. 
    
69. 24 HOUR CONTACT INFORMATION FOR P1 BUGS:
    
70. ----------------------------------------
    
71. 
    
72. DIAL-IN INFORMATION:
    
73. --------------------
    
74. 
    
75. IMPACT DATE:
    
76. ------------

复制代码

Maclean Liu(刘相兵

advice:

1. 对于该bug 没有提供workaround方式 ， 建议升级到 9.2.0.8

2. 暂时忽略该问题