ORA-00603,ORA-27544,ORA-27300，ORA-27301,ORA-27302

内蒙-飞

系统环境：操作系统：hp-ux11.31   
双机软件：vcs
数据库版本10.2.0.4  rac   + raw   

数据库运行状态下alert日志报错：
Fri Jul  6 15:31:20 2012
Errors in file /oraclelog/admin/ngcrm_i1/udump/ngcrm_i1_ora_11368.trc:
ORA-00603: ORACLE server session terminated by fatal error
ORA-27504: IPC error creating OSD context
ORA-27300: OS system dependent operation:bind failed with status: 227
ORA-27301: OS failure message: Can't assign requested address
ORA-27302: failure occurred at: sskgxpcre3
Fri Jul  6 15:31:20 2012
Errors in file /oraclelog/admin/ngcrm_i1/udump/ngcrm_i1_ora_11366.trc:
ORA-00603: ORACLE server session terminated by fatal error
ORA-27504: IPC error creating OSD context
ORA-27300: OS system dependent operation:bind failed with status: 227
ORA-27301: OS failure message: Can't assign requested address
ORA-27302: failure occurred at: sskgxpcre3
Fri Jul  6 15:31:20 2012
Errors in file /oraclelog/admin/ngcrm_i1/udump/ngcrm_i1_ora_11374.trc:
ORA-00603: ORACLE server session terminated by fatal error
ORA-27504: IPC error creating OSD context
ORA-27300: OS system dependent operation:bind failed with status: 227
ORA-27301: OS failure message: Can't assign requested address
ORA-27302: failure occurred at: sskgxpcre3
Fri Jul  6 15:31:20 2012
Errors in file /oraclelog/admin/ngcrm_i1/udump/ngcrm_i1_ora_11376.trc:
ORA-00603: ORACLE server session terminated by fatal error
ORA-27504: IPC error creating OSD context
ORA-27300: OS system dependent operation:bind failed with status: 227
ORA-27301: OS failure message: Can't assign requested address
ORA-27302: failure occurred at: sskgxpcre3
Fri Jul  6 15:31:20 2012
Errors in file /oraclelog/admin/ngcrm_i1/udump/ngcrm_i1_ora_11378.trc:
ORA-00603: ORACLE server session terminated by fatal error
ORA-27504: IPC error creating OSD context
ORA-27300: OS system dependent operation:bind failed with status: 227
ORA-27301: OS failure message: Can't assign requested address
ORA-27302: failure occurred at: sskgxpcre3
Fri Jul  6 15:31:20 2012
Errors in file /oraclelog/admin/ngcrm_i1/udump/ngcrm_i1_ora_11383.trc:
ORA-00603: ORACLE server session terminated by fatal error
ORA-27544: Failed to map memory region for export
ORA-27300: OS system dependent operation:bind failed with status: 227
ORA-27301: OS failure message: Can't assign requested address
ORA-27302: failure occurred at: sskgxpcre3
Fri Jul  6 15:31:20 2012
Errors in file /oraclelog/admin/ngcrm_i1/udump/ngcrm_i1_ora_11385.trc:
ORA-00603: ORACLE server session terminated by fatal error
ORA-27504: IPC error creating OSD context
ORA-27300: OS system dependent operation:bind failed with status: 227
ORA-27301: OS failure message: Can't assign requested address
ORA-27302: failure occurred at: sskgxpcre3
Fri Jul  6 15:31:21 2012
Errors in file /oraclelog/admin/ngcrm_i1/udump/ngcrm_i1_ora_11380.trc:
ORA-00603: ORACLE server session terminated by fatal error
ORA-27544: Failed to map memory region for export
ORA-27300: OS system dependent operation:bind failed with status: 227
ORA-27301: OS failure message: Can't assign requested address
ORA-27302: failure occurred at: sskgxpcre3
Fri Jul  6 15:31:25 2012
Process m000 died, see its trace file
Fri Jul  6 15:31:25 2012
ksvcreate: Process(m000) creation failed
Fri Jul  6 15:40:28 2012
Thread 1 advanced to log sequence 44315 (LGWR switch)
  Current log# 9 seq# 44315 mem# 0: /dev/vx/rdsk/crmdg08/crmvg8_1_rd91
  Current log# 9 seq# 44315 mem# 1: /dev/vx/rdsk/crmdg08/crmvg8_1_rd92
Fri Jul  6 15:51:11 2012

内蒙-飞

查询感觉和Oracle NUMA Usage Recommendation [ID 759565.1]     …  类似，还请刘大帮看看。

Maclean Liu(刘相兵

stack call:

ksedmp: internal or fatal error
ORA-00603: ORACLE server session terminated by fatal error
ORA-27504: IPC error creating OSD context
ORA-27300: OS system dependent operation:bind failed with status: 227
ORA-27301: OS failure message: Can't assign requested address
ORA-27302: failure occurred at: sskgxpcre3
Current SQL information unavailable - no session.
----- Call Stack Trace -----
calling              call     entry                argument values in hex      
location             type     point                (? means dubious value)     
-------------------- -------- -------------------- ----------------------------
ksedst()+64          call     ksedst1()            000000000 ? 000000001 ?
ksedmp()+2176        call     ksedst()             000000000 ?
                                                   C000000000000C9F ?
                                                   4000000003FA7140 ?
                                                   000000000 ? 000000000 ?
                                                   000000000 ?
ksfdmp()+48          call     ksedmp()             000000003 ?
kgefec()+656         call     ksfdmp()             C000000000000792 ?
                                                   000000003 ?
                                                   4000000009424D90 ?
ksxpsigosderr()+384  call     kgefec()             6000000000031340 ?
                                                   000000000 ?
                                                   400000000156D8F0 ?
                                                   40000000019D36C0 ?
ksxposdcini()+752    call     ksxpsigosderr()      60000000000CF7F0 ?
                                                   000006B70 ?
                                                   C000000000000B1E ?
                                                   40000000040F40C0 ?
                                                   0000096FF ?
                                                   60000000000CF0C0 ?
                                                   000000000 ?
                                                   60000000000D1834 ?
$cold_ksxpnfy()+784  call     ksxposdcini()        60000000000C2000 ?
                                                   C00000000000091A ?
                                                   40000000020A0BF0 ?
                                                   0000086BF ?
                                                   9FFFFFFFFFFF9E90 ?
                                                   00000001C ? 000000004 ?
                                                   60000000000D1834 ?
kscnfy()+1520        call     $cold_ksxpnfy()      4000000001BC4510 ?
                                                   000001438 ?
                                                   60000000000C2000 ?
                                                   C000000000001026 ?
                                                   40000000029743E0 ?
                                                   00000C77F ?
ksmcpg()+112         call     kscnfy()             000000005 ?
                                                   6000000000031050 ?
ksucrp()+800         call     ksmcpg()             C000000000000A9D ?
                                                   40000000039CFA60 ?
                                                   60000000000CF608 ?
                                                   6000000000031050 ?
                                                   60000000000CF0C0 ?
                                                   000000000 ? 000000000 ?
                                                   000000000 ?
opiino()+2256        call     ksucrp()             000000000 ?
                                                   9FFFFFFFFFFFB6F0 ?
                                                   60000000000C2000 ?
                                                   9FFFFFFFFFFFBD60 ?
                                                   C000000000000E22 ?
                                                   60000000000CF2D0 ?
opiodr()+2128        call     opiino()             00000003C ?
                                                   9FFFFFFFFFFFC8B0 ?
                                                   9FFFFFFFFFFFF050 ?
                                                   9FFFFFFFFFFFBD70 ?
                                                   60000000000C2000 ?
                                                   C000000000001530 ?
opidrv()+1088        call     opiodr()             00000003C ? 000000004 ?
                                                   4000000001ADB690 ?
                                                   0000046B0 ?
                                                   9FFFFFFFFFFFC8C0 ?
                                                   60000000000C2000 ?
sou2o()+336          call     opidrv()             00000003C ?
                                                   9FFFFFFFFFFFF050 ?
                                                   60000000000CF0C0 ?
opimai_real()+224    call     sou2o()              9FFFFFFFFFFFF070 ?
                                                   00000003C ? 000000004 ?
                                                   9FFFFFFFFFFFF050 ?
main()+368           call     opimai_real()        000000000 ?
                                                   9FFFFFFFFFFFF0A0 ?
main_opd_entry()+80  call     main()               000000002 ?
                                                   9FFFFFFFFFFFF560 ?
                                                   60000000000C2000 ?
                                                   C000000000000004 ?

Maclean Liu(刘相兵

kscnfy => cold_ksxpnfy => ksxposdcini => ksxpsigosderr => kgefec报错


相关案例：

Hdr: 12688693 10.2.0.4.4 RDBMS 10.2.0.4 UNKNOWN PRODID-5 PORTID-23
Abstract: ORA-7445 [KSXPSIGOSDERR()+212] DATABASE HUNG

Errors in file /opt/oracle/admin/wmcatp1/udump/wmcatp13_ora_3404.trc:
ORA-603: ORACLE server session terminated by fatal error
ORA-27544: Failed to map memory region for export
ORA-27300: OS system dependent operation:bind failed with status: 126
ORA-27301: OS failure message: Cannot assign requested address
ORA-27302: failure occurred at: sskgxpcre3
Wed Jun 22 19:46:52 2011
Errors in file /opt/oracle/admin/wmcatp1/udump/wmcatp13_ora_3436.trc:
ORA-603: ORACLE server session terminated by fatal error
ORA-27544: Failed to map memory region for export
ORA-27300: OS system dependent operation:bind failed with status: 126
ORA-27301: OS failure message: Cannot assign requested address
ORA-27302: failure occurred at: sskgxpcre3
Wed Jun 22 19:46:52 2011
Errors in file /opt/oracle/admin/wmcatp1/udump/wmcatp13_ora_3632.trc:
ORA-7445: exception encountered: core dump [ksxpsigosderr()+212] [SIGSEGV]
[Address not mapped to object] [0x000000061] [] [
]
ORA-27300: OS system dependent operation:bind failed with status: 126
ORA-27301: OS failure message: Cannot assign requested address
ORA-27302: failure occurred at: sskgxpcre3


DIAGNOSTIC ANALYSIS:
--------------------
- Normally we have around 4000 sessions.

- ORA-27302: failure occurred at: sskgxpcre3 seem to indicate Oracle enabling
of NUMA; however, NUMA has been disabled by following parameter setting since
the database was created:

_enable_NUMA_optimization=false
_db_block_numa=1

-  A merge patch for bug 8199533, to disable NUMA is requested.
Due to merge conflict, it might take more than a week for the patch to be
available.



WORKAROUND:
-----------
None.

RELATED BUGS:
-------------
Bug 6689903 FAILURE OCCURRED AT SSKGXPCRE3
Bug 9240751: ORA-27302: FAILURE OCCURRED AT: SSKGXPCRE3
Bug 8199533: NEED NEW PARAMETER TO DISABLE NUMA SUPPORT AND RELATED LOG INFO.

REPRODUCIBILITY:
----------------
Currently, customer is restarting nodes to see if problem occurs again

TEST CASE:
----------

STACK TRACE:
------------
wminvp11_ora_11288.trc

ksxpsigosderr <- ksxposdcini <- ksxpnfy <- kscnfy <- ksmcpg
        <- ksucrp <- ksucresg <- kpolna <- kpogsk <- opiodr

内蒙-飞

谢谢，刘大！