一串错误出现，哪个才是重点？ORA-07445还是其他？

ricky

环境：这是一个双机集群9i的RAC
节点1：
Oracle9i Enterprise Edition Release 9.2.0.7.0 - 64bit Production
With the Partitioning, Real Application Clusters, OLAP and Oracle Data Mining options
JServer Release 9.2.0.7.0 - Production
ORACLE_HOME = /u01/app/oracle/product/9.2.0
System name:    AIX
Node name:      kmolcom01
Release:        3
Version:        5
Machine:        000C0FD2D600
Instance name: kmsop1



节点一的alert出现以下错误：

  Current log# 1 seq# 5626 mem# 0: /dev/rks_log11_1g
Sun Jul  1 23:38:30 2012
Errors in file /u01/app/oracle/admin/sopdb/udump/kmsop1_ora_2318480.trc:
ORA-27506: IPC error connecting to a port
ORA-27300: OS system dependent operation:connect failed with status: 4
ORA-27301: OS failure message: Interrupted system call
ORA-27302: failure occurred at: skgxpdoaconr
ORA-27303: additional information: remote process is out of memory
Sun Jul  1 23:38:30 2012-----上下两个错误都不一样。哪个是重点？？？
Errors in file /u01/app/oracle/admin/sopdb/udump/kmsop1_ora_2318480.trc:--我给你的trace文件是这个。
ORA-07445: exception encountered: core dump [] [] [] [] [] []
ORA-27300: OS system dependent operation:connect failed with status: 4
ORA-27301: OS failure message: Interrupted system call
ORA-27302: failure occurred at: skgxpdoaconr
ORA-27303: additional information: remote process is out of memory
Sun Jul  1 23:38:31 2012
Trace dumping is performing id=[cdmp_20120701233831]
Sun Jul  1 23:39:17 2012
Errors in file /u01/app/oracle/admin/sopdb/udump/kmsop1_ora_1040416.trc:
ORA-27506: IPC error connecting to a port
ORA-27300: OS system dependent operation:connect failed with status: 4
ORA-27301: OS failure message: Interrupted system call
ORA-27302: failure occurred at: skgxpdoaconr
ORA-27303: additional information: remote process is out of memory
Sun Jul  1 23:39:17 2012
Errors in file /u01/app/oracle/admin/sopdb/udump/kmsop1_ora_1040416.trc:
ORA-07445: exception encountered: core dump [] [] [] [] [] []
ORA-27300: OS system dependent operation:connect failed with status: 4
ORA-27301: OS failure message: Interrupted system call
ORA-27302: failure occurred at: skgxpdoaconr
ORA-27303: additional information: remote process is out of memory
Sun Jul  1 23:39:18 2012
Trace dumping is performing id=[cdmp_20120701233918]
Sun Jul  1 23:40:32 2012
Errors in file /u01/app/oracle/admin/sopdb/udump/kmsop1_ora_2322570.trc:
ORA-27506: IPC error connecting to a port
ORA-27300: OS system dependent operation:connect failed with status: 4
ORA-27301: OS failure message: Interrupted system call
ORA-27302: failure occurred at: skgxpdoaconr
ORA-27303: additional information: remote process is out of memory
Sun Jul  1 23:40:32 2012
Errors in file /u01/app/oracle/admin/sopdb/udump/kmsop1_ora_2322570.trc:
ORA-07445: exception encountered: core dump [] [] [] [] [] []
ORA-27300: OS system dependent operation:connect failed with status: 4
ORA-27301: OS failure message: Interrupted system call
ORA-27302: failure occurred at: skgxpdoaconr
ORA-27303: additional information: remote process is out of memory
Sun Jul  1 23:40:33 2012
Trace dumping is performing id=[cdmp_20120701234033]


我选取第一个报错的trace文件给你看看。帮忙分析一下，谢谢啦。 kmsop1_ora_2318480.rar (229.62 KB, 下载次数: 1010)

2012-7-2 16:48 上传

点击文件名下载附件

问题：这种问题我也拿不准，我觉得是最后一个错误，远程的程序超出内存，这种情况怎么解决啊？但是又有ORA-07445:这种内部错误，所以不会分析了。还请刘大帮忙。谢谢。

Maclean Liu(刘相兵

error 信息一般都是从 底部到顶部， 下面的错误引发上上一层的错误。

Errors in file /u01/app/oracle/admin/sopdb/udump/kmsop1_ora_2322570.trc:
ORA-07445: exception encountered: core dump [] [] [] [] [] []
ORA-27300: OS system dependent operation:connect failed with status: 4
ORA-27301: OS failure message: Interrupted system call
ORA-27302: failure occurred at: skgxpdoaconr
ORA-27303: additional information: remote process is out of memory

ORA-27303=> ORA-27302 => ORA-27301

27302错误的原因是 27303 远程进程无法分配内存

Maclean Liu(刘相兵

诊断这个问题 ：

Oracle9i Enterprise Edition Release 9.2.0.7.0 - 64bit Production
With the Partitioning, Real Application Clusters, OLAP and Oracle Data Mining options

System name:    AIX

9i AIX  RAC


SKGXPCNH: 0x10296550 SKGXPCON_CONN_SENT (3) sconno 1642022542 accono 0 admno 1635985603
        Remote admin port
SSKGXPT 0x10296574 flags SSKGXPT_WRITE active network 0
info for network 0
        socket no 8     IP 66.66.66.2   UDP 46520
        HACMP network_id 0      sflags SSKGXPT_UP
        Remote data port
SSKGXPT 0x10296610 flags  active network 0
info for network 0
        socket no 0     IP 0.0.0.0      UDP 0
        HACMP network_id 0      sflags
        ERROR connect requestion should be on done q
         next seqno 32763 credits 8 ertt 64 resends on con 0


----- Call Stack Trace -----
calling              call     entry                argument values in hex      
location             type     point                (? means dubious value)     
-------------------- -------- -------------------- ----------------------------
pthread_kill+009c    ?        00000000            
_p_raise+005c        bl       pthread_kill         9001000A00874C8 ?
                                                   9001000A0059B80 ?
raise+0034           bl       _ptrgl               
abort+00b4           bl       raise                000001D55 ?
__assert_c99+02c0    bl       abort               
skgxp_interr+0028    bl       011A51A8            
skgxpdis+0110        bl       skgxp_interr         102A290F0 ? FFFFFFFFFFF5470 ?
                                                   FFFFFFFFFFF5200 ?
ksxpclose+02e4       bl       skgxpdis             FFFFFFFFFFF52D0 ? 000000000 ?
                                                   FFFFFFF00000003 ? 000000000 ?
                                                   07FFFFFFF ?
ksxpfailrequest+029  bl       ksxpclose            1102384B0 ? 110002910 ?
4                                                  000000000 ? 0FFFFFDFF ?
ksxpwait+0a48        bl       ksxpfailrequest      FFFFFFFFFFF5F70 ?
ksliwat+02c8         bl       ksxpwait             000000000 ? 000000000 ?
kslwaitns+001c       bl       ksliwat              000000012 ? 102A5B948 ?
                                                   14FF06EF6 ? 7A3010202A58858 ?
                                                   000000000 ? 1102E7FC8 ?
                                                   FFFFFFFFFFF6B10 ?
kskthbwt+01d4        bl       kslwaitns            110296550 ? 000000009 ?
                                                   000000000 ? 1101F7E48 ?
                                                   110376618 ? 102A58858 ?
                                                   000000000 ?
kslwait+005c         bl       kskthbwt             7000000C982A930 ? 000000001 ?
                                                   000000000 ? 000000020 ?
                                                   FFFFFFFFFFF6C30 ? 0FFFFFDFF ?
                                                   600000000000001 ? 000000000 ?
ksxprcv+015c         bl       kslwait              FFFFFFFFFFF6CD0 ?
                                                   7000000C84EDDA0 ?
                                                   7000000C84EDD70 ?
                                                   7000000C955F4A8 ? 000000001 ?
                                                   000000009 ?
kxfpqidqr+0600       bl       ksxprcv              1103859E8 ? 010377968 ?
                                                   FFFFFFFFFFF7650 ?
                                                   FFFFFFFFFFF75F0 ?
                                                   1610000012C ? 000000001 ?
                                                   000000000 ? 000000000 ?
kxfpg1sg+0a1c        bl       kxfpqidqr            110002910 ? 000000000 ?
                                                   102A1B4B0 ? 7000000D16DD528 ?
kxfpgsg+1258         bl       kxfpg1sg             110516A84 ? 000002000 ?
                                                   000000000 ? 11034D5C0 ?
                                                   000000000 ? 000000000 ?
                                                   110006668 ? 000000002 ?
kxfrAllocSlaves+027  bl       kxfpgsg              4FFFF8580 ? 1244228FFFF86A0 ?
c                                                  200E4915C ? 17FFFFFFC ?
                                                   200E44E00 ? 11034F300 ?
                                                   11034F308 ? 300000000000000 ?
kxfrialo+0ba4        bl       kxfrAllocSlaves      000000000 ? 000000000 ?
                                                   000000000 ? 000000000 ?
                                                   FFFFFFFFFFF8740 ? 00006D978 ?
                                                   FFFFFFFFFFF8670 ? 000000001 ?
kxfralo+011c         bl       kxfrialo             1BE0B810006668 ?
                                                   100000000000000 ?
                                                   1000100000000 ?
                                                   7000000D5554208 ? 110364580 ?
                                                   000000001 ? 7000000D5554270 ?
                                                   1101F7E48 ?
qerpxStart+06bc      bl       kxfralo              1BE0B800000000 ?
                                                   100000000000000 ?
                                                   1000110353E84 ?
                                                   7000000D5554208 ? 110364580 ?
                                                   FFFFFFFF95B0 ?
                                                   7000000D5554270 ? 000000000 ?
rwsstd+0058          bl       _ptrgl               
qersoStart+0554      bl       _ptrgl               
qerjoStart+0090      bl       _ptrgl               
selexe+093c          bl       01FBA89C            
opiexe+1e74          bl       selexe               110369F68 ? 7000000D5549018 ?
                                                   000000102 ?
opiall0+1008         bl       opiexe               400000001 ? 000000001 ?
                                                   FFFFFFFFFFFA5B0 ?
kpoal8+0a68          bl       opiall0              5EFFFFC3E4 ? 22FFFFC0E8 ?
                                                   FFFFFFFFFFFAAC8 ? 000000000 ?
                                                   FFFFFFFFFFFAA18 ? 110291E80 ?
                                                   9A80000000 ? 24000000007FFF ?
opiodr+08c8          bl       _ptrgl               
ttcpip+0c5c          bl       _ptrgl               
opitsk+0c58          bl       ttcpip               11000D268 ? 000000000 ?
                                                   000000000 ? 000000000 ?
                                                   000000000 ? 000000000 ?
                                                   000000000 ? 000000000 ?
opiino+0798          bl       opitsk               000000000 ? 000000000 ?
opiodr+08c8          bl       _ptrgl               
opidrv+032c          bl       opiodr               3CA0134318 ? 4101F7E48 ?
                                                   FFFFFFFFFFFF4D0 ? 0FFFFBFFF ?
sou2o+0028           bl       opidrv               3CE0DDF00D ? 4A0059B80 ?
                                                   FFFFFFFFFFFF4D0 ?
main+0138            bl       01FBA7A0            
__start+0090         bl       main                 000000000 ? 000000000 ?



*** 2012-07-01 23:38:30.195
ksedmp: internal or fatal error
ORA-07445: exception encountered: core dump [] [] [] [] [] []
ORA-27300: OS system dependent operation:connect failed with status: 4
ORA-27301: OS failure message: Interrupted system call
ORA-27302: failure occurred at: skgxpdoaconr
ORA-27303: additional information: remote process is out of memory
Current SQL statement for this session:
select 'RACMembership :' || inst_name ||
':' || inst_number dbMembers
from sys.v_$active_instances a,gv$instance b
where a.inst_number=b.instance_number  
----- Call Stack Trace -----
calling              call     entry                argument values in hex      
location             type     point                (? means dubious value)     
-------------------- -------- -------------------- ----------------------------
ksedmp+0148          bl       ksedst               10293C944 ?
ssexhd+0288          bl       01FBABD0            
000043D0             ?        00000000            


引发错误的语句是

select 'RACMembership :' || inst_name ||
':' || inst_number dbMembers
from sys.v_$active_instances a,gv$instance b
where a.inst_number=b.instance_number

直接的报错信息是
ORA-27303: additional information: remote process is out of memory

9i中仍采用 p00x这样的并行进程辅助  GV$视图查询

在metalink上的相关案例是

Hdr: 5209163 9.2.0.7 RDBMS 9.2.0.7 RAC PRODID-5 PORTID-226 4673610
Abstract: MEMORY LEAK IN LMS

*** 05/05/06 11:39 am ***
TAR:
----
SR 5369624.993

PROBLEM:
--------
While trying to startup getting:

Thu Apr 27 10:33:35 2006
Errors in file /u01/app/oracle/admin/BOELV/bdump/boelv1_lmon_20455.trc:
ORA-7445: exception encountered: core dump [__kill()+17] [SIGIOT] [unknown
code] [0x4FE7] [] []
ORA-27300: OS system dependent operation:connect failed with status: 11
ORA-27301: OS failure message: Resource temporarily unavailable
ORA-27302: failure occurred at: skgxpdoaconr
ORA-27303: additional information: remote process is out of memory

DIAGNOSTIC ANALYSIS:
--------------------
On the other node, checked:

ps aux | grep lms,  saw that RSS of LMS is 2.5 GB, which indicates a  memory
leak within LMS.

At startup time LMS's   RSS is 60 MB,   after 7 days of running:

ps aux | head -1
USER       PID %CPU %MEM   VSZ  RSS   TTY      STAT START   TIME COMMAND

:>ps aux | grep lms

oracle   23444  0.8 23.1 2759916 1869904 ?            S    Apr27  89:46      
  
    ora_lms0_BOELV2

oracle   23448  0.9 23.2 2761112 1871232 ?            S    Apr27   96:31


RSS is at about 1.9 GB, in a few days likely to reach the maximum
and refuse new connections.

WORKAROUND:
-----------
none, killing instances is obviously unacceptable.

RELATED BUGS:
-------------
4945886.