oracle 10.2.0.5 不能fork进程，报告swap不足

whiterain

环境： aix 6.1  P570 power6
oracle ：  oracle 10.2.0.5
alert里面报告：
Thu Aug 01 04:01:41 GMT+08:00 2013Process startup failed, error stack:
Thu Aug 01 04:01:41 GMT+08:00 2013Errors in file /oracle/admin/EDB02/bdump/edb02_psp0_3801416.trc:
ORA-27300: OS system dependent operation:fork failed with status: 12
ORA-27301: OS failure message: Not enough space
ORA-27302: failure occurred at: skgpspawn3
Thu Aug 01 04:01:42 GMT+08:00 2013Process J000 died, see its trace file
Thu Aug 01 04:01:42 GMT+08:00 2013kkjcre1p: unable to spawn jobq slave process
Thu Aug 01 04:01:42 GMT+08:00 2013Errors in file /oracle/admin/EDB02/bdump/edb02_cjq0_5505910.trc:


实际上：


wap usage = 10%.
2013/07/30 05:05:19 VCS INFO V-16-10061-14001 HostMonitor:VCShm:monitor:Updating System attribute with CPU usage = 8% and Swap usage = 10%.
2013/07/30 06:01:19 VCS INFO V-16-10061-14001 HostMonitor:VCShm:monitor:Updating System attribute with CPU usage = 18% and Swap usage = 10%.
麻烦帮忙看看。

whiterain

host monitor 是监控文件。

whiterain

附件是alert 日志。

Maclean Liu(刘相兵

给出
/oracle/admin/EDB02/bdump/edb02_psp0_3801416.trc
/oracle/admin/EDB02/bdump/edb02_cjq0_5505910.trc

whiterain

附件是两个trace文件，放到一起了。

Mille

*** 2013-08-01 06:20:17.172
Process startup failed, error stack:
ORA-27300: OS system dependent operation:fork failed with status: 12
ORA-27301: OS failure message: Not enough space
ORA-27302: failure occurred at: skgpspawn3



df  -g

Maclean Liu(刘相兵

lsattr -El sys0

select * from v$resource_limit;

whiterain

root@EDBSRM02:/#lsattr -El sys0
SW_dist_intr    false              Enable SW distribution of interrupts              True
autorestart     true               Automatically REBOOT OS after a crash             True
boottype        disk               N/A                                               False
capacity_inc    1.00               Processor capacity increment                      False
capped          true               Partition is capped                               False
conslogin       enable             System Console Login                              False
cpuguard        enable             CPU Guard                                         True
dedicated       true               Partition is dedicated                            False
enhanced_RBAC   true               Enhanced RBAC Mode                                True
ent_capacity    8.00               Entitled processor capacity                       False
frequency       2128000000         System Bus Frequency                              False
fullcore        false              Enable full CORE dump                             True
fwversion       IBM,EM350_107      Firmware version and revision levels              False
ghostdev        0                  Recreate devices in ODM on system change          True
id_to_partition 0X800013819CE00001 Partition ID                                      False
id_to_system    0X800013819CE00000 System ID                                         False
iostat          false              Continuously maintain DISK I/O history            True
keylock         normal             State of system keylock at boot time              False
log_pg_dealloc  true               Log predictive memory page deallocation events    True
max_capacity    16.00              Maximum potential processor capacity              False
max_logname     9                  Maximum login name length at boot time            True
maxbuf          20                 Maximum number of pages in block I/O BUFFER CACHE True
maxmbuf         0                  Maximum Kbytes of real memory allowed for MBUFS   True
maxpout         8193               HIGH water mark for pending write I/Os per file   True
maxuproc        4096               Maximum number of PROCESSES allowed per user      True
min_capacity    1.00               Minimum potential processor capacity              False
minpout         4096               LOW water mark for pending write I/Os per file    True
modelname       IBM,9117-MMA       Machine name                                      False
ncargs          256                ARG/ENV list size in 4K byte blocks               True
nfs4_acl_compat secure             NFS4 ACL Compatibility Mode                       True
pre430core      false              Use pre-430 style CORE dump                       True
pre520tune      disable            Pre-520 tuning compatibility mode                 True
realmem         94896128           Amount of usable physical memory in Kbytes        False
rtasversion     1                  Open Firmware RTAS version                        False
sed_config      select             Stack Execution Disable (SED) Mode                True
systemid        IBM,0206C6EA6      Hardware system identifier                        False
variable_weight 0                  Variable processor capacity weight                False

whiterain

RESOURCE_NAME                  CURRENT_UTILIZATION MAX_UTILIZATION INITIAL_ALLOCATION   LIMIT_VALUE
------------------------------ ------------------- --------------- -------------------- --------------------
processes                                     1108            2891       4096                 4096
sessions                                      1114            4511       4511                 4511
enqueue_locks                                   64            2849      54162                54162
enqueue_resources                               72             570      20068            UNLIMITED
ges_procs                                        0               0          0                    0
ges_ress                                         0               0          0            UNLIMITED
ges_locks                                        0               0          0            UNLIMITED
ges_cache_ress                                   0               0          0            UNLIMITED
ges_reg_msgs                                     0               0          0            UNLIMITED
ges_big_msgs                                     0               0          0            UNLIMITED
ges_rsv_msgs                                     0               0          0                    0

RESOURCE_NAME                  CURRENT_UTILIZATION MAX_UTILIZATION INITIAL_ALLOCATION   LIMIT_VALUE
------------------------------ ------------------- --------------- -------------------- --------------------
gcs_resources                                    0               0          0                    0
gcs_shadows                                      0               0          0                    0
dml_locks                                        8           10906      19848            UNLIMITED
temporary_table_locks                            0               8  UNLIMITED            UNLIMITED
transactions                                     5            4485       4962            UNLIMITED
branches                                         0               7       4962            UNLIMITED
cmtcallbk                                        0               2       4962            UNLIMITED
sort_segment_locks                             822            1161  UNLIMITED            UNLIMITED
max_rollback_segments                         2713            2713       4962                65535
max_shared_servers                               1               1  UNLIMITED            UNLIMITED
parallel_max_servers                             0               8        320                 3600

whiterain

oracle@EDBSRM02:/home/oracle>ulimit -a
time(seconds)        unlimited
file(blocks)         unlimited
data(kbytes)         unlimited
stack(kbytes)        4194304
memory(kbytes)       unlimited
coredump(blocks)     unlimited
nofiles(descriptors) unlimited
threads(per process) unlimited
processes(per user)  unlimited
oracle@EDBSRM02:/home/oracle>

Maclean Liu(刘相兵

sessions                                      1114            4511       4511                 4511

sessions的MAX_UTILIZATION 到过上线

whiterain

明白了。谢谢l

whiterain

刘大，能看出来是哪个时间点出现顶到4511这个值的吗？

whiterain

另外： 数据库每天都有备份归档日志的job，备份归档日志有没有可能导致session数暴增这种情况？

Maclean Liu(刘相兵

我建议你查查listener.log更有希望一点

Mille

加大 maxuproc  

whiterain

和GCS通过电话，gcs的哥们认为，如果是session到了上线，应该报告 ora 0020的错误。不应该报告status 12的错误。

Maclean Liu(刘相兵

session 上线该包ORA-18 ,processes上线ORA-20

但session达到上线肯定是非正常的现象， 并不能说没有出现ORA-18/ORA-20就 不是这里出了问题。

大量连接涌入会消耗PGA ，可能导致 可执行文件或匿名块被换出等问题


所以我还是建议你 诊断 到底为什么来了这么多连接

whiterain

Sun Jul 28 13:20:09 GMT+08:00 2013Errors in file /oracle/admin/EDB02/bdump/edb02_ora_38339162.trc:
ORA-00018: maximum number of sessions exceeded
Sun Jul 28 13:20:09 GMT+08:00 2013Process m000 died, see its trace file
Sun Jul 28 13:20:10 GMT+08:00 2013ksvcreate: Process(m000) creation failed
Sun Jul 28 13:20:36 GMT+08:00 2013Errors in file /oracle/admin/EDB02/bdump/edb02_smon_4981636.trc:
ORA-00018: maximum number of sessions exceeded

在 Jul 28 由于负载均衡故障导致的。

Maclean Liu(刘相兵

假定 确实是由于7-28导致的sessions上线，

进一步分析我们需要如下数据：

AWR、ADDM 问题时段或者附近的

nmon或者osw的数据

whiterain

awr数据。

Maclean Liu(刘相兵

Event        Waits        Time(s)        Avg Wait(ms)        % Total Call Time        Wait Class
log file sync         305,235         6,418         21         42.8        Commit
RMAN backup & recovery I/O         3,383         3,035         897         20.2        System I/O
Backup: sbtwrite2         402,540         2,385         6         15.9        Administrative
Backup: sbtbackup         4         1,780         444,919         11.9        Administrative


有磁带备份 ，


physical read total IO requests        649,660        154.03        2.53
physical read total bytes        1.7E+11        39,434,315.86        648,695.86

physical write total IO requests        700,799        166.15        2.73
physical write total bytes        15,946,042,880        3,780,693.54        62,192.54

iOPS 大约 300 , 吞吐量 41MB/S ; OS 线程启动 平均917ms 极慢

os thread startup        419        94        384        917        0.00


OS_CPU_WAIT_TIME        713,100

VM_IN_BYTES        8,486,592,512
VM_OUT_BYTES        59,946,004,480                 55g的swap out


你是否能 汇总一下问题 几个时段的 VM_OUT_BYTES？

RMAN backup & recovery I/O 897 平时有这么慢吗？

这一天做的是全备份吗？ 备份量多少

whiterain

备份归档日志，大概100G左右。

Stone

根据数据库的alert.log报错,这个报警最早发生在：03:50：14。另外根据trace文件可以看出，类似的问题在2013-01-07也发生过。

1. Thu Aug 01 03:50:14 GMT+08:00 2013Process startup failed, error stack:
   
2. Thu Aug 01 03:50:14 GMT+08:00 2013Errors in file /oracle/admin/EDB02/bdump/edb02_psp0_3801416.trc:
   
3. ORA-27300: OS system dependent operation:fork failed with status: 12
   
4. ORA-27301: OS failure message: Not enough space
   
5. ORA-27302: failure occurred at: skgpspawn3
   
6. Thu Aug 01 03:50:15 GMT+08:00 2013Process J000 died, see its trace file
   
7. Thu Aug 01 03:50:15 GMT+08:00 2013kkjcre1p: unable to spawn jobq slave process
   
8. Thu Aug 01 03:50:15 GMT+08:00 2013Errors in file /oracle/admin/EDB02/bdump/edb02_cjq0_5505910.trc:

复制代码

1. *** 2013-01-07 03:05:00.504
   
2. Process startup failed, error stack:
   
3. ORA-27300: OS system dependent operation:fork failed with status: 11
   
4. ORA-27301: OS failure message: Resource temporarily unavailable
   
5. ORA-27302: failure occurred at: skgpspawn3

复制代码

关于VCS log监控的数据不太清楚是否准确。

建议对2013-08-01 03：50左右的操作系统log做详细检查，看看有没有什么系统资源不够方面的线索。

Suggestion:

Check the OS message log file to verify any memory/swap related message logged at the time of error.

另外可以参考“Troubleshooting ORA-27300 ORA-27301 ORA-27302 errors (Doc ID 579365.1)”

When system resources are overloaded, an intermittent failure to create a socket can cause new processes to fail to start with above errors.

STATUS 12 - ENOMEM Not enough core / memory
During an exec or a break, the program asked for more memory than the one available by the system. This error also occurs when there are too many segmentation registers which are required for the arrangement of text data or stack segments.
ORA-27300: OS system dependent operation:fork failed with status: 12
ORA-27301: OS failure message: Not enough space
ORA-27302: failure occurred at: skgpspawn3

Good luck.

whiterain

我确定还是os有了问题了。目前正在排查。