ora-04030 kxs-heap-w,control file i/o buffer

bryan_zhy

数据库从4月25日一直报ora-04030   大侠们帮忙看看！

Errors in file /u01/app/oracle/diag/rdbms/hjyddb/HJYDDB1/trace/HJYDDB1_ora_66257120.trc  (incident=941120):
ORA-04030: out of process memory when trying to allocate 86040 bytes (kxs-heap-w,control file i/o buffer)
Incident details in: /u01/app/oracle/diag/rdbms/hjyddb/HJYDDB1/incident/incdir_941120/HJYDDB1_ora_66257120_i941120.trc

数据库版本
--------------------------------------------------------------------------------
Oracle Database 11g Enterprise Edition Release 11.1.0.7.0 - 64bit Production
PL/SQL Release 11.1.0.7.0 - Production
CORE    11.1.0.7.0      Production
TNS for IBM/AIX RISC System/6000: Version 11.1.0.7.0 - Production
NLSRTL Version 11.1.0.7.0 - Production

root@corerac1 # oslevel -r
6100-05
节点1：
NAME
----------------------------------------------------------------
    Total Memory
----------------
Maximum SGA Size
          37,719

total PGA allocated
           1,287
Name                                            Total Units
---------------------------------------- ------------ ----------
aggregate PGA target parameter                 24,576 MBytes
aggregate PGA auto target                      21,358 MBytes
global memory bound                             1,024 MBytes
total PGA inuse                                   879 MBytes
total PGA allocated                             1,287 MBytes
maximum PGA allocated                           6,007 MBytes
total freeable PGA memory                         102 MBytes
process count                                     254
max processes count                               605
PGA memory freed back to OS                   997,854 MBytes
total PGA used for auto workareas                  35 MBytes
maximum PGA used for auto workareas             1,154 MBytes
total PGA used for manual workareas                 0 MBytes
maximum PGA used for manual workareas               0 MBytes
over allocation count                               0
bytes processed                             2,202,455 MBytes
extra bytes read/written                        1,667 MBytes
cache hit percentage                              100 percent
recompute count (total)                     2,067,006

NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
hi_shared_memory_address             integer     0
memory_max_target                    big integer 37G
memory_target                        big integer 37G
shared_memory_address                integer     0

oracle@corerac1 $ ulimit -a
time(seconds)        unlimited
file(blocks)         unlimited
data(kbytes)         unlimited
stack(kbytes)        4194304
memory(kbytes)       unlimited
coredump(blocks)     unlimited
nofiles(descriptors) 2000
threads(per process) unlimited
processes(per user)  unlimited
oracle@corerac1 $ svmon -O unit=MB
Unit: MB
--------------------------------------------------------------------------------------
               size       inuse        free         pin     virtual  available   mmode
memory     62976.00    40742.17    22233.83    10499.40    35144.31   25623.53     Ded
pg space   32768.00      127.92

               work        pers        clnt       other
pin         8680.66           0        0.55     1818.19
in use     35144.31           0     5597.86
oracle@corerac1 $ topas

Topas Monitor for host:    corerac1             EVENTS/QUEUES    FILE/TTY
Fri May 17 16:54:47 2013   Interval:  2         Cswitch    7874  Readch  2363.4K
                                                Syscall  106.4K  Writech  158.2K
CPU  User%  Kern%  Wait%  Idle%                 Reads       855  Rawin         0
ALL    1.7    1.2    0.0   97.1                 Writes       97  Ttyout      289
                                                Forks        29  Igets         0
Network  KBPS   I-Pack  O-Pack   KB-In  KB-Out  Execs        27  Namei      1258
Total    29.5     56.3    54.8    14.3    15.2  Runqueue    0.5  Dirblk        0
                                                Waitqueue   0.0
Disk    Busy%     KBPS     TPS KB-Read KB-Writ                   MEMORY
Total     8.0    209.3    23.0    96.7   112.6  PAGING           Real,MB   62976
                                                Faults     9403  % Comp     56
FileSystem        KBPS     TPS KB-Read KB-Writ  Steals        0  % Noncomp   8
Total              2.1K  748.9    2.1K   2.2    PgspIn        0  % Client    8
                                                PgspOut       0
Name            PID  CPU%  PgSp Owner           PageIn        0  PAGING SPACE
crsd.bin    2883888   0.4 102.1 root            PageOut       0  Size,MB   32768
ocssd.bi    5767562   0.1 221.3 oracle          Sios          0  % Used      0
oracle      3998240   0.1  35.3 oracle                           % Free    100
oracle      6291598   0.0  18.3 oracle          NFS (calls/sec)
sh          3473594   0.0   0.6 root            SerV2         0  WPAR Activ    0
topas      56754640   0.0   6.1 oracle          CliV2         0  WPAR Total    0
oracle     62849336   0.0  21.5 oracle          SerV3         0  Press: "h"-help
gil         1835100   0.0   0.9 root            CliV3         0         "q"-quit
oracle      5571010   0.0  17.5 oracle
oracle      6291886   0.0  21.6 oracle
oracle     16318672   0.0  58.8 oracle
oracle      2556608   0.0  27.6 oracle
oracle      2622170   0.0  15.5 oracle
oracle      4980834   0.0  21.8 oracle
Exiting

node2：
NAME
----------------------------------------------------------------
    Total Memory
----------------
Maximum SGA Size
          37,719

total PGA allocated
           1,358
Name                                            Total Units
---------------------------------------- ------------ ----------
aggregate PGA target parameter                 24,832 MBytes
aggregate PGA auto target                      21,555 MBytes
global memory bound                             1,024 MBytes
total PGA inuse                                   923 MBytes
total PGA allocated                             1,359 MBytes
maximum PGA allocated                           7,675 MBytes
total freeable PGA memory                         131 MBytes
process count                                     275
max processes count                               592
PGA memory freed back to OS                 1,793,876 MBytes
total PGA used for auto workareas                  42 MBytes
maximum PGA used for auto workareas             4,451 MBytes
total PGA used for manual workareas                 0 MBytes
maximum PGA used for manual workareas               0 MBytes
over allocation count                               0
bytes processed                             3,892,483 MBytes
extra bytes read/written                        8,349 MBytes
cache hit percentage                              100 percent
recompute count (total)                     2,067,296

NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
hi_shared_memory_address             integer     0
memory_max_target                    big integer 37G
memory_target                        big integer 37G
shared_memory_address                integer     0

pga_aggregate_target
Target size for the aggregate PGA memory consumed by the instance
         0
_pga_max_size
Maximum size of the PGA memory for one process
      2048

_smm_max_size
maximum work area size in auto mode (serial)
      1024

_smm_px_max_size
maximum work area size in auto mode (global)

     12416