i/o slave wait 进程hang

dbapub

数据库版本：10.2.0.5 rac
操作系统版本：Centos 5.6-64
最近看到cpu负载一直比较高，但是还是在可以接受范围之类就没有管他，今天仔细看了一下，发现有点小问题。
1、查到等待事件

1. select gs.inst_id,
   
2.        gs.SID,
   
3.        gs.SERIAL#,
   
4.        gs.STATUS,
   
5.        gs.EVENT,
   
6.        gs.WAIT_CLASS,
   
7.        gs.WAIT_TIME,
   
8.        gs.SECONDS_IN_WAIT,
   
9.        p.spid,
   
10.        gs.logon_time
    
11.   from gv$session gs,gv$process p
    
12. where gs.PROGRAM = 'JDBC Thin Client'
    
13.     and gs.paddr=p.ADDR  
    
14. 
    
15. 
    
16. 54    1    2812    8948    ACTIVE    i/o slave wait    Idle    0    150732    24702    2013/2/16 17:11:56
    
17. 27    1    2520    23283    ACTIVE    i/o slave wait    Idle    0    150749    11460    2013/2/16 16:39:30
    
18. 84    2    2644    48472    ACTIVE    i/o slave wait    Idle    0    151848    13079    2013/2/16 17:11:56
    
19. 170    1    3185    37615    ACTIVE    i/o slave wait    Idle    0    153207    14609    2013/2/16 16:47:47
    
20. 218    1    2483    58983    ACTIVE    i/o slave wait    Idle    0    153411    14615    2013/2/16 16:47:47
    
21. 217    1    3133    4490    ACTIVE    i/o slave wait    Idle    0    158719    11666    2013/2/16 15:19:21
    
22. 274    2    2900    28564    ACTIVE    i/o slave wait    Idle    0    160341    21858    2013/2/16 14:51:56
    
23. 277    2    2449    2210    ACTIVE    i/o slave wait    Idle    0    160350    21870    2013/2/16 14:51:56
    
24. 275    2    3221    59688    ACTIVE    i/o slave wait    Idle    0    160363    21866    2013/2/16 14:51:56
    
25. 276    2    2316    1085    ACTIVE    i/o slave wait    Idle    0    160368    21864    2013/2/16 14:51:56
    
26. 254    2    2367    42898    ACTIVE    i/o slave wait    Idle    0    171143    14128    2013/2/16 11:51:50

复制代码

2、去os中查看进程

1. top - 11:28:40 up 237 days, 20:47,  2 users,  load average: 9.60, 9.76, 9.85
   
2. Tasks: 581 total,  12 running, 569 sleeping,   0 stopped,   0 zombie
   
3. Cpu(s):  4.1%us,  0.2%sy,  0.0%ni, 95.7%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
   
4. Mem:  32949076k total, 24530260k used,  8418816k free,   224552k buffers
   
5. Swap: 34996216k total,   615176k used, 34381040k free, 18274364k cached
   
6. 
   
7.   PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
   
8. 14615 oracle    25   0 10.1g  43m  38m R 101.5  0.1   2559:01 oracle
   
9. 11460 oracle    25   0 10.2g 679m 672m R 99.5  2.1   2515:12 oracle
   
10. 11666 oracle    25   0 10.1g  51m  46m R 99.5  0.2   2647:28 oracle
    
11. 14609 oracle    25   0 10.1g  97m  92m R 99.5  0.3   2555:45 oracle
    
12. 24702 oracle    25   0 10.1g 672m 665m R 99.5  2.1   2514:26 oracle
    
13. 9706 oracle    15   0 10.1g 1.6g 1.6g S 33.2  5.1   4:37.04 oracle
    
14. 13800 oracle    16   0 10.1g 1.4g 1.4g R 33.2  4.4   6:46.91 oracle
    
15. 18398 oracle    15   0 10.1g 1.9g 1.9g R 31.2  6.1   8:31.29 oracle
    
16. 8912 oracle    15   0 10.1g 1.8g 1.8g S 29.3  5.8  10:17.09 oracle
    
17. 9365 oracle    15   0 10.1g 1.4g 1.4g S 29.3  4.5   7:58.01 oracle

复制代码

3、做了一个hanganalyze
Open chains found:
Chain 1 : <cnode/sidss_srno/proc_ptr/ospid/wait_event> :
    <0/2709/10909/0xdf6157a0/5054/i/o slave wait>
-- <0/3259/11799/0xdf64c430/30282/read by other session>
-- <0/3285/1/0xdf610fe8/1625/row cache lock>
Other chains found:
Chain 2 : <cnode/sidss_srno/proc_ptr/ospid/wait_event> :，
版主大哥，帮我看看的啊

Maclean Liu(刘相兵

做一个问题时段的AWR+ADDM发上来

dbapub

数据库信息

Maclean Liu(刘相兵

做一个systemstate dump 并上传


oradebug setmypid
oradebug unlimit;
oradebug dump systemstate 266;

等2分钟

oradebug dump systemstate 266;

oradebug tracefile_name;


把生成的TRACE打包上传

dbapub

请看附件

Maclean Liu(刘相兵

su  - root
sysctl -p

查一下并给出结果

dbapub

[root@scrac1 ~]# sysctl -p
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
fs.file-max = 65536
net.ipv4.ip_local_port_range = 1024 65000
net.core.rmem_default = 1048576
net.core.rmem_max = 1048576
net.core.wmem_default = 262144
net.core.wmem_max = 262144

Maclean Liu(刘相兵

fs.aio-max-nr ==> 推荐的 aio 上限为fs.aio-max-nr = 3145728
fs.file-max = 6815744  推荐的file-max

看你的sysctl -p  ， 应当是没有按照 最佳实践去安装数据库

http://www.askmaclean.com/archiv ... configurations.html


WARNING:io_submit failed due to kernel limitations MAXAIO for process=0 pending aio=0
WARNING:asynch I/O kernel limits is set at AIO-MAX-NR=65536 AIO-NR=65530
WARNING:1 Oracle process running out of OS kernelI/O resources aiolimit=0
ksfdgo()+1488<-ksfdaio1()+9848<-kfkUfsIO()+594<-kfkDoIO()+631<-kfkIOPriv()+616<-kfdIOPriv()+95<-kfioSubmitIO()+503<-kfioRequestPriv()+166<-kfioRequest()+689<-ksfd_osmgo
()+1286<-ksfdgo()+1488<-ksfdaio1()+9848<-kcflbi()+498<-kcbldio()+1897<-kcblrs()+357<-kcblrd()+154
<-kcblgt()+1215<-kcbldrget()+218<-kcbgtcr()+25990<-kdlrdb()+146<-kdlprl()+447<-kdl_read1()+2749<-koklOutlineRead()+427<-koklread()+329<-kpolob()+740<-opiodr()+1184<-ttc
pip()+1226<-opitsk()+1310<-opiino()+1024<-opiodr()+1184<-opidrv()+548<-sou2o()+114<-opimai_real()+163
<-main()+116<-__libc_start_main()+244<-_start()+41

dbapub

请问一下，你这推荐值通用吗？针对我这个操作系统的版本可以用吗？刚才看了你给我的网页，这个好像是根据不同的操作系统和配置来推荐的一个值

Maclean Liu(刘相兵

你这推荐值通用吗？==》非常通用，这可以说是 安装的基本常识了

dbapub

itpub上面已删除，当时没想那么多，你不是oracle公司的吗，肯定权威了，就是给那里的版主一个最终的结论。

dbapub

我现在的系统是异步io已经生效了，如果要修改异步io，要注意哪些呢？比如是否要重启数据库

dbapub

谢谢刘老大，改完以后效果非常明显！！！！