RAID卡电池故障导致数据库性能下降

godspeed

早上发现一个业务系统的数据库服务器性能很低，严重影响了用户操作感受。
将8月30日早上10点到11点的AWR与今天（9月3日）早上10点到11点的AWR做了对比（附件中有这两份AWR报告）。
针对“BEGIN proc_locationinfo ...”这样的语句：
发现在8月30日，执行了2万多次，才用了33秒。但是在9月3日，执行了1万6千多次，却用了129,280秒。
其他的地方没看出太大的问题。
感觉与之前遇到的RAID卡电池故障情况类似，联系服务器厂商（DELL），检查RAID卡日志，结果发现：
09/01/13 19:09:49: EVT#07269-09/01/13 19:09:49: 195=BBU disabled; changing WB virtual disks to WT
RAID卡写入缓存的策略从WriteBack（WB）变为WriteThrough（WT）了，BBU变成disabled，估计是电池的问题。赶紧找厂商售后解决。

Maclean Liu(刘相兵

8-30
Physical reads:         36.9         3.4                  
Physical writes:         65.9         6.1                  

physical read total IO requests        27,247        7.56        0.70
physical read total bytes        1,183,864,320        328,456.05        30,364.06

physical write total IO requests        54,678        15.17        1.40
physical write total bytes        2,066,094,592        573,225.54        52,991.73

Function Name        Reads: Data        Reqs per sec        Data per sec        Writes: Data        Reqs per sec        Data per sec        Waits: Count        Avg Tm(ms)
Direct Reads        891M        1.28        .247202        794M        1.34        .220290        4611        0.00
Direct Writes        0M        0.00        0M        983M        1.44        .272727        10K        0.28
Others        91M        1.08        .025247        73M        0.78        .020253        6705        0.02
Buffer Cache Reads        146M        5.11        .040506        0M        0.00        0M        18.4K        0.01
DBWR        0M        0.00        0M        79M        2.08        .021918        7499        0.02
LGWR        0M        0.00        0M        42M        9.52        .011652        68.5K        0.02
TOTAL:        1.1G        7.47        .312956        1.9G        15.17        .546842        115.8K        0.04



8月30 物理 IOPS 约 20  ， 吞吐量 800k/s ， delay 小于1ms

Maclean Liu(刘相兵

9-3

Physical reads:         529.5         73.1                  
Physical writes:         350.8         48.4                  

physical read total IO requests        1,650,088        462.89        63.90
physical read total bytes        38,872,964,096        10,904,892.32        1,505,420.34

physical write total IO requests        797,243        223.65        30.87
physical write total bytes        32,297,415,168        9,060,277.31        1,250,771.25

Function Name        Reads: Data        Reqs per sec        Data per sec        Writes: Data        Reqs per sec        Data per sec        Waits: Count        Avg Tm(ms)
LGWR        14.6G        267.57        4.17984        7.3G        5.76        2.09441        976.1K        2.13
Others        7.6G        5.73        2.17856        13.4G        6.11        3.84769        42.2K        14.13
Buffer Cache Reads        11.6G        191.93        3.32059        0M        0.00        0M        684.2K        0.16
DBWR        0M        0.01        0M        7.4G        211.15        2.13508        784        13414.30
Direct Reads        2.8G        2.66        .815770        982M        1.68        .275476        9503        0.93
Direct Writes        0M        0.00        0M        1.2G        1.89        .354024        12.7K        54.50
Streams AQ        0M        0.00        0M        0M        0.00        0M        13        44.31
TOTAL:        36.5G        467.89        10.4947        30.3G        226.59        8.70669        1725.5K        8.12



IOPS  685   吞吐量 19MB/s , 写出延迟极高13414.30 ms


11.2.0.3 + Linux + NON RAC + 文件系统

Maclean Liu(刘相兵

TOP SQL:

8-30
0.11        22,121        0.00        1.12        13.75        100.67        0.80        79c9nwfb1cjqq                 INSERT INTO T_LOCATION_INFO(F_...


9-3
128,009.58        16,380        7.81        61.13        0.01        0.00        79c9nwfb1cjqq                 INSERT INTO T_LOCATION_INFO(F_..



这个INSERT语句耗时大幅上升了， 这是由于 不管是datafile 还是logfile都写出困难。

Maclean Liu(刘相兵

8-30的AWR性能报告 IO较少
9-3 的AWR IOPS和吞吐量都有所上升， 且9-3 有少量换页， 建议你首先搞定 RAID BBU的问题 再进一步观察IO

godspeed

非常感谢，从这些数据上更能看出磁盘子系统存在的写入性能问题了。

不了峰

精彩～～～～～～～～～～～～