地市数据库发生大量的latch free 和 library cache latch 导致系统...

baolei

地市数据库发生大量的latch free 和 library cache latch 导致系统...

已上传故障时间awr：

baolei

PMON trace

baolei

其中：
Top 5 Timed Events

Event Waits Time(s) Avg Wait(ms) % Total Call Time Wait Class
latch free 3,447,742 976,595 283 114.3 Other
latch: library cache 1,793,091 525,062 293 61.5 Concurrency
latch: shared pool 641,676 185,892 290 21.8 Concurrency
latch: session allocation 514,471 150,578 293 17.6 Other
db file scattered read 582,742 13,670 23 1.6 User I/O

latch free 集中在： latch cost function ， 而 share pool latch 集中在 kghalo 而library cache latch 集中在 kgldte: child 0 ，发生故障期间 dbtime 大量消耗在 ：


connection management call elapsed time 619,966.03 72.58
sql execute elapsed time 136,423.88 15.97
parse time elapsed 77,184.91 9.04
hard parse elapsed time 23,430.18 2.74
DB CPU 11,147.13 1.31
PL/SQL execution elapsed time 4,969.79 0.58
failed parse elapsed time 3,750.51 0.44
sequence load elapsed time 315.66 0.04
PL/SQL compilation elapsed time 182.62 0.02
hard parse (sharing criteria) elapsed time 24.86 0.00
hard parse (bind mismatch) elapsed time 24.40 0.00
repeated bind elapsed time 0.02 0.00
DB time 854,130.27   
background elapsed time 29,279.97   
background cpu time 116.07

warmbreeze

从"Resource Limit Stats"看，有大量连接，接近上限

请压缩上传附件

baolei

warmbreeze 发表于 2013-9-17 16:06
从"Resource Limit Stats"看，有大量连接，接近上限

请压缩上传附件

pmon 的trace 吗，我把alert 也穿下

baolei

    pmon trace

baolei

alert日志

djmilo

没发现日志切换过于频繁了么？
这个实例名字起的很有初学者测试机的意味orcl,日志大小还是512M的。
建议先增大日志文件大小，半小时切一次日志。再增加两个日志组。

baolei

djmilo 发表于 2013-9-17 20:20
没发现日志切换过于频繁了么？
这个实例名字起的很有初学者测试机的意味orcl,日志大小还是512M的。
建议先 ...

和dbname 没啥关系吧。。。

Liu Maclean(刘相兵

Event        Waits        Time(s)        Avg Wait(ms)        % Total Call Time        Wait Class
latch free         3,447,742         976,595         283         114.3        Other
latch: library cache         1,793,091         525,062         293         61.5        Concurrency
latch: shared pool         641,676         185,892         290         21.8        Concurrency
latch: session allocation         514,471         150,578         293         17.6        Other
db file scattered read         582,742         13,670         23         1.6        User I/O


Statistic Name        Time (s)        % of DB Time
connection management call elapsed time        619,966.03        72.58
sql execute elapsed time        136,423.88        15.97
parse time elapsed        77,184.91        9.04



Elapsed Time (s)        CPU Time (s)        Executions        Elap per Exec (s)        % Total DB Time         SQL Id        SQL Module        SQL Text
9,698        234        1        9697.73        1.14        f7j4rubxmnwtp                 create table ry_a_20680_xxt_cr...


当时有执行

create table ry_a_20680_xxt_crm as select /*+parallel(a, 3) parallel(b, 3) use_hash(a, b)*/ a.subsid, wm_concat(b.prodname) prodname, sum(b.prodvalue) payment from ry_a_20680_xxt_user a, ry_a_20680_xxt_prod b where a.prodid = b.prodid group by a.subsid

Liu Maclean(刘相兵

PGA Aggr Target Stats
B: Begin snap E: End snap (rows dentified with B or E contain data which is absolute i.e. not diffed over the interval)
Auto PGA Target - actual workarea memory target
W/A PGA Used - amount of memory used for all Workareas (manual + auto)
%PGA W/A Mem - percentage of PGA memory allocated to workareas
%Auto W/A Mem - percentage of workarea memory controlled by Auto Mem Mgmt
%Man W/A Mem - percentage of workarea memory under manual control
PGA Aggr Target(M)        Auto PGA Target(M)        PGA Mem Alloc(M)        W/A PGA Used(M)        %PGA W/A Mem        %Auto W/A Mem        %Man W/A Mem        Global Mem Bound(K)
B        8,192        7,128        5,480.25        2,079.61        37.95        100.00        0.00        838,860
E        8,192        7,152        821.65        320.09        38.96        99.92        0.08        838,860



物理内存 PHYSICAL_MEMORY_BYTES        65,766,686,720  61g

sga 32212254720  30g
pga  浮动 5,480.25 ~ 821.65M

我觉得这个问题要从 OSW 、NMON数据入手

baolei

Liu Maclean(刘相兵 发表于 2013-9-21 19:53
PGA Aggr Target Stats
B: Begin snap E: End snap (rows dentified with B or E contain data which is ab ...

pga 在故障时间使用了5个多G，确实浮动很多，在故障时间会有大量消耗pga语句进行

Minsic

connection management call elapsed time占了70%多的dbtime，但是平均的每秒logons只有0.58，这个报告的跨度是不是太大了点？

Liu Maclean(刘相兵

Minsic 发表于 2013-9-22 13:32
connection management call elapsed time占了70%多的dbtime，但是平均的每秒logons只有0.58，这个报告的跨 ...

这只说明 登录 频率正常， 但是登录很卡 几乎是HANG， 所以我的思路 是从OS角度找一些数据