saup007 发表于 2014-9-15 11:43:01

昨天数据库hang住了-Process m000 died, see its trace file

时间线:按报警邮件时间先后顺序

2014-09-14 08:37 -- 邮件报警,有阻塞,这个大概找到,远程mysql 机器上crontab操作,merge到oracle,可能上一个crontab没有完成,下一次又调度了, 导致merge相同行,导致阻塞

2014-09-14 08:53 -- 上次是3个阻塞,现在是4个session

2014-09-14 09:09 -- 4个session阻塞

2014-09-14 09:41 -- 报alert日志有错

2014-09-14 09:44 -- 不能新连接数据库了

cannot connect to db_bi. ORA-01034: ORACLE not available
ORA-27102: out of memory Linux-x86_64 Error: 12: Cannot allocate memory Additional information: 1 Additional information: 7340039 (DBD ERROR: OCISessionBegin)

----

因为周末嘛,重启数据库正常了。

saup007 发表于 2014-9-15 11:48:44

结果可能是「Database hangs With Message 'Ksvcreate: Process(M001) Creation Failed' (文档 ID 1233079.1)」

PMON处理die进程,PMON被阻塞,导致数据库hang住,最后挂了。

但什么原因导致die的进程呢?

harryzhang 发表于 2014-9-15 16:40:29

内存耗尽??


OS pid = 28947
loadavg : 3.41 4.19 4.45
memory info: free memory = 0.00M
swap info:   free = 0.00M alloc = 0.00M total = 0.00M
F S UID        PID  PPID  C PRI  NI ADDR SZ WCHAN  STIME TTY          TIME CMD
0 S oracle   28947     1  0  78   0 - 37274 semtim 09:40 ?        00:00:00 ora_cjq0_BISTD3

saup007 发表于 2014-9-16 17:21:17

harryzhang 发表于 2014-9-15 16:40 static/image/common/back.gif
内存耗尽??




从这里看,的确是内存耗尽。

原来12G内存,刚升96G内存没多久。而且也使用huge page memory了。

harryzhang 发表于 2014-9-18 14:16:25

部署OSW          ,
页: [1]
查看完整版本: 昨天数据库hang住了-Process m000 died, see its trace file