昨天数据库hang住了-Process m000 died, see its trace file

saup007

时间线：按报警邮件时间先后顺序

2014-09-14 08:37 -- 邮件报警，有阻塞，这个大概找到，远程mysql 机器上crontab操作，merge到oracle，可能上一个crontab没有完成，下一次又调度了， 导致merge相同行，导致阻塞

2014-09-14 08:53 -- 上次是3个阻塞，现在是4个session

2014-09-14 09:09 -- 4个session阻塞

2014-09-14 09:41 -- 报alert日志有错

2014-09-14 09:44 -- 不能新连接数据库了

cannot connect to db_bi. ORA-01034: ORACLE not available
ORA-27102: out of memory Linux-x86_64 Error: 12: Cannot allocate memory Additional information: 1 Additional information: 7340039 (DBD ERROR: OCISessionBegin)

----

因为周末嘛，重启数据库正常了。

harryzhang

部署OSW          ，

saup007

harryzhang 发表于 2014-9-15 16:40
内存耗尽？？

从这里看，的确是内存耗尽。

原来12G内存，刚升96G内存没多久。而且也使用huge page memory了。

harryzhang

内存耗尽？？


OS pid = 28947
loadavg : 3.41 4.19 4.45
memory info: free memory = 0.00M
swap info:   free = 0.00M alloc = 0.00M total = 0.00M
F S UID        PID  PPID  C PRI  NI ADDR SZ WCHAN  STIME TTY          TIME CMD
0 S oracle   28947     1  0  78   0 - 37274 semtim 09:40 ?        00:00:00 ora_cjq0_BISTD3

saup007

结果可能是「Database hangs With Message 'Ksvcreate: Process(M001) Creation Failed' (文档 ID 1233079.1)」

PMON处理die进程，PMON被阻塞，导致数据库hang住，最后挂了。

但什么原因导致die的进程呢？