5 积分	0 好友	6 主题

发消息

[升级] RAC数据库，2节点宕机，1节点夯

1^#

发表于 2013-11-11 17:08:05 | 查看: 4424| 回复: 8

数据库版本 10.2.0.4
操作系统 AIX 6.1

11月8日早上10：40，用户反映业务办理缓慢，1节点主机已经无法登陆，内存耗尽。2节点服务器可登陆，用户手工kill掉所有LOCAL进程。后发现2节点数据库宕掉。启动2节点实例，运行正常。

1号实例持续夯。重启主机后恢复正常。

查看alert日志，1节点的日志报错在前，从10：33开始反复出现如下报错
Fri Nov 8 10:33:23 2013
PMON failed to acquire latch, see PMON dump
--查到可能为Bug 7039896，但经查该系统已打Patch 9119284，该补丁包中包含7039896，已修复

1节点发现大量latch等待，想分析故障原因，请各位支支招。日志和awr见附件

谢谢

alert_cdld1.zip (718.13 KB, 下载次数: 820)

alert_cdld2.zip (579.35 KB, 下载次数: 859)

awrrpt_1_63828_63829.zip (80.48 KB, 下载次数: 900)

分享0

收藏0 回复只看该作者道具举报

Maclean Liu(刘相兵

2^#

发表于 2013-11-12 00:01:57

由于你提到内存耗尽，所以我建议你先诊断为什么内存会耗尽

先给出你观察到内存耗尽的现象

回复只看该作者道具举报

s_chrison

3^#

发表于 2013-11-12 09:33:56

故障时段我没有在现场，用户的描述是1节点主机无法登陆，没有响应。等很长时间登陆后，执行的操作都出不来。

嗯，我先找主机的看下那天的主机资源消耗情况，或许不是内存耗尽。

回复只看该作者道具举报

renjixinchina

4^#

发表于 2013-11-12 11:30:27

UPDATE ad53a5 SET yae361 = null, yae362 = null, yae363 = null WHERE yae092 = :1

INSERT INTO ae09 ( aae217, yae041, yab109, yae093, aae206, aae213, aae214, aae215, aae216, aae211, aae013, aac003, aae218, yab110, yae043) VALUES ( :1, :2, :3, :4, :5, :6, :7, :8, :9, :10, :11, :12, :13, :14, :15)

这个两个是正常业务吗

回复只看该作者道具举报

klby

5^#

发表于 2013-11-12 19:34:20

故障点有无异常操作？

回复只看该作者道具举报

s_chrison

6^#

发表于 2013-11-14 16:54:49

renjixinchina 发表于 2013-11-12 11:30
UPDATE ad53a5 SET yae361 = null, yae362 = null, yae363 = null WHERE yae092 = :1

INSERT INTO ae09 ( ...

cdsi2用户的sql都属于业务sql，这2个语句有什么问题吗？

回复只看该作者道具举报

s_chrison

7^#

发表于 2013-11-14 17:01:58

提取了故障时间段1节点主机的cpu，内存使用情况，发现10：21到10：22的1分钟时间，内存减少了10g。
提取该时间段的ash报告，信息均为No data exists for this section of the report.

10：20 - 10：21的ash信息也是空的，这正常吗？
再往前10：19 - 10：20的ash报告见附件

log.zip (71.04 KB, 下载次数: 758)

回复只看该作者道具举报

warmbreeze

8^#

发表于 2013-11-14 20:02:53

内存被谁消耗了？

回复只看该作者道具举报

iloracle

9^#

发表于 2013-11-15 15:59:02

数据库主机上有其他应用在跑的么？

回复只看该作者道具举报

返回列表

		自动登录	找回密码
密码			注册