0 积分	1 好友	1 主题

发消息

[备份恢复] 主机自动重启，导致dataguard MRP进程关闭故障！

1^#

发表于 2013-5-28 17:08:05 | 查看: 5621| 回复: 6

本帖最后由我也向上于 2013-5-28 17:10 编辑

客户一套9i（9.2.0.8）的物理dg，由于主机（aix5.3）自动重启（还没有查到重启原因）导致主机所在的一套dg的mrp应用进程意外关闭，由于在外出差，还没有来得及登录主机查看相关日志，一个同事过去诊断了下，反馈给我的备库alert日志，其中出现问题时间点的关键输出为：

Media Recovery Waiting for thread 1 seq# 508951
Media Recovery Log /xxxsdby/archive/LOG508951.arc
Mon May 6 03:50:22 2013
Media Recovery Waiting for thread 1 seq# 508952
Media Recovery Log /xxxsdby/archive/LOG508952.arc
MRP0: Background Media Recovery terminated with error 1115
Mon May 6 03:51:42 2013
Errors in file /opt/oracle/admin/xxxsdby/bdump/xxxsdby_mrp0_2199634.trc:
ORA-01115: IO error reading block from file 2 (block # 61577)
ORA-01110: data file 2: '/xxxsdby/oradata/undotbs01.dbf'
ORA-27063: skgfospo: number of bytes read/written is incorrect
IBM AIX RISC System/6000 Error: 45: Deadlock condition if locked
Additional information: -1
Additional information: 8192
Recovery interrupted.
Recovered data files restored to a consistent state at change 13335547089598
MRP0: Background Media Recovery process shutdown
Wed May 15 10:30:34 2013

完整alert日志见附件，附件已经做客户隐私信息处理，不影响查看。

日志最后面200多行的输出为同事去客户现场处理的过程输出。

明天要到客户现场处理，先请教下各位，这种情况下解决的思路和方向，或者最终的处理建议！谢谢大家！

alert_xxxsdby.rar

1.14 MB, 下载次数: 1024

告警日志

分享0

收藏0 回复只看该作者道具举报

cargoo

2^#

发表于 2013-5-29 13:58:25

附件中的信息不全

回复只看该作者道具举报

我也向上

3^#

发表于 2013-5-29 14:56:13

alert及trace日志补充：见附件-最新日志.rar
目前从报错信息来看是：undo表空间存在问题。
切换undo表空间的方法不适用，因库为物理备库只能mount状态，无法在备库创建undo表空间，除非主备切换，
但这个动作风险很大，且是核心生产系统。
初步怀疑是数据文件有坏块，但不确定这种情况证明去处理才比较稳妥，不影响主库，且风险最小。

最新日志.rar

1.17 MB, 下载次数: 944

回复只看该作者道具举报

我也向上

4^#

发表于 2013-5-29 14:59:27

接着补充信息；
查看到备库有gap如下，其他状态正常。

SQL> select * from v$archive_gap;

THREAD# LOW_SEQUENCE# HIGH_SEQUENCE#
---------- ------------- --------------
1 512171 512173

回复只看该作者道具举报

Maclean Liu(刘相兵

5^#

发表于 2013-5-29 19:50:52

Errors in file /opt/oracle/admin/xxxsdby/bdump/xxxsdby_mrp0_2199634.trc:
ORA-01115: IO error reading block from file 2 (block # 61577)
ORA-01110: data file 2: '/xxxsdby/oradata/undotbs01.dbf'
ORA-27063: skgfospo: number of bytes read/written is incorrect
IBM AIX RISC System/6000 Error: 45: Deadlock condition if locked

主要是OS IO问题

回复只看该作者道具举报

我也向上

6^#

发表于 2013-5-30 09:24:13

看了一下出现问题的数据文件并没有坏块，但errpt输出日志有问题。
再附上，操作系统errpt日志及dbv undotbs01.dbf后的日志。

dbv信息：

DBVERIFY: Release 9.2.0.8.0 - Production on Wed May 29 17:55:54 2013

Copyright (c) 1982, 2002, Oracle Corporation.  All rights reserved.

DBVERIFY - Verification starting : FILE = /xxxsdby/oradata/undotbs01.dbf

DBVERIFY - Verification complete

Total Pages Examined       : 2048000
Total Pages Processed (Data) : 0
Total Pages Failing (Data) : 0
Total Pages Processed (Index): 0
Total Pages Failing (Index): 0
Total Pages Processed (Other): 2048000
Total Pages Processed (Seg)  : 0
Total Pages Failing (Seg)  : 0
Total Pages Empty          : 0
Total Pages Marked Corrupt : 0
Total Pages Influx          : 0
Highest block SCN          : 13347298767947 (3107.2835379275)

操作系统errpt日志：请查看附件：errpt报错.txt

errpt报错.txt

24.91 KB, 下载次数: 939

errpt报错

回复只看该作者道具举报

我也向上

7^#

发表于 2013-5-30 09:26:12

errpt日志中出现；

D5385D18 0526021413 T H hdisk28       ARRAY OPERATION ERROR
D5385D18 0526011113 T H hdisk28       ARRAY OPERATION ERROR
D5385D18 0526010713 T H hdisk28       ARRAY OPERATION ERROR
D5385D18 0526005113 T H hdisk28       ARRAY OPERATION ERROR
D5385D18 0525234513 T H hdisk28       ARRAY OPERATION ERROR
D5385D18 0525232313 T H hdisk28       ARRAY OPERATION ERROR
D5385D18 0525220413 T H hdisk28       ARRAY OPERATION ERROR
D5385D18 0525214513 T H hdisk28       ARRAY OPERATION ERROR
B9735AF4 0525205713 P H hdisk34       SUBSYSTEM COMPONENT FAILURE
B9735AF4 0525205713 P H hdisk33       SUBSYSTEM COMPONENT FAILURE
B9735AF4 0525205713 P H hdisk32       SUBSYSTEM COMPONENT FAILURE
B9735AF4 0525205713 P H hdisk31       SUBSYSTEM COMPONENT FAILURE
B9735AF4 0525205713 P H hdisk30       SUBSYSTEM COMPONENT FAILURE
B9735AF4 0525205713 P H hdisk29       SUBSYSTEM COMPONENT FAILURE
B9735AF4 0525205713 P H hdisk28       SUBSYSTEM COMPONENT FAILURE

D5385D18 0523212513 T H hdisk6       ARRAY OPERATION ERROR
D5385D18 0523211813 T H hdisk6       ARRAY OPERATION ERROR
D5385D18 0523211013 T H hdisk28       ARRAY OPERATION ERROR
D5385D18 0523210413 T H hdisk28       ARRAY OPERATION ERROR
D5385D18 0523204913 T H hdisk28       ARRAY OPERATION ERROR
613E5F38 0523202513 P H LVDD          I/O ERROR DETECTED BY LVM
D5385D18 0523202513 T H hdisk28       ARRAY OPERATION ERROR
D5385D18 0523161013 T H hdisk28       ARRAY OPERATION ERROR
D5385D18 0523152713 T H hdisk28       ARRAY OPERATION ERROR

回复只看该作者道具举报

返回列表

		自动登录	找回密码
密码			注册