RAC双节点环境expdp导出hang住了

majuthink

日志留存系统数据库问题分析报告:
4月13日:实测节点间传输速率过低,2G左右的文件在节点间互传速率只有11.2M/s,初步定位在心跳线没用光纤,预择日更换光纤再测.
4月16日:因无闲置光口,改超六类千兆网线替换原心跳线实测,无论并行多文件传输还是单文件传输,总速率扔只有11.2M/s左右.同时发现rac vip配置错误,process参数设置过小,shared pool不够用,内存参数存在问题等情况.使用expdp导出数据,数据量较大,待第二天查看结果.
4月17日:数据导出失败,expdp执行语句hang在此处:
………………
Estimate in progress using BLOCKS method...
Processing object type DATABASE_EXPORT/SCHEMA/TABLE/TABLE_DATA
查询job信息,发现状态是idling状态
查看等待事件:
SQL> select event from v$session_wait where wait_class#<>6;

EVENT
---------------------------
gc cr multi block request
gc cr multi block request


现在的问题就是数据没法导出.昨晚又试了试
SQL>create directory my_dump_dir as '/orabak';
SQL> select * from dba_directories;
$expdp [email=system/xxxx@gdomain]system/xxxx@gdomain[/email] directory=my_dump_dir dumpfile=mydumpfile.dmp logfile=mydumpfile.log full=y parallel=12 job_name=mydumpfile_job

当时状态就显示的是executing,但是等了一个小时还是没建导出的数据变大点,






请坛主看看，分析一下问题出在哪，给点指导





[ 本帖最后由 majuthink 于 2012-4-21 20:06 编辑 ]

Maclean Liu(刘相兵

1.

是否用 expdp attach ，观察过 工作状态？

如

[oracle@vrh8 ~]$ expdp system/oracle dumpfile=tmp:maclean.dmp schemas=maclean

Export: Release 10.2.0.1.0 - 64bit Production on Friday, 20 April, 2012 8:53:44

Copyright (c) 2003, 2005, Oracle.  All rights reserved.

Connected to: Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - 64bit Production
With the Partitioning, OLAP and Data Mining options
Starting "SYSTEM"."SYS_EXPORT_SCHEMA_01":  system/******** dumpfile=tmp:maclean.dmp schemas=maclean
Estimate in progress using BLOCKS method...
Processing object type SCHEMA_EXPORT/TABLE/TABLE_DATA
Total estimation using BLOCKS method: 1.879 GB
Processing object type SCHEMA_EXPORT/USER
Processing object type SCHEMA_EXPORT/SYSTEM_GRANT
Processing object type SCHEMA_EXPORT/ROLE_GRANT
Processing object type SCHEMA_EXPORT/DEFAULT_ROLE
Processing object type SCHEMA_EXPORT/PRE_SCHEMA/PROCACT_SCHEMA
Processing object type SCHEMA_EXPORT/TABLE/TABLE
. . exported "MACLEAN"."LARGE"                           1.617 GB 20376576 rows





[oracle@vrh8 ~]$ expdp  system/oracle attach="SYSTEM"."SYS_EXPORT_SCHEMA_01"

Export: Release 10.2.0.1.0 - 64bit Production on Friday, 20 April, 2012 8:53:52

Copyright (c) 2003, 2005, Oracle.  All rights reserved.

Connected to: Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - 64bit Production
With the Partitioning, OLAP and Data Mining options

Job: SYS_EXPORT_SCHEMA_01
  Owner: SYSTEM                        
  Operation: EXPORT                        
  Creator Privs: FALSE                          
  GUID: BE1CC765C6B8EC1FE040A8C0BF0156A6
  Start Time: Friday, 20 April, 2012 8:53:45
  Mode: SCHEMA                        
  Instance: TESTCHAR
  Max Parallelism: 1
  EXPORT Job Parameters:
  Parameter Name      Parameter Value:
     CLIENT_COMMAND        system/******** dumpfile=tmp:maclean.dmp schemas=maclean
  State: EXECUTING                     
  Bytes Processed: 0
  Current Parallelism: 1
  Job Error Count: 0
  Dump File: /tmp/maclean.dmp
    bytes written: 4,096
  
Worker 1 Status:
  State: EXECUTING                     
  Object Schema: MACLEAN
  Object Type: SCHEMA_EXPORT/PRE_SCHEMA/PROCACT_SCHEMA
  Completed Objects: 1
  Total Objects: 1
  Worker Parallelism: 1


Export> status

Job: SYS_EXPORT_SCHEMA_01
  Operation: EXPORT                        
  Mode: SCHEMA                        
  State: COMPLETING                     
  Bytes Processed: 1,736,620,017
  Percent Done: 100
  Current Parallelism: 1
  Job Error Count: 0
  Dump File: /tmp/maclean.dmp
    bytes written: 1,736,777,728
  
Worker 1 Status:
  State: WORK WAITING            





是否观察过 v$session_longops 中的相关记录？


2.

尝试使用非并行 方式


去掉 parallel=12

或者
尝试使用direct path ，加入

expdp system/manager@gdomain directory=my_dump_dir dumpfile=mydumpfile.dmp logfile=mydumpfile.log full=y  job_name=mydumpfile_job   access_method=direct_path


确认 导出作业中是否有   LOB 对象

   Elapsed:              659.71 (mins)
   DB Time:              934.03 (mins)

你收集的AWR 时间跨度太长 无法精确定位性能问题


gc cr block lost                      1,878       1,056    562    1.9 Cluster

有少量的 gc cr block lost    等待事件  说明 private network 可能存在网络丢包  drop package


如以上措施 不足以 诊断或解决问题

建议你对 expdp 的 server process 做一个10046 level 8的TRACE 并上传

xifenfei

数据库内存设置不足，导出数据库的时候，data buffer变大很多，shared pool急速变小，导致出现4031，数据库hang住
并发设置不合理，建议dumpfile中加上%U

[ 本帖最后由 xifenfei 于 2012-4-20 21:16 编辑 ]

majuthink

原帖由 maclean 于 2012-4-20 21:03 发表
1.

是否用 expdp attach ，观察过 工作状态？

如

[oracle@vrh8 ~]$ expdp system/oracle dumpfile=tmp:maclean.dmp schemas=maclean

Export: Release 10.2.0.1.0 - 64bit Production on Friday, 20 April, 2012 8:5 ...

这个图片上有的，可能作为附件上传图片被截断了，expdp attach的工作状态是idling，再一个如果我没记错的话expdp默认就是direct_path的
现在把图片打包再次作为附件上传了

[ 本帖最后由 majuthink 于 2012-4-20 21:32 编辑 ]

Maclean Liu(刘相兵

如果 确实是 一直停留在 processing object type上的 话

建议尝试 去掉 parallel =12 后 尝试 ， 并尝试 access_method=direct_path（也要去掉并行)

仍不能解决问题的 话  请上传 10046 level 8 trace  进一步诊断

majuthink

原帖由 xifenfei 于 2012-4-20 21:12 发表
数据库内存设置不足，导出数据库的时候，data buffer变大很多，shared pool急速变小，导致出现4031，数据库hang住
并发设置不合理，建议dumpfile中加上%U

dumpfile中加上%U这个不太明白，请说详细点

majuthink

原帖由 maclean 于 2012-4-20 21:32 发表
如果 确实是 一直停留在 processing object type上的 话

建议尝试 去掉 parallel =12 后 尝试 ， 并尝试 access_method=direct_path（也要去掉并行)

仍不能解决问题的 话  请上传 10046 level 8 trace  进一步诊断 ...

谢谢，我已经让现场的同事先去掉并行，导一个小表出来看看情况，根据alert<sid>.log分析可能还是shared_pool和processes过小的问题。

[ 本帖最后由 majuthink 于 2012-4-20 22:14 编辑 ]