一台ASM实例不能启动，crsd资源不能启动

sunqn

刘大， 我的机器平台是aix 6.1.8+oracle 11.2.0.3  昨天节点2的机器监听断开了，我重启了节点2，就出现下面的现象，附件是一些日志，谢谢！

# ps -ef |grep ora
    root 4522042       1   0 18:39:35      -  6:14 /oracle/app/11.2.0/grid/bin/osysmond.bin
    root 5439614       1   0 18:39:36      -  0:27 /oracle/app/11.2.0/grid/bin/cssdmonitor
    root 5505110       1   0 18:39:37      -  0:00 /bin/sh /oracle/app/11.2.0/grid/bin/ocssd
    root 5963926       1   0 18:40:05      -  8:59 /oracle/app/11.2.0/grid/bin/octssd.bin reboot
    grid 6357002       1   0 18:39:32      -  0:00 /oracle/app/11.2.0/grid/bin/mdnsd.bin
    root 6488286       1   0 18:39:34      -  2:32 /oracle/app/11.2.0/grid/bin/orarootagent.bin
    grid 6881368       1   0 18:39:34      - 10:06 /oracle/app/11.2.0/grid/bin/gipcd.bin
    grid 4849960       1   0 18:39:33      -  0:17 /oracle/app/11.2.0/grid/bin/gpnpd.bin
    root 5112190       1   2 18:38:34      - 10:16 /oracle/app/11.2.0/grid/bin/ohasd.bin reboot
    grid 5570990       1   0 18:40:07      -  1:12 /oracle/app/11.2.0/grid/bin/evmd.bin
    grid 6095328       1   0 18:39:32      -  0:38 /oracle/app/11.2.0/grid/bin/oraagent.bin
    grid 6750652 5505110   1 18:39:37      - 10:56 /oracle/app/11.2.0/grid/bin/ocssd.bin
    root 6816178       1   0 18:39:36      -  0:27 /oracle/app/11.2.0/grid/bin/cssdagent
    root 6881716 7209440   0 09:30:33  pts/0  0:00 grep ora
    root 6947192       1  12 18:41:03      - 154:12 /oracle/app/11.2.0/grid/bin/ologgerd -M -d /oracle/app/11.2.0/grid/crf/db/hissvr02


# su - grid
hissvr02_/home/grid> crs_stat -t -v
CRS-0184: Cannot communicate with the CRS daemon.

hissvr02_/home/grid> sqlplus /nolog

SQL*Plus: Release 11.2.0.3.0 Production on Fri Jul 5 09:31:50 2013

Copyright (c) 1982, 2011, Oracle.  All rights reserved.

SQL> conn / as sysasm
Connected to an idle instance.
SQL> startup
ORA-03113: end-of-file on communication channel


# ./crsctl stat res -t -init
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS      
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.asm
      1        ONLINE  OFFLINE                               Instance Shutdown   
ora.cluster_interconnect.haip
      1        ONLINE  ONLINE       hissvr02                                    
ora.crf
      1        ONLINE  ONLINE       hissvr02                                    
ora.crsd
      1        ONLINE  OFFLINE                                                   
ora.cssd
      1        ONLINE  ONLINE       hissvr02                                    
ora.cssdmonitor
      1        ONLINE  ONLINE       hissvr02                                    
ora.ctssd
      1        ONLINE  ONLINE       hissvr02                 OBSERVER            
ora.diskmon
      1        OFFLINE OFFLINE                                                   
ora.drivers.acfs
      1        ONLINE  ONLINE       hissvr02                                    
ora.evmd
      1        ONLINE  INTERMEDIATE hissvr02                                    
ora.gipcd
      1        ONLINE  ONLINE       hissvr02                                    
ora.gpnpd
      1        ONLINE  ONLINE       hissvr02                                    
ora.mdnsd
      1        ONLINE  ONLINE       hissvr02   

kevinlin.ora

2013-07-04 18:39:40.588: [    GPNP][1]clsgpnpm_newWiredMsg: [at clsgpnpm.c:742 clsgpnpm_newWiredMsg] Msg-reply has soap fault 10 (Operation returned Retry (error CLSGPNP_CALL_AGAIN)) [uri "http://www.grid-pnp.org/2005/12/gpnp-errors#"]
...
2013-07-04 18:40:03.346: [    CSSD][4129]clssnmvDHBValidateNCopy: node 1, hissvr01, has a disk HB, but no network HB, DHB has rcfg 258825280, wrtcnt, 28628254, LATS 622965806, lastSeqNo 28628248, uniqueness 1371223743, timestamp 1372934405/622078334

按照：Grid Infrastructure 启动的五大问题 [ID 1526147.1]检查下看看。

donyorcl001

那个文档已经包括很全了，，权限问题是一个很常见的问题。