asm diskgroup从原来mpio管理下迁移到veritas dmp

tangbiao

aix 6.1，grid 11.2.0.3+asm11.2.0.3+rac

建数据库的时候使用的是aix自带的多路径软件mpio，建了diskgroup

现在改造成veritas dmp多路径，已经修改了asm的disk_strings＝/dev/vx/rdmp/*，crs/asm启动的时候已经可以识别到磁盘/dev/vx/rdmp/开头的磁盘，但是读取不回原来的diskgroup信息。

crs启动的报错日志：
2012-07-13 15:07:29.748: [    GPNP][1286]clsgpnp_profileCallUrlInt: [at clsgpnp.c:2108 clsgpnp_profileCallUrlInt] get-profile call to url "ipc://GPNPD_ggtest1" disco "" [f=0 claimed- host: cname: seq: auth:]
2012-07-13 15:07:29.762: [    GPNP][1286]clsgpnp_profileCallUrlInt: [at clsgpnp.c:2236 clsgpnp_profileCallUrlInt] Result: (0) CLSGPNP_OK. Successful get-profile CALL to remote "ipc://GPNPD_ggtest1" disco ""
2012-07-13 15:07:29.762: [    CSSD][1286]clssnmReadDiscoveryProfile: voting file discovery string(/dev/vx/rdmp/*)
2012-07-13 15:07:29.762: [    CSSD][1286]clssnmvDDiscThread: using discovery string /dev/vx/rdmp/* for initial discovery
2012-07-13 15:07:29.762: [   SKGFD][1286]Discovery with str:/dev/vx/rdmp/*:

2012-07-13 15:07:29.762: [   SKGFD][1286]UFS discovery with :/dev/vx/rdmp/*:

2012-07-13 15:07:29.769: [   SKGFD][1286]Fetching UFS disk :/dev/vx/rdmp/v_df8000_919:

2012-07-13 15:07:29.770: [   SKGFD][1286]Fetching UFS disk :/dev/vx/rdmp/v_df8000_212:

2012-07-13 15:07:29.770: [   SKGFD][1286]Fetching UFS disk :/dev/vx/rdmp/v_df8000_211:

2012-07-13 15:07:29.770: [   SKGFD][1286]Fetching UFS disk :/dev/vx/rdmp/v_df8000_210:

2012-07-13 15:07:29.770: [   SKGFD][1286]Fetching UFS disk :/dev/vx/rdmp/v_df8000_209:

2012-07-13 15:07:29.771: [   SKGFD][1286]Fetching UFS disk :/dev/vx/rdmp/v_df8000_181:

2012-07-13 15:07:29.771: [   SKGFD][1286]Fetching UFS disk :/dev/vx/rdmp/v_df8000_180:

2012-07-13 15:07:29.771: [   SKGFD][1286]Fetching UFS disk :/dev/vx/rdmp/disk_3:

2012-07-13 15:07:29.771: [   SKGFD][1286]Fetching UFS disk :/dev/vx/rdmp/disk_2:

2012-07-13 15:07:29.771: [   SKGFD][1286]Fetching UFS disk :/dev/vx/rdmp/disk_1:

2012-07-13 15:07:29.771: [   SKGFD][1286]Fetching UFS disk :/dev/vx/rdmp/disk_0:

2012-07-13 15:07:29.771: [   SKGFD][1286]OSS discovery with :/dev/vx/rdmp/*:

2012-07-13 15:07:29.771: [   SKGFD][1286]Handle 1115e7510 from lib :UFS:: for disk :/dev/vx/rdmp/v_df8000_916:

2012-07-13 15:07:29.772: [   SKGFD][1286]Handle 1118758b0 from lib :UFS:: for disk :/dev/vx/rdmp/v_df8000_912:

2012-07-13 15:07:29.773: [   SKGFD][1286]Handle 1118d9cf0 from lib :UFS:: for disk :/dev/vx/rdmp/v_df8000_908:

2012-07-13 15:07:29.773: [   SKGFD][1286]Handle 1118da450 from lib :UFS:: for disk :/dev/vx/rdmp/v_df8000_904:

2012-07-13 15:07:29.773: [   SKGFD][1286]Handle 1118dad70 from lib :UFS:: for disk :/dev/vx/rdmp/v_df8000_903:


2012-07-13 15:07:29.802: [    CLSF][1286]checksum failed for disk:/dev/vx/rdmp/v_df8000_916:
2012-07-13 15:07:29.803: [   SKGFD][1286]Lib :UFS:: closing handle 1115e7510 for disk :/dev/vx/rdmp/v_df8000_916:

2012-07-13 15:07:29.803: [   SKGFD][1286]Lib :UFS:: closing handle 1118758b0 for disk :/dev/vx/rdmp/v_df8000_912:


2012-07-13 15:07:29.804: [   SKGFD][1286]Handle 1115e6710 from lib :UFS:: for disk :/dev/vx/rdmp/v_df8000_202:

2012-07-13 15:07:29.808: [   SKGFD][1286]Handle 1115e7030 from lib :UFS:: for disk :/dev/vx/rdmp/v_df8000_201:

2012-07-13 15:07:29.809: [   SKGFD][1286]Handle 1115e7ad0 from lib :UFS:: for disk :/dev/vx/rdmp/v_df8000_200:

2012-07-13 15:07:29.809: [   SKGFD][1286]Handle 1118733f0 from lib :UFS:: for disk :/dev/vx/rdmp/v_df8000_199:



2012-07-13 15:07:29.816: [    CLSF][1286]checksum failed for disk:/dev/vx/rdmp/v_df8000_186:
2012-07-13 15:07:29.816: [   SKGFD][1286]Lib :UFS:: closing handle 1118de5d0 for disk :/dev/vx/rdmp/v_df8000_186:

2012-07-13 15:07:29.816: [    CSSD][1286]clssnmvDiskVerify: Successful discovery of 0 disks
2012-07-13 15:07:29.816: [    CSSD][1286]clssnmCompleteInitVFDiscovery: Completing initial voting file discovery
2012-07-13 15:07:29.816: [    CSSD][1286]clssnmvFindInitialConfigs: No voting files found
2012-07-13 15:07:29.816: [    CSSD][1286](:CSSNM00070:)clssnmCompleteInitVFDiscovery: Voting file not found. Retrying discovery in 15 seconds
2012-07-13 15:07:30.169: [    CSSD][1029]clssgmExecuteClientRequest(): type(37) size(80) only connect and exit messages are allowed before lease acquisition proc(1115e4870) client(0)

Maclean Liu(刘相兵

action plan:

su - root
crsctl replace votedisk   YOUR_DG_NAME                      ==> 替换成你放vote disk的disk group name

tangbiao

只是这个votedisk有问题吗？还是其他的盘也有问题呢？现在我的crs也不能启来，能执行replace votedisk操作吗？

Maclean Liu(刘相兵

对于 这种的恢复， 只能一步步来 先恢复 vote disk再说

tangbiao

从这个错来看，确定是因为找错了votedisk盘吗？
votedisk也是建在asm的一个diskgroup里面的，如果我替换的话，还是写成原来的diskgroup名字吗？crs起不来，这个能修改不？

Maclean Liu(刘相兵

你之前是如何启动CRS的， 我记得你在群里说你尝试用excl模式启动CRS， 但是这个帖子里未做说明， 请详细说明实际情况！！

我的action plan:
su - root
crsctl start crs -excl

crsctl replace votedisk   YOUR_DG_NAME                      ==> 替换成你放vote disk的disk group name

tangbiao

我的操作步骤：
1、原来使用aix 的mpio，磁盘名称为/dev/rhdisk，使用这个名称建了2个diskgroup（crs，datadg），其中crs中放了votedisk/ocr/asm_spfile文件。
2、停止crs/asm/rac，将主机的多路径转换为veritas dmp，重启主机。磁盘名全部转换为需要使用/dev/vx/rdmp。
3、通过crsctl start crs -execl -nocrs启动了asm库到started状态，修改了disk_strings参数为/dev/vx/rdmp/*，在这种方式下，通过v$asm_disks视图，已经看到转换成为/dev/vx/rdmp/*开头的所有磁盘设备。
4、停止crs/asm，使用正常方式重启crs，这时候就起不来了。就报上面的错了。

tangbiao

所有的磁盘和数据一直都在，一直都没有被破坏过，只是更换了一种多路径软件，asm需要进行相应的更改而已。

Maclean Liu(刘相兵

请参考这篇文章 在11gR2 RAC中修改ASM DISK Path磁盘路径  http://www.askmaclean.com/archiv ... -asm-disk-path.html

tangbiao

感谢maclean liu的回复方法。通过你的方法，现在votedisk已经能正确识别，crs/asm已经能正常启动了。但是其中的一个数据的diskgroup不能识别到。
一共是有3个diskgroup，一个是crs（存放vote/ocr/asm init），一个是datadg,第三2上是testdg。现在crs/testdg都可以识别，datadg不能识别。
$ asmcmd
ASMCMD> lsdg
State    Type    Rebal  Sector  Block       AU  Total_MB  Free_MB  Req_mir_free_MB  Usable_file_MB  Offline_disks  Voting_files  Name
MOUNTED  EXTERN  N         512   4096  8388608      2048     1560                0            1560              0             Y  CRS/
MOUNTED  EXTERN  N         512   4096  1048576     51200    12174                0           12174              0             N  TESTDG/

tangbiao

SQL>  select name, path, group_number from v$asm_disk order by name;

NAME                           PATH                           GROUP_NUMBER
------------------------------ ------------------------------ ------------
CRS_0000                       /dev/vx/rdmp/v_df8000_250                 2
CRS_0001                       /dev/vx/rdmp/v_df8000_251                 2
TESTDG_0000                    /dev/vx/rdmp/v_df8000_916                 3
TESTDG_0001                    /dev/vx/rdmp/v_df8000_904                 3
TESTDG_0002                    /dev/vx/rdmp/v_df8000_908                 3
TESTDG_0003                    /dev/vx/rdmp/v_df8000_912                 3
TESTDG_0004                    /dev/vx/rdmp/v_df8000_903                 3
                               /dev/vx/rdmp/v_df8000_188                 0
                               /dev/vx/rdmp/v_df8000_189                 0
                               /dev/vx/rdmp/v_df8000_190                 0
                               /dev/vx/rdmp/v_df8000_191                 0

NAME                           PATH                           GROUP_NUMBER
------------------------------ ------------------------------ ------------
                               /dev/vx/rdmp/v_df8000_192                 0
                               /dev/vx/rdmp/v_df8000_193                 0
                               /dev/vx/rdmp/v_df8000_194                 0
                               /dev/vx/rdmp/v_df8000_195                 0
                               /dev/vx/rdmp/v_df8000_196                 0
                               /dev/vx/rdmp/v_df8000_197                 0
                               /dev/vx/rdmp/v_df8000_198                 0
                               /dev/vx/rdmp/v_df8000_199                 0
                               /dev/vx/rdmp/v_df8000_200                 0
                               /dev/vx/rdmp/v_df8000_201                 0
                               /dev/vx/rdmp/v_df8000_202                 0

NAME                           PATH                           GROUP_NUMBER
------------------------------ ------------------------------ ------------
                               /dev/vx/rdmp/v_df8000_203                 0
                               /dev/vx/rdmp/v_df8000_204                 0
                               /dev/vx/rdmp/v_df8000_205                 0
                               /dev/vx/rdmp/v_df8000_206                 0
                               /dev/vx/rdmp/v_df8000_207                 0
                               /dev/vx/rdmp/v_df8000_208                 0
                               /dev/vx/rdmp/v_df8000_209                 0
                               /dev/vx/rdmp/v_df8000_210                 0
                               /dev/vx/rdmp/v_df8000_211                 0
                               /dev/vx/rdmp/v_df8000_212                 0
                               /dev/vx/rdmp/v_df8000_213                 0

NAME                           PATH                           GROUP_NUMBER
------------------------------ ------------------------------ ------------
                               /dev/vx/rdmp/v_df8000_214                 0
                               /dev/vx/rdmp/v_df8000_215                 0
                               /dev/vx/rdmp/v_df8000_186                 0
                               /dev/vx/rdmp/v_df8000_187                 0

Fixed

./crsctl replace votedisk +CRS
Oracle Cluster Registry initialization failed accessing Oracle Cluster Registry device: PROC-26: Error while accessing the physical storage

CRS-4000: Command Replace failed, or completed with errors.

之前是用的dmp，现在想改回mpio的，前面是按照你的步骤来的，都没有问题，这一步的时候报错如上，请刘大帮忙看看。多谢

ASM里面已经认到：
  1* select NAME,path,state from v$asm_disk
SQL> /

NAME            PATH                           STATE
--------------- ------------------------------ ----------------
DATA02_0001     /dev/rhdisk13                  NORMAL
DATA02_0002     /dev/rhdisk15                  NORMAL
DATA02_0003     /dev/rhdisk17                  NORMAL
DATA02_0000     /dev/rhdisk2                   NORMAL
CRS_0001        /dev/rhdisk24                  NORMAL
CRS_0002        /dev/rhdisk25                  NORMAL
DATA01_0000     /dev/rhdisk3                   NORMAL
CRS_0000        /dev/rhdisk6                   NORMAL