normal dg在RAC两个节点的Usable_file_MB可用大小不一样

dba.liu

客户新采购了一批fusion io的盘，计划和hp的盘混用，创建一个asm normal dg用于数据库使用，但创建后发现在两个节点看到的可用空间不一样：
环境：
$ sqlplus -v

SQL*Plus: Release 11.2.0.2.0 Production

$ uname -a
SunOS dbmachine 5.10 Generic_142909-17 sun4u sparc SUNW,SPARC-Enterprise

2节点RAC

磁盘信息：两组盘大小稍有差别，HP盘的大小为921520M，fusion盘的大小为921497M。

创建磁盘组命令：
CREATE DISKGROUP fusionhp NORMAL REDUNDANCY
  FAILGROUP hp DISK '/dev/rdsk/c6t6001438005DF04420000500001A30000d0s6'  size 921496M
  FAILGROUP fusion DISK '/dev/rdsk/c6t3236383766363038d0s4'  size 921496M ATTRIBUTE 'AU_SIZE'='8M';

ALTER DISKGROUP fusionhp ADD
FAILGROUP hp DISK '/dev/rdsk/c6t6001438005DF04420000500001A70000d0s6'  size 921496M, '/dev/rdsk/c6t6001438005DF04420000500001AB0000d0s6'  size 921496M
FAILGROUP fusion DISK '/dev/rdsk/c6t3236383766363038d0s5'  size 921496M, '/dev/rdsk/c6t3236383766363038d0s6'  size 921496M
rebalance power 11;

ALTER DISKGROUP fusionhp ADD
FAILGROUP hp DISK '/dev/rdsk/c6t6001438005DF04420000500001D30000d0s6'   size 921496M,
'/dev/rdsk/c6t6001438005DF04420000500001CB0000d0s6'  size 921496M,
'/dev/rdsk/c6t6001438005DF04420000500001C70000d0s6'  size 921496M,
'/dev/rdsk/c6t6001438005DF04420000500001C30000d0s6'  size 921496M,
'/dev/rdsk/c6t6001438005DF04420000500001BF0000d0s6'  size 921496M,
'/dev/rdsk/c6t6001438005DF04420000500001BB0000d0s6'  size 921496M,
'/dev/rdsk/c6t6001438005DF04420000500001B70000d0s6'  size 921496M,
'/dev/rdsk/c6t6001438005DF04420000500001B30000d0s6'  size 921496M,
'/dev/rdsk/c6t6001438005DF04420000500001AF0000d0s6'  size 921496M,
'/dev/rdsk/c6t6001438005DF044200005000019F0000d0s6'  size 921496M,
'/dev/rdsk/c6t6001438005DF04420000500001CF0000d0s6'  size 921496M
FAILGROUP fusion DISK '/dev/rdsk/c6t6435313430346239d0s4'   size 921496M,
'/dev/rdsk/c6t6435313430346239d0s5'  size 921496M,
'/dev/rdsk/c6t6435313430346239d0s6'  size 921496M,
'/dev/rdsk/c6t3466316638313561d0s4'  size 921496M,
'/dev/rdsk/c6t3466316638313561d0s5'  size 921496M,
'/dev/rdsk/c6t3466316638313561d0s6'  size 921496M,
'/dev/rdsk/c6t3536663232663438d0s4'  size 921496M,
'/dev/rdsk/c6t3536663232663438d0s5'  size 921496M,
'/dev/rdsk/c6t3536663232663438d0s6'  size 921496M,
'/dev/rdsk/c6t3433643837313632d0s4'  size 921496M,
'/dev/rdsk/c6t3433643837313632d0s5'  size 921496M
rebalance power 11;

创建后磁盘组信息，两个节点看到的Req_mir_free_MB和Usable_file_MB不一致：

节点1 node1：可用空间为11.18T
State    Type    Rebal  Sector  Block       AU  Total_MB   Free_MB  Req_mir_free_MB  Usable_file_MB  Offline_disks  Voting_files  Name
    MOUNTED  NORMAL  N         512   4096  8388608  25801888  25801168          2345626        11727771              0             N  FUSIONHP/
节点2  node2：可用空间为11.86T
State    Type    Rebal  Sector  Block       AU  Total_MB   Free_MB  Req_mir_free_MB  Usable_file_MB  Offline_disks  Voting_files  Name
    MOUNTED  NORMAL  N         512   4096  8388608  25801888  25801168           921496        12439836      

ａｓｍ的ｒｅｂａｌａｎｃｅ已经完成了。两边可用大小不一样，担心上了生产，后期使用会有问题，请教大家如何解决？    

dba.liu

SQL> select DISK_NUMBER,PATH,NAME,OS_MB,TOTAL_MB,FAILGROUP from v$asm_disk where group_number=5 order by 1;

DISK_NUMBER PATH                                               NAME                OS_MB   TOTAL_MB FAILGROUP
----------- -------------------------------------------------- -------------- ---------- ---------- ------------------------------
          0 /dev/rdsk/c6t6001438005DF04420000500001A30000d0s6  FUSIONHP_0000      921520     921496 HP
          1 /dev/rdsk/c6t3236383766363038d0s4                  FUSIONHP_0001      921497     921496 FUSION
          2 /dev/rdsk/c6t6001438005DF04420000500001A70000d0s6  FUSIONHP_0002      921520     921496 HP
          3 /dev/rdsk/c6t6001438005DF04420000500001AB0000d0s6  FUSIONHP_0003      921520     921496 HP
          4 /dev/rdsk/c6t3236383766363038d0s5                  FUSIONHP_0004      921497     921496 FUSION
          5 /dev/rdsk/c6t3236383766363038d0s6                  FUSIONHP_0005      921497     921496 FUSION
          6 /dev/rdsk/c6t6001438005DF04420000500001D30000d0s6  FUSIONHP_0006      921520     921496 HP
          7 /dev/rdsk/c6t6001438005DF04420000500001CB0000d0s6  FUSIONHP_0007      921520     921496 HP
          8 /dev/rdsk/c6t6001438005DF04420000500001C70000d0s6  FUSIONHP_0008      921520     921496 HP
          9 /dev/rdsk/c6t6001438005DF04420000500001C30000d0s6  FUSIONHP_0009      921520     921496 HP
         10 /dev/rdsk/c6t6001438005DF04420000500001BF0000d0s6  FUSIONHP_0010      921520     921496 HP
         11 /dev/rdsk/c6t6001438005DF04420000500001BB0000d0s6  FUSIONHP_0011      921520     921496 HP
         12 /dev/rdsk/c6t6001438005DF04420000500001B70000d0s6  FUSIONHP_0012      921520     921496 HP
         13 /dev/rdsk/c6t6001438005DF04420000500001B30000d0s6  FUSIONHP_0013      921520     921496 HP
         14 /dev/rdsk/c6t6001438005DF04420000500001AF0000d0s6  FUSIONHP_0014      921520     921496 HP
         15 /dev/rdsk/c6t6001438005DF044200005000019F0000d0s6  FUSIONHP_0015      921520     921496 HP
         16 /dev/rdsk/c6t6001438005DF04420000500001CF0000d0s6  FUSIONHP_0016      921520     921496 HP
         17 /dev/rdsk/c6t6435313430346239d0s4                  FUSIONHP_0017      921497     921496 FUSION
         18 /dev/rdsk/c6t6435313430346239d0s5                  FUSIONHP_0018      921497     921496 FUSION
         19 /dev/rdsk/c6t6435313430346239d0s6                  FUSIONHP_0019      921497     921496 FUSION
         20 /dev/rdsk/c6t3466316638313561d0s4                  FUSIONHP_0020      921497     921496 FUSION
         21 /dev/rdsk/c6t3466316638313561d0s5                  FUSIONHP_0021      921497     921496 FUSION
         22 /dev/rdsk/c6t3466316638313561d0s6                  FUSIONHP_0022      921497     921496 FUSION
         23 /dev/rdsk/c6t3536663232663438d0s4                  FUSIONHP_0023      921497     921496 FUSION
         24 /dev/rdsk/c6t3536663232663438d0s5                  FUSIONHP_0024      921497     921496 FUSION
         25 /dev/rdsk/c6t3536663232663438d0s6                  FUSIONHP_0025      921497     921496 FUSION
         26 /dev/rdsk/c6t3433643837313632d0s4                  FUSIONHP_0026      921497     921496 FUSION
         27 /dev/rdsk/c6t3433643837313632d0s5                  FUSIONHP_0027      921497     921496 FUSION

28 rows selected.

SQL> select * from v$asm_operation;

no rows selected

Maclean Liu(刘相兵

关于Usable_file_MB 的计算有一堆 对应的bug 和note ，在11.2.0.2 上估计也有 ，一般不用特别注意。 可以写入部分数据 并观察下

Maclean Liu(刘相兵