AIX6.1+ORACLE10.2.0.4 两节点RAC VIP 漂移到私有网卡上

javaio

奇怪问题AIX6.1+ORACLE10.2.0.4 两节点RAC  VIP 漂移到私有网络网卡上：
我今天碰到个奇怪的问题，就是AIX6.1+ORACLE10.2.0.4 RAC当小型机IP MAC跟其它WINDOWS2003服务器冲突时，会导致集群两个节点相互间对方的VIP地址PING 不通，真实IP也PING 不同，仔细检查VIP漂移到了私有网络的网卡上；把AIX两个节点重启动（操作系统），然后又能正常，如果再碰到冲突，又发病；
在交换机上看ARP是一样的获得的MAC跟某台WINDOWS机器一样，我把WINDOWS MAC改了后ARP还会学习到跟小机一样的MAC，导致问题，
最后我把WINDOWS2003服务器重启了一把后，观察了两个小时没有发现异常状况，就没搞清楚VIP怎么会漂移到私有网络的网卡上去。
仔细想了下我当初安装CLUSTERWARE时，手工启动VIPCA ，不小心错选了en8,en9两块网卡，本应该只选en8的（这两块都是ETHERCHANNEL聚合后产生的，en8为PUBLIC,en9为PRIVITE）,所以我现在想确认下我当初的配置是否搞错了，怎么才能重新配置去纠正这种错误？
我google了下，有好几个帖子有人更换过或重新配置过vip，但是我自己没做过，怕网上资料误导；因为重装时间太久，就想看看有没有官方的建议文档？我研究研究

我重新把问题简化一下：
1. 当初安装RAC时错选了en8,en9配置了vipca ,今天去查了，果然是当初配置错了
   # su - oracle
$ srvctl config nodeapps -n pzdb1 -a
VIP exists.: /pzdb1vip/10.172.121.231/255.255.255.0/en8:en9
$ srvctl config nodeapps -n pzdb2 -a
VIP exists.: /pzdb2vip/10.172.121.233/255.255.255.0/en8:en9
2. 重新按照官方 [ID 276434.1]文档把vip网卡绑定修改正确后
  # srvctl config nodeapps -n pzdb1 -a
  VIP exists.: /pzdb1vip/10.172.121.231/255.255.255.0/en8
  # srvctl config nodeapps -n pzdb2 -a
  VIP exists.: /pzdb2vip/10.172.121.233/255.255.255.0/en8
3.原来想着小型机报 DUPLICATE IP ADDRESS DETECTED IN THE NET错误可能是由于我vip绑定网卡错误造成，但是事实证明我把vip修改并重启两台小机后，集群在隔离环境（单独交换机，只有集群，无其他主机等设备）下全部正常；一旦我把小机接入网络，过不了多久就会获得以上错误。让网络人员在交换机上查了，没有发现有相同IP地址的，但是有一台windows2003服务器老是获得跟一台小机相同的MAC地址，网络人员分析是ARP欺骗问题造成。google了好多可能性，包括IBM说http://www-01.ibm.com/support/docview.wss?uid=swg21207969都查过了，确实不是这种情况；然后把windows2003 MAC手工修成另外一个并重新启动后问题依旧，windows2003这台机器还是会获得跟小机相同的MAC，从而导致问题
4.把那台windows关机，集群就能正常运行，曾观察3小时无问题，今天晚上再观察一晚上，明天去看，windows关机状态下集群只要正常就可以完全断定是windows造成的问题，随之处理windows。怀疑的另一个证据是这个网络中还有其他windows2003机器，但都没有导致问题，出问题老是那一台
5.今天抓了日志回来，在6楼，我多次重启过集群小型机，请观看最后一次重启日志即可



[ 本帖最后由 javaio 于 2012-1-11 20:26 编辑 ]

Maclean Liu(刘相兵

action plan:

1.

./runcluvfy.sh stage -post crsinst -n all  -verbose

or

cluvfy stage -post crsinst -n all -verbose

将输出上传

2.


crs_stat –t
crsctl check crs
hostname
cat /etc/hosts
ifconfig -a
oifcfg getif  
netstat -rn
oifcfg iflist
srvctl config nodeapps -n <nodename> -a -g -s -l               (repeate it for all nodes)

/bin/errpt -a


上传以上命令的输出


3.

$ORA_CRS_HOME/log/<nodename>/racg/vip*
$ORA_CRS_HOME/log/<nodename>/crsd/crsd.log

上传vip资源和crsd的相关日志





网络问题的诊断比较复杂， 是否可以解决问题 取决于你能够提供的信息

javaio

好的,我明天去工地查看,回来答复

id_zgd

原帖由 maclean 于 2012-1-10 22:40 发表
action plan:

1.

./runcluvfy.sh stage -post crsinst -n all  -verbose

or

cluvfy stage -post crsinst -n all -verbose

将输出上传

2.


crs_stat –t
crsctl check crs
hostname
cat /etc/hosts
ifconfi ...

真全啊！:)

javaio

今天去工地第一步检查了我原先的配置，果然是我当初安装时选中了两个网卡，本来只是en8就对了，真是不小心，因为昨晚早料到可能当初配置错了，要改，就搜了个
Modifying the VIP or VIP Hostname of a 10g or 11g Oracle Clusterware Node [ID 276434.1]文档，然后今天把VIP重新修改了下
--------------以下是未修改前的状态-------------begin---------------------
# su - oracle
$ srvctl config nodeapps -n pzdb1 -a
VIP exists.: /pzdb1vip/10.172.121.231/255.255.255.0/en8:en9
$ srvctl config nodeapps -n pzdb2 -a
VIP exists.: /pzdb2vip/10.172.121.233/255.255.255.0/en8:en9
$ crs_stat -t
Name           Type           Target    State     Host        
------------------------------------------------------------
ora....SM1.asm application    ONLINE    ONLINE    pzdb1      
ora....B1.lsnr application    ONLINE    ONLINE    pzdb1      
ora.pzdb1.gsd  application    ONLINE    ONLINE    pzdb1      
ora.pzdb1.ons  application    ONLINE    ONLINE    pzdb1      
ora.pzdb1.vip  application    ONLINE    ONLINE    pzdb1      
ora....SM2.asm application    ONLINE    ONLINE    pzdb2      
ora....B2.lsnr application    ONLINE    ONLINE    pzdb2      
ora.pzdb2.gsd  application    ONLINE    ONLINE    pzdb2      
ora.pzdb2.ons  application    ONLINE    ONLINE    pzdb2      
ora.pzdb2.vip  application    ONLINE    ONLINE    pzdb2      
ora.sjpz.db    application    ONLINE    ONLINE    pzdb2      
ora....z1.inst application    ONLINE    ONLINE    pzdb1      
ora....z2.inst application    ONLINE    ONLINE    pzdb2      
$ ifconfig -a
en8: flags=5e080863,c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>
        inet 10.172.121.230 netmask 0xffffffe0 broadcast 10.172.121.255
        inet 10.172.121.231 netmask 0xffffff00 broadcast 10.172.121.255
         tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
en9: flags=5e080863,c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>
        inet 192.168.100.230 netmask 0xffffff00 broadcast 192.168.100.255
         tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
lo0: flags=e08084b,c0<UP,BROADCAST,LOOPBACK,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,LARGESEND,CHAIN>
        inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255
        inet6 ::1%1/0
         tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1

--------------以下是未修改前的状态-------------end---------------------

javaio

---------下面是我修改VIP配置后的状态：------------------
第一个节点:

#
# hostname
pzdb1
# date
Wed Jan 11 15:14:54 GMT+08:00 2012
# uptime
  03:14PM   up 24 mins,  3 users,  load average: 0.07, 0.14, 0.17
# df -g
Filesystem    GB blocks      Free %Used    Iused %Iused Mounted on
/dev/hd4          30.00     21.60   28%    13345     1% /
/dev/hd2           4.00      2.17   46%    41965     8% /usr
/dev/hd9var        4.00      3.80    6%     6719     1% /var
/dev/hd3           4.00      3.86    4%      439     1% /tmp
/dev/hd1           4.00      4.00    1%       26     1% /home
/dev/hd11admin      4.00      4.00    1%        5     1% /admin
/proc                 -         -    -         -     -  /proc
/dev/hd10opt      10.00      9.89    2%     2068     1% /opt
/dev/livedump      0.25      0.25    1%        4     1% /var/adm/ras/livedump
/dev/oraclebackuplv   4600.00   4597.87    1%       43     1% /oraclebackup
/dev/oraclelv     50.00     26.62   47%    41045     1% /u01
#
# errpt
IDENTIFIER TIMESTAMP  T C RESOURCE_NAME  DESCRIPTION
F3931284   0111145312 I H ent2           ETHERNET NETWORK RECOVERY MODE
61438179   0111145312 I H ent9           TOTAL ETHERCHANNEL FAILURE
EC0BCCD4   0111145312 T H ent2           ETHERNET DOWN
A6DF45AA   0111145212 I O RMCdaemon      The daemon is started.
EC0BCCD4   0111145112 T H ent3           ETHERNET DOWN
67145A39   0111145012 U S SYSDUMP        SYSTEM DUMP
F48137AC   0111144912 U O minidump       COMPRESSED MINIMAL DUMP
CB4A951F   0111144912 I S SRC            SOFTWARE PROGRAM ERROR
9DBCFDEE   0111145112 T O errdemon       ERROR LOGGING TURNED ON
192AC071   0111144212 T O errdemon       ERROR LOGGING TURNED OFF
#
# su - oracle
$ id
uid=301(oracle) gid=301(oinstall) groups=302(dba)
$ pwd
/home/oracle
$ cd /u01/app/oracle
$ ls
admin         oraInventory  product
$ cd oraInventory
$ ls
Contents                 logs                     orainstRoot.sh
ContentsXML              oraInst.loc              oui
install.platform         oraInstaller.properties  sessionContext.ser
$ cd ../product
$ pwd
/u01/app/oracle/product
$ ls
10.2.0
$ cd 10.2.0
$ pwd
/u01/app/oracle/product/10.2.0
$ ls
crs   db_1
$ cd crs
$ ls
JRE               emdw              jlib              opmn              root.sh
OPatch            encryption        jre               opsm              slax
bin               evm               ldap              oraInst.loc       sqlplus
cdata             has               lib               oracore           srvm
cfgtoollogs       hs                lib32             oui               sysman
clone             install           log               perl              tg4ifmx
crs               install.platform  network           plsql             tg4ingr
css               inventory         nls               precomp           tg4sybs
ctx               inventory.tar     nnfgt.s           racg              tg4tera
cv                javavm            ntcontab.s        rdbms             xdk
diagnostics       jdk               odbc              relnotes
$ pwd
/u01/app/oracle/product/10.2.0/crs
$ cd bin
$ pwd
/u01/app/oracle/product/10.2.0/crs/bin
$ ls -l cluvfy
-rwxr-x--x    1 oracle   oinstall       3655 Jan 04 12:40 cluvfy
$
$ cluvfy stage -post crsinst -n all -verbose

Performing post-checks for cluster services setup

Checking node reachability...

Check: Node reachability from node "pzdb1"
  Destination Node                      Reachable?              
  ------------------------------------  ------------------------
  pzdb1                                 yes                     
  pzdb2                                 yes                     
Result: Node reachability check passed from node "pzdb1".


Checking user equivalence...

Check: User equivalence for user "oracle"
  Node Name                             Comment                 
  ------------------------------------  ------------------------
  pzdb2                                 passed                  
  pzdb1                                 passed                  
Result: User equivalence check passed for user "oracle".

Checking Cluster manager integrity...


Checking CSS daemon...
  Node Name                             Status                  
  ------------------------------------  ------------------------
  pzdb2                                 running                 
  pzdb1                                 running                 
Result: Daemon status check passed for "CSS daemon".

Cluster manager integrity check passed.

Checking cluster integrity...

  Node Name                           
  ------------------------------------
  pzdb1                              
  pzdb2                              

Cluster integrity check passed


Checking OCR integrity...

Checking the absence of a non-clustered configuration...
All nodes free of non-clustered, local-only configurations.

Uniqueness check for OCR device passed.

Checking the version of OCR...
OCR of correct Version "2" exists.

Checking data integrity of OCR...
Data integrity check for OCR passed.

OCR integrity check passed.

Checking CRS integrity...

Checking daemon liveness...

Check: Liveness for "CRS daemon"
  Node Name                             Running                 
  ------------------------------------  ------------------------
  pzdb2                                 yes                     
  pzdb1                                 yes                     
Result: Liveness check passed for "CRS daemon".

Checking daemon liveness...

Check: Liveness for "CSS daemon"
  Node Name                             Running                 
  ------------------------------------  ------------------------
  pzdb2                                 yes                     
  pzdb1                                 yes                     
Result: Liveness check passed for "CSS daemon".

Checking daemon liveness...

Check: Liveness for "EVM daemon"
  Node Name                             Running                 
  ------------------------------------  ------------------------
  pzdb2                                 yes                     
  pzdb1                                 yes                     
Result: Liveness check passed for "EVM daemon".

Liveness of all the daemons
  Node Name     CRS daemon                CSS daemon                EVM daemon
  ------------  ------------------------  ------------------------  ----------
  pzdb2         yes                       yes                       yes      
  pzdb1         yes                       yes                       yes      

Checking CRS health...

Check: Health of CRS
  Node Name                             CRS OK?                 
  ------------------------------------  ------------------------
  pzdb2                                 yes                     
  pzdb1                                 yes                     
Result: CRS health check passed.

CRS integrity check passed.

Checking node application existence...


Checking existence of VIP node application
  Node Name     Required                  Status                    Comment   
  ------------  ------------------------  ------------------------  ----------
  pzdb2         yes                       exists                    passed   
  pzdb1         yes                       exists                    passed   
Result: Check passed.

Checking existence of ONS node application
  Node Name     Required                  Status                    Comment   
  ------------  ------------------------  ------------------------  ----------
  pzdb2         no                        exists                    passed   
  pzdb1         no                        exists                    passed   
Result: Check passed.

Checking existence of GSD node application
  Node Name     Required                  Status                    Comment   
  ------------  ------------------------  ------------------------  ----------
  pzdb2         no                        exists                    passed   
  pzdb1         no                        exists                    passed   
Result: Check passed.


Post-check for cluster services setup was successful.
$

javaio

续楼上
$ pwd
/u01/app/oracle/product/10.2.0/crs/bin
$
$
$ crs_stat –t
CRS-0210: Could not find resource '–t'.

$ crs_stat -t
Name           Type           Target    State     Host        
------------------------------------------------------------
ora....SM1.asm application    ONLINE    ONLINE    pzdb1      
ora....B1.lsnr application    ONLINE    ONLINE    pzdb1      
ora.pzdb1.gsd  application    ONLINE    ONLINE    pzdb1      
ora.pzdb1.ons  application    ONLINE    ONLINE    pzdb1      
ora.pzdb1.vip  application    ONLINE    ONLINE    pzdb1      
ora....SM2.asm application    ONLINE    ONLINE    pzdb2      
ora....B2.lsnr application    ONLINE    ONLINE    pzdb2      
ora.pzdb2.gsd  application    ONLINE    ONLINE    pzdb2      
ora.pzdb2.ons  application    ONLINE    ONLINE    pzdb2      
ora.pzdb2.vip  application    ONLINE    ONLINE    pzdb2      
ora.sjpz.db    application    ONLINE    ONLINE    pzdb2      
ora....z1.inst application    ONLINE    ONLINE    pzdb1      
ora....z2.inst application    ONLINE    ONLINE    pzdb2      
$ crsctl check crs
CSS appears healthy
CRS appears healthy
EVM appears healthy
$
$ hostname
pzdb1
$ cat /etc/hosts
# @(#)47        1.2  src/bos/usr/sbin/netstart/hosts, cmdnet, bos61D, d2007_49A2 10/1/07 13:57:52
# IBM_PROLOG_BEGIN_TAG
# This is an automatically generated prolog.
#  
# bos61D src/bos/usr/sbin/netstart/hosts 1.2
#  
# Licensed Materials - Property of IBM
#  
# COPYRIGHT International Business Machines Corp. 1985,1989
# All Rights Reserved
#  
# US Government Users Restricted Rights - Use, duplication or
# disclosure restricted by GSA ADP Schedule Contract with IBM Corp.
#  
# IBM_PROLOG_END_TAG
#
# COMPONENT_NAME: TCPIP hosts
#
# FUNCTIONS: loopback
#
# ORIGINS: 26  27
#
# (C) COPYRIGHT International Business Machines Corp. 1985, 1989
# All Rights Reserved
# Licensed Materials - Property of IBM
#
# US Government Users Restricted Rights - Use, duplication or
# disclosure restricted by GSA ADP Schedule Contract with IBM Corp.
#
#  /etc/hosts
#
# This file contains the hostnames and their address for hosts in the
# network.  This file is used to resolve a hostname into an Internet
# address.  
#
# At minimum, this file must contain the name and address for each
# device defined for TCP in your /etc/net file.  It may also contain
# entries for well-known (reserved) names such as timeserver
# and printserver as well as any other host name and address.
#
# The format of this file is:
# Internet Address      Hostname        # Comments
# Internet Address can be either IPv4 or IPv6 address.
# Items are separated by any number of blanks and/or tabs.  A '#'
# indicates the beginning of a comment; characters up to the end of the
# line are not interpreted by routines which search this file.  Blank
# lines are allowed.

# Internet Address      Hostname        # Comments
# 192.9.200.1           net0sample      # ethernet name/address
# 128.100.0.1           token0sample    # token ring name/address
# 10.2.0.2              x25sample       # x.25 name/address
# 2000:1:1:1:209:6bff:feee:2b7f         ipv6sample      # ipv6 name/address
127.0.0.1               loopback localhost      # loopback (lo0) name/address

10.172.121.230    pzdb1
10.172.121.231    pzdb1vip
192.168.100.230   pzdb1prv

10.172.121.232    pzdb2
10.172.121.233    pzdb2vip
192.168.100.232   pzdb2prv

$
$ ifconfig -a
en8: flags=5e080863,c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>
        inet 10.172.121.230 netmask 0xffffffe0 broadcast 10.172.121.255
        inet 10.172.121.231 netmask 0xffffff00 broadcast 10.172.121.255
         tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
en9: flags=5e080863,c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>
        inet 192.168.100.230 netmask 0xffffff00 broadcast 192.168.100.255
         tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
lo0: flags=e08084b,c0<UP,BROADCAST,LOOPBACK,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,LARGESEND,CHAIN>
        inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255
        inet6 ::1%1/0
         tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1
$
$ oifcfg getif
en8  10.172.121.224  global  public
en9  192.168.100.0  global  cluster_interconnect
$
$ netstat -rn
Routing tables
Destination        Gateway           Flags   Refs     Use  If   Exp  Groups

Route Tree for Protocol Family 2 (Internet):
default            10.172.121.225    UG        0        87 en8      -      -   
10.172.121/24      10.172.121.231    U         0         0 en8      -      -   
10.172.121.224     10.172.121.230    UHSb      0         0 en8      -      -   =>
10.172.121.224/27  10.172.121.230    U        13      5507 en8      -      -   
10.172.121.230     127.0.0.1         UGHS      5       771 lo0      -      -   
10.172.121.231     127.0.0.1         UGHS      1        43 lo0      -      -   
10.172.121.255     10.172.121.230    UHSb      0         4 en8      -      -   
127/8              127.0.0.1         U        51     10525 lo0      -      -   
192.168.100.0      192.168.100.230   UHSb      0         0 en9      -      -   =>
192.168.100/24     192.168.100.230   U        33     37129 en9      -      -   
192.168.100.230    127.0.0.1         UGHS     31       121 lo0      -      -   
192.168.100.255    192.168.100.230   UHSb      0         4 en9      -      -   

Route Tree for Protocol Family 24 (Internet v6):
::1%1              ::1%1             UH        0        18 lo0      -      -   
$
$ netstat -in
Name  Mtu   Network     Address            Ipkts Ierrs    Opkts Oerrs  Coll
en8   1500  link#2      e4.1f.13.4e.93.96     8078     0     5723     3     0
en8   1500  10.172.121. 10.172.121.230       8078     0     5723     3     0
en8   1500  10.172.121  10.172.121.231       8078     0     5723     3     0
en9   1500  link#3      e4.1f.13.4e.96.c0    50402     0    53196     3     0
en9   1500  192.168.100 192.168.100.230     50402     0    53196     3     0
lo0   16896 link#1                          11600     0    11600     0     0
lo0   16896 127         127.0.0.1           11600     0    11600     0     0
lo0   16896 ::1%1                           11600     0    11600     0     0
$
$ srvctl config nodeapps -n pzdb1 -a -g -s -l
VIP exists.: /pzdb1vip/10.172.121.231/255.255.255.0/en8
GSD exists.
ONS daemon exists.
Listener exists.
$
$ srvctl config nodeapps -n pzdb2 -a -g -s -l
VIP exists.: /pzdb2vip/10.172.121.233/255.255.255.0/en8
GSD exists.
ONS daemon exists.
Listener exists.
$

javaio

第二个节点：

#
# hostname
pzdb2
# date
Wed Jan 11 15:13:07 GMT+08:00 2012
# uptime
  03:13PM   up 19 mins,  2 users,  load average: 0.92, 1.08, 0.81
# df -g
Filesystem    GB blocks      Free %Used    Iused %Iused Mounted on
/dev/hd4          25.00     16.54   34%    13337     1% /
/dev/hd2           4.00      2.17   46%    41961     8% /usr
/dev/hd9var        4.00      3.80    6%     6739     1% /var
/dev/hd3           4.00      3.72    8%      919     1% /tmp
/dev/hd1           4.00      4.00    1%       21     1% /home
/dev/hd11admin      4.00      4.00    1%        5     1% /admin
/proc                 -         -    -         -     -  /proc
/dev/hd10opt      10.00      9.91    1%     2053     1% /opt
/dev/livedump      0.25      0.25    1%        4     1% /var/adm/ras/livedump
/dev/oraclelv     50.00     32.77   35%    32747     1% /u01
#
# errpt|more
IDENTIFIER TIMESTAMP  T C RESOURCE_NAME  DESCRIPTION
A6DF45AA   0111145412 I O RMCdaemon      The daemon is started.
EC0BCCD4   0111145312 T H ent3           ETHERNET DOWN
67145A39   0111145212 U S SYSDUMP        SYSTEM DUMP
F48137AC   0111145112 U O minidump       COMPRESSED MINIMAL DUMP
CB4A951F   0111145112 I S SRC            SOFTWARE PROGRAM ERROR
9DBCFDEE   0111145412 T O errdemon       ERROR LOGGING TURNED ON
192AC071   0111144312 T O errdemon       ERROR LOGGING TURNED OFF
FE2DEE00   0111144012 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111143912 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111143912 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111143812 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111143812 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111143712 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111143612 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111143512 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111143512 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111143212 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111143112 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111143012 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111142912 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111142912 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111142812 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111142712 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111142612 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111142612 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111142512 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111142412 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111142312 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111142312 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111142212 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111142212 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111142112 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111142112 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111141512 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111140112 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111135612 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
FE2DEE00   0111135512 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET
#
#
# errpt -aj FE2DEE00
---------------------------------------------------------------------------
LABEL:          AIXIF_ARP_DUP_ADDR
IDENTIFIER:     FE2DEE00

Date/Time:       Wed Jan 11 14:40:39 GMT+08:00 2012
Sequence Number: 4268
Machine Id:      00C26F564C00
Node Id:         pzdb2
Class:           S
Type:            PERM
WPAR:            Global
Resource Name:   SYSXAIXIF      

Description
DUPLICATE IP ADDRESS DETECTED IN THE NET

Failure Causes
ARP RESPONSE RECEIVED FOR MY IP ADDRESS

        Recommended Actions
        CONTACT NETWORK ADMINISTRATOR

Detail Data
DUPLICATE IP ADDRESS
0AAC 79E9
MAC ADDRESS
C60A A99D F149
Duplicates
Number of duplicates
           7
Time of first duplicate
Wed Jan 11 14:40:19 GMT+08:00 2012
Time of last duplicate
Wed Jan 11 14:40:39 GMT+08:00 2012
---------------------------------------------------------------------------
LABEL:          AIXIF_ARP_DUP_ADDR
IDENTIFIER:     FE2DEE00

Date/Time:       Wed Jan 11 14:39:59 GMT+08:00 2012
Sequence Number: 4267
Machine Id:      00C26F564C00
Node Id:         pzdb2
Class:           S
Type:            PERM
WPAR:            Global
Resource Name:   SYSXAIXIF      

Description
DUPLICATE IP ADDRESS DETECTED IN THE NET

Failure Causes
ARP RESPONSE RECEIVED FOR MY IP ADDRESS

        Recommended Actions
        CONTACT NETWORK ADMINISTRATOR

Detail Data
DUPLICATE IP ADDRESS
0AAC 79E9
MAC ADDRESS
C60A A99D F149
Duplicates
Number of duplicates
          11
Time of first duplicate
Wed Jan 11 14:39:28 GMT+08:00 2012
Time of last duplicate
Wed Jan 11 14:39:59 GMT+08:00 2012
---------------------------------------------------------------------------
LABEL:          AIXIF_ARP_DUP_ADDR
IDENTIFIER:     FE2DEE00

Date/Time:       Wed Jan 11 14:39:19 GMT+08:00 2012
Sequence Number: 4266
Machine Id:      00C26F564C00
Node Id:         pzdb2
Class:           S
Type:            PERM
WPAR:            Global
Resource Name:   SYSXAIXIF      

Description
DUPLICATE IP ADDRESS DETECTED IN THE NET

Failure Causes
ARP RESPONSE RECEIVED FOR MY IP ADDRESS

        Recommended Actions
        CONTACT NETWORK ADMINISTRATOR

Detail Data
DUPLICATE IP ADDRESS
0AAC 79E9
MAC ADDRESS
C60A A99D F149
Duplicates
Number of duplicates
           7
Time of first duplicate
Wed Jan 11 14:38:58 GMT+08:00 2012
Time of last duplicate
Wed Jan 11 14:39:19 GMT+08:00 2012
---------------------------------------------------------------------------
LABEL:          AIXIF_ARP_DUP_ADDR
IDENTIFIER:     FE2DEE00

Date/Time:       Wed Jan 11 14:38:49 GMT+08:00 2012
Sequence Number: 4265
Machine Id:      00C26F564C00
Node Id:         pzdb2
Class:           S
Type:            PERM
WPAR:            Global
Resource Name:   SYSXAIXIF      

Description
DUPLICATE IP ADDRESS DETECTED IN THE NET

Failure Causes
ARP RESPONSE RECEIVED FOR MY IP ADDRESS

        Recommended Actions
        CONTACT NETWORK ADMINISTRATOR

Detail Data
DUPLICATE IP ADDRESS
0AAC 79E9
MAC ADDRESS
C60A A99D F149
Duplicates
Number of duplicates
           7
Time of first duplicate
Wed Jan 11 14:38:28 GMT+08:00 2012
Time of last duplicate
Wed Jan 11 14:38:49 GMT+08:00 2012
---------------------------------------------------------------------------

javaio

续楼上
#
# su - oracle
$ id
uid=301(oracle) gid=301(oinstall) groups=302(dba)
$
$ cd /u01/app/oracle/product/10.2.0/crs/bin
$ pwd
/u01/app/oracle/product/10.2.0/crs/bin
$
$ cluvfy stage -post crsinst -n all -verbose

Performing post-checks for cluster services setup

Checking node reachability...

Check: Node reachability from node "pzdb2"
  Destination Node                      Reachable?            
  ------------------------------------  ------------------------
  pzdb1                                 yes                    
  pzdb2                                 yes                    
Result: Node reachability check passed from node "pzdb2".


Checking user equivalence...

Check: User equivalence for user "oracle"
  Node Name                             Comment               
  ------------------------------------  ------------------------
  pzdb2                                 passed                 
  pzdb1                                 passed                 
Result: User equivalence check passed for user "oracle".

Checking Cluster manager integrity...


Checking CSS daemon...
  Node Name                             Status                 
  ------------------------------------  ------------------------
  pzdb2                                 running               
  pzdb1                                 running               
Result: Daemon status check passed for "CSS daemon".

Cluster manager integrity check passed.

Checking cluster integrity...

  Node Name                          
  ------------------------------------
  pzdb1                              
  pzdb2                              

Cluster integrity check passed


Checking OCR integrity...

Checking the absence of a non-clustered configuration...
All nodes free of non-clustered, local-only configurations.

Uniqueness check for OCR device passed.

Checking the version of OCR...
OCR of correct Version "2" exists.

Checking data integrity of OCR...
Data integrity check for OCR passed.

OCR integrity check passed.

Checking CRS integrity...

Checking daemon liveness...

Check: Liveness for "CRS daemon"
  Node Name                             Running               
  ------------------------------------  ------------------------
  pzdb2                                 yes                    
  pzdb1                                 yes                    
Result: Liveness check passed for "CRS daemon".

Checking daemon liveness...

Check: Liveness for "CSS daemon"
  Node Name                             Running               
  ------------------------------------  ------------------------
  pzdb2                                 yes                    
  pzdb1                                 yes                    
Result: Liveness check passed for "CSS daemon".

Checking daemon liveness...

Check: Liveness for "EVM daemon"
  Node Name                             Running               
  ------------------------------------  ------------------------
  pzdb2                                 yes                    
  pzdb1                                 yes                    
Result: Liveness check passed for "EVM daemon".

Liveness of all the daemons
  Node Name     CRS daemon                CSS daemon                EVM daemon
  ------------  ------------------------  ------------------------  ----------
  pzdb2         yes                       yes                       yes      
  pzdb1         yes                       yes                       yes      

Checking CRS health...

Check: Health of CRS
  Node Name                             CRS OK?               
  ------------------------------------  ------------------------
  pzdb2                                 yes                    
  pzdb1                                 yes                    
Result: CRS health check passed.

CRS integrity check passed.

Checking node application existence...


Checking existence of VIP node application
  Node Name     Required                  Status                    Comment  
  ------------  ------------------------  ------------------------  ----------
  pzdb2         yes                       exists                    passed   
  pzdb1         yes                       exists                    passed   
Result: Check passed.

Checking existence of ONS node application
  Node Name     Required                  Status                    Comment  
  ------------  ------------------------  ------------------------  ----------
  pzdb2         no                        exists                    passed   
  pzdb1         no                        exists                    passed   
Result: Check passed.

Checking existence of GSD node application
  Node Name     Required                  Status                    Comment  
  ------------  ------------------------  ------------------------  ----------
  pzdb2         no                        exists                    passed   
  pzdb1         no                        exists                    passed   
Result: Check passed.


Post-check for cluster services setup was successful.
$
$ crs_stat -t
Name           Type           Target    State     Host      
------------------------------------------------------------
ora....SM1.asm application    ONLINE    ONLINE    pzdb1      
ora....B1.lsnr application    ONLINE    ONLINE    pzdb1      
ora.pzdb1.gsd  application    ONLINE    ONLINE    pzdb1      
ora.pzdb1.ons  application    ONLINE    ONLINE    pzdb1      
ora.pzdb1.vip  application    ONLINE    ONLINE    pzdb1      
ora....SM2.asm application    ONLINE    ONLINE    pzdb2      
ora....B2.lsnr application    ONLINE    ONLINE    pzdb2      
ora.pzdb2.gsd  application    ONLINE    ONLINE    pzdb2      
ora.pzdb2.ons  application    ONLINE    ONLINE    pzdb2      
ora.pzdb2.vip  application    ONLINE    ONLINE    pzdb2      
ora.sjpz.db    application    ONLINE    ONLINE    pzdb2      
ora....z1.inst application    ONLINE    ONLINE    pzdb1      
ora....z2.inst application    ONLINE    ONLINE    pzdb2      
$ crsctl check crs
CSS appears healthy
CRS appears healthy
EVM appears healthy
$ hostname
pzdb2
$ cat /etc/hosts
# @(#)47        1.2  src/bos/usr/sbin/netstart/hosts, cmdnet, bos61D, d2007_49A2 10/1/07 13:57:52
# IBM_PROLOG_BEGIN_TAG
# This is an automatically generated prolog.
#
# bos61D src/bos/usr/sbin/netstart/hosts 1.2
#
# Licensed Materials - Property of IBM
#
# COPYRIGHT International Business Machines Corp. 1985,1989
# All Rights Reserved
#
# US Government Users Restricted Rights - Use, duplication or
# disclosure restricted by GSA ADP Schedule Contract with IBM Corp.
#
# IBM_PROLOG_END_TAG
#
# COMPONENT_NAME: TCPIP hosts
#
# FUNCTIONS: loopback
#
# ORIGINS: 26  27
#
# (C) COPYRIGHT International Business Machines Corp. 1985, 1989
# All Rights Reserved
# Licensed Materials - Property of IBM
#
# US Government Users Restricted Rights - Use, duplication or
# disclosure restricted by GSA ADP Schedule Contract with IBM Corp.
#
#  /etc/hosts
#
# This file contains the hostnames and their address for hosts in the
# network.  This file is used to resolve a hostname into an Internet
# address.
#
# At minimum, this file must contain the name and address for each
# device defined for TCP in your /etc/net file.  It may also contain
# entries for well-known (reserved) names such as timeserver
# and printserver as well as any other host name and address.
#
# The format of this file is:
# Internet Address      Hostname        # Comments
# Internet Address can be either IPv4 or IPv6 address.
# Items are separated by any number of blanks and/or tabs.  A '#'
# indicates the beginning of a comment; characters up to the end of the
# line are not interpreted by routines which search this file.  Blank
# lines are allowed.

# Internet Address      Hostname        # Comments
# 192.9.200.1           net0sample      # ethernet name/address
# 128.100.0.1           token0sample    # token ring name/address
# 10.2.0.2              x25sample       # x.25 name/address
# 2000:1:1:1:209:6bff:feee:2b7f         ipv6sample      # ipv6 name/address
127.0.0.1               loopback localhost      # loopback (lo0) name/address

10.172.121.230    pzdb1
10.172.121.231    pzdb1vip
192.168.100.230   pzdb1prv

10.172.121.232    pzdb2
10.172.121.233    pzdb2vip
192.168.100.232   pzdb2prv
$
$ ifconfig -a
en8: flags=5e080863,c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>
        inet 10.172.121.232 netmask 0xffffffe0 broadcast 10.172.121.255
        inet 10.172.121.233 netmask 0xffffff00 broadcast 10.172.121.255
         tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
en9: flags=5e080863,c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>
        inet 192.168.100.232 netmask 0xffffff00 broadcast 192.168.100.255
         tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
lo0: flags=e08084b,c0<UP,BROADCAST,LOOPBACK,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,LARGESEND,CHAIN>
        inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255
        inet6 ::1%1/0
         tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1
$
$ oifcfg getif
en8  10.172.121.224  global  public
en9  192.168.100.0  global  cluster_interconnect
$

javaio

续楼上
$ netstat -rn
Routing tables
Destination        Gateway           Flags   Refs     Use  If   Exp  Groups

Route Tree for Protocol Family 2 (Internet):
default            10.172.121.225    UG        0       132 en8      -      -  
10.172.121/24      10.172.121.233    U         0         0 en8      -      -  
10.172.121.224     10.172.121.232    UHSb      0         0 en8      -      -   =>
10.172.121.224/27  10.172.121.232    U        12      4680 en8      -      -  
10.172.121.232     127.0.0.1         UGHS      5       611 lo0      -      -  
10.172.121.233     127.0.0.1         UGHS      1        33 lo0      -      -  
10.172.121.255     10.172.121.232    UHSb      0         4 en8      -      -  
127/8              127.0.0.1         U        52     11182 lo0      -      -  
192.168.100.0      192.168.100.232   UHSb      0         0 en9      -      -   =>
192.168.100/24     192.168.100.232   U        44     35592 en9      -      -  
192.168.100.232    127.0.0.1         UGHS     21       108 lo0      -      -  
192.168.100.255    192.168.100.232   UHSb      0         4 en9      -      -  

Route Tree for Protocol Family 24 (Internet v6):
::1%1              ::1%1             UH        0        18 lo0      -      -  
$
$ netstat -in
Name  Mtu   Network     Address            Ipkts Ierrs    Opkts Oerrs  Coll
en8   1500  link#2      e4.1f.13.4e.96.be     6592     0     4918     3     0
en8   1500  10.172.121. 10.172.121.232       6592     0     4918     3     0
en8   1500  10.172.121  10.172.121.233       6592     0     4918     3     0
en9   1500  link#3      e4.1f.13.4e.93.9a    58888     0    47488     3     0
en9   1500  192.168.100 192.168.100.232     58888     0    47488     3     0
lo0   16896 link#1                          12074     0    12074     0     0
lo0   16896 127         127.0.0.1           12074     0    12074     0     0
lo0   16896 ::1%1                           12074     0    12074     0     0
$
$
$ srvctl config nodeapps -n pzdb1 -a -g -s -l
VIP exists.: /pzdb1vip/10.172.121.231/255.255.255.0/en8
GSD exists.
ONS daemon exists.
Listener exists.
$
$ srvctl config nodeapps -n pzdb2 -a -g -s -l
VIP exists.: /pzdb2vip/10.172.121.233/255.255.255.0/en8
GSD exists.
ONS daemon exists.
Listener exists.
$
$

从以上结果中我看都是正常的，DUPLICATE IP ADDRESS 的错是我把那个有问题的WINDOWS2003启动起来产生的，后来被迫，小机集群实在找不出什么不对的地方了，就把win2003服务器断开网络，然后我观察运行了2个多小时没有问题产生，所以我怀疑是WINDOWS2003染毒发ARP包导致的此问题，跟我先前还是现在修改好VIP配置基本没关系。

全程操作日志在6楼 我以附件上传供查阅

Maclean Liu(刘相兵

$ srvctl config nodeapps -n pzdb1 -a
VIP exists.: /pzdb1vip/10.172.121.231/255.255.255.0/en8:en9
$ srvctl config nodeapps -n pzdb2 -a
VIP exists.: /pzdb2vip/10.172.121.233/255.255.255.0/en8:en9

FE2DEE00   0111144012 P S SYSXAIXIF      DUPLICATE IP ADDRESS DETECTED IN THE NET


vip配置不正确+ IP冲突， 问题比较明显；

Oracle的网络问题就需要这样 一步一步 有条不紊的排查！

javaio

原帖由 maclean 于 2012-1-11 20:26 发表
$ srvctl config nodeapps -n pzdb1 -a
VIP exists.: /pzdb1vip/10.172.121.231/255.255.255.0/en8:en9
$ srvctl config nodeapps -n pzdb2 -a
VIP exists.: /pzdb2vip/10.172.121.233/255.255.255.0/en8:en9

FE2DE ...

说的没错，问题我今天已经纠正了，帖子我也编辑了，看一楼我重新描述了问题

javaio

现在问题已经可以确定，就是那台WIN2003在捣鬼，昨天下午4点后把嫌疑win2003关机后，到现在回帖集群一直运行正常，errpt也无新错误产生，crs_stat -t 也全正常，netstat -in也全正常，两个节点间相互ping 实际地址，vip，private都正常，数据库运行也正常。看来非要搞一把windows不可了。
这鬼东西害的我搞了好几天，唉

sky13and23

前几天也遇到此问题，vip配置不正确，现在已经更正，还是仔细点好