Oracle数据库数据恢复、性能优化

找回密码
注册
搜索
热搜: 活动 交友 discuz
Oracle数据库数据恢复、性能优化»论坛 › Oracle › Oracle数据库管理 › 关于11g R2 RAC在AIX和HP UX环境下 GPnP参数差异问题 ...
发新帖
yehc@epsoft.com

75

积分

1

好友

8

主题

关于11g R2 RAC在AIX和HP UX环境下 GPnP参数差异问题

1#
发表于 2012-4-23 11:51:25 | 查看: 8263| 回复: 9
刘大，请帮忙看看。

数据库版本11.2.0.2 RAC
一、AIX 环境下
系统版本
# oslevel -s
6100-06-05-1115
rac网络配置
# ./oifcfg getif
en4  10.80.143.96  global  public
en5  10.10.12.0  global  cluster_interconnect
en6  10.10.13.0  global  cluster_interconnect

# netstat -in
Name  Mtu   Network     Address            Ipkts Ierrs    Opkts Oerrs  Coll
en0   1500  link#2      5c.f3.fc.6.d7.c0 22024427     0  2174745     0     0
en0   1500  192.168.10  192.168.10.25    22024427     0  2174745     0     0
en4   1500  link#3      5c.f3.fc.f.32.6c 69882589     0 47166811     2     0
en4   1500  10.80.143.9 10.80.143.120    69882589     0 47166811     2     0
en4   1500  10.80.143.9 10.80.143.97     69882589     0 47166811     2     0
en5   1500  link#4      5c.f3.fc.f.32.6d 320292967     0 282373333     2     0
en5   1500  10.10.12    10.10.12.1       320292967     0 282373333     2     0
en5   1500  169.254     169.254.38.155   320292967     0 282373333     2     0
en6   1500  link#5      5c.f3.fc.f.32.5e 319664007     0 281515597     2     0
en6   1500  10.10.13    10.10.13.1       319664007     0 281515597     2     0
en6   1500  169.254.128 169.254.133.52   319664007     0 281515597     2     0
lo0   16896 link#1                       89700411     0 89701826     0     0
lo0   16896 127         127.0.0.1        89700411     0 89701826     0     0
lo0   16896 ::1%1                        89700411     0 89701826     0     0
查看心跳网络参数
SQL> select name,ip_address from v$cluster_interconnects;

NAME            IP_ADDRESS
--------------- ----------------
en5             169.254.38.155
en6             169.254.133.52

SQL> select * from x$skgxpia;
ADDR                   INDX    INST_ID PUB_SKGXPI PICKED_SKGXPIA                      NAME_SKGXPIA    IP_SKGXPIA
---------------- ---------- ---------- ---------- ----------------------------------- --------------- ----------------
07000001F792F198          0          1 N         GPnP                                en5             169.254.38.155
07000001F792F2A4          1          1 N         GPnP                                en6             169.254.133.52





二、在HP UX环境下
#uname -a
HP-UX XXXX1 B.11.31 Uia64 0360060695 unlimited-user license   （xxxx主机名）

RAC网络参数配置
xxxx2#[/]oifcfg getif -global
lan2  191.191.191.0  global  cluster_interconnect
lan1  192.192.192.0  global  cluster_interconnect
lan0  172.16.57.0  global  public


xxxx2#[/]netstat -in
Name      Mtu  Network         Address         Ipkts              Ierrs Opkts              Oerrs Coll
lo0      32808 127.0.0.0       127.0.0.1       20587191           0     20587226           0     0   
lan2:801  1500 169.254.0.0     169.254.167.220 184998713          0     111870601          0     0   
lan2      1500 191.191.191.0   191.191.191.2   15567099           0     15636020           0     0   
lan1      1500 192.192.192.0   192.192.192.2   406                0     1733               0     0   
lan0      1500 172.16.57.0     172.16.57.61    6813090            0     239140138          0     0   
lan0:801  1500 172.16.57.0     172.16.57.63    247332461          0     156975             0     0

SQL> select * from x$skgxpia;

ADDR                   INDX    INST_ID PUB_SKGXPI PICKED_SKGXPIA                      NAME_SKGXPIA    IP_SKGXPIA
---------------- ---------- ---------- ---------- ----------------------------------- --------------- ----------------
C000000800FF2AD8          0          2 N          GPnP                                lan2:801        169.254.167.220

SQL> select name,ip_address from v$cluster_interconnects;

NAME            IP_ADDRESS
--------------- ----------------
lan2:801        169.254.167.220
请留意上面红色部分，在Linux/AIX系统环境下，影响中对应Priv网卡都会在RAC启动后自动分配一个IP，169.254的段。
很奇怪，为什么在HP UX环境下虽然配置了2块心跳网卡，但是自动分配的地址就变成一个了。这是不是意味着在HP UX环境下，两个心跳网卡其实真正在跑的只有一块网卡啊？
2#
发表于 2012-4-23 13:30:27
HP UX下的GI 是什么版本？

2侧都运行以下命令 并贴出结果

crsctl stat  res -t -init

gpnptool get



select * from v$cluster_interconnects

回复 只看该作者 道具 举报

3#
发表于 2012-4-23 13:31:04
可能的话收集 以下的这些gpnp 诊断日志：

Grid_home/log/<hostname>/alert*,
Grid_home/log/<hostname>/client/gpnptool*, other client logs
Grid_home/log/<hostname>/gpnpd|mdnsd/*
Grid_home/log/<hostname>/agent/ohasd/oraagent_<username>/*

回复 只看该作者 道具 举报

4#
发表于 2012-4-23 13:56:03

相关日志

xxxx2#[/]crsctl stat res -t -init
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS      
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.asm
      1        ONLINE  ONLINE       xxxx2                    Started            
ora.cluster_interconnect.haip
      1        ONLINE  ONLINE       xxxx2                                       
ora.crsd
      1        ONLINE  ONLINE       xxxx2                                       
ora.cssd
      1        ONLINE  ONLINE       xxxx2                                       
ora.cssdmonitor
      1        ONLINE  ONLINE       xxxx2                                       
ora.ctssd
      1        ONLINE  ONLINE       xxxx2                    ACTIVE:0            
ora.diskmon
      1        ONLINE  ONLINE       xxxx2                                       
ora.evmd
      1        ONLINE  ONLINE       xxxx2                                       
ora.gipcd
      1        ONLINE  ONLINE       xxxx2                                       
ora.gpnpd
      1        ONLINE  ONLINE       xxxx2                                       
ora.mdnsd
      1        ONLINE  ONLINE       xxxx2                                       



xxxx2#[/]gpnptool get
Warning: some command line parameters were defaulted. Resulting command line:
         /grid/product/11.2/bin/gpnptool.bin get -o-

<?xml version="1.0" encoding="UTF-8"?><gpnp:GPnP-Profile Version="1.0" xmlns="http://www.grid-pnp.org/2005/11/gpnp-profile" xmlns:gpnp="http://www.grid-pnp.org/2005/11/gpnp-profile" xmlns:orcl="http://www.oracle.com/gpnp/2005/11/gpnp-profile" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.grid-pnp.org/2005/11/gpnp-profile gpnp-profile.xsd" ProfileSequence="6" ClusterUId="a8fa294843977fe5ff901e69880b1cc8" ClusterName="pydb-cluster" PALocation=""><gpnp:Network-Profile><gpnp:HostNetwork id="gen" HostName="*"><gpnp:Network id="net1" IP="191.191.191.0" Adapter="lan2" Use="cluster_interconnect"/><gpnp:Network id="net2" IP="192.192.192.0" Adapter="lan1" Use="cluster_interconnect"/><gpnp:Network id="net3" IP="172.16.57.0" Adapter="lan0" Use="public"/></gpnp:HostNetwork></gpnp:Network-Profile><orcl:CSS-Profile id="css" DiscoveryString="+asm" LeaseDuration="400"/><orcl:ASM-Profile id="asm" DiscoveryString="" SPFile="+CRSDG/pydb-cluster/asmparameterfile/registry.253.775479609"/><ds:Signature xmlns:ds="http://www.w3.org/2000/09/xmldsig#"><ds:SignedInfo><ds:CanonicalizationMethod Algorithm="http://www.w3.org/2001/10/xml-exc-c14n#"/><ds:SignatureMethod Algorithm="http://www.w3.org/2000/09/xmldsig#rsa-sha1"/><ds:Reference URI=""><ds:Transforms><ds:Transform Algorithm="http://www.w3.org/2000/09/xmldsig#enveloped-signature"/><ds:Transform Algorithm="http://www.w3.org/2001/10/xml-exc-c14n#"> <InclusiveNamespaces xmlns="http://www.w3.org/2001/10/xml-exc-c14n#" PrefixList="gpnp orcl xsi"/></ds:Transform></ds:Transforms><ds:DigestMethod Algorithm="http://www.w3.org/2000/09/xmldsig#sha1"/><ds:DigestValue>AL+5M4oCZfrHVhp1rVszvkdsoT8=</ds:DigestValue></ds:Reference></ds:SignedInfo><ds:SignatureValue>Pj7YwH93NUUkxdxPSMusgqFLg135VBJE9D0UukaE2N/ZSppCuzQuXWueWojmNpApDqSMvRF9lI0Ma/v+tyZeYY/UwJrpAkJxwtWuc9hDCwfumDPjT0fjwXqWeWzsz8l/kBNyXaHZkaMfeeJr7FmFYt747DfM57srKSFK8azqXlU=</ds:SignatureValue></ds:Signature></gpnp:GPnP-Profile>
Success.su - oracle

xxxx2#[/]

SQL> select * from v$cluster_interconnects;

NAME            IP_ADDRESS       IS_ SOURCE
--------------- ---------------- --- -------------------------------
lan2:801        169.254.167.220  NO
只能看到一块心跳网卡。实际配置时选了两块。

log.rar

654.09 KB, 下载次数: 1031

回复 只看该作者 道具 举报

5#
发表于 2012-4-23 15:19:22
action plan:

Oracle Database 11g Clusterware Release 11.2.0.2.0  on HP-UX

<gpnp:Network id="net1" IP="191.191.191.0" Adapter="lan2" Use="cluster_interconnect"/><gpnp:Network id="net2" IP="192.192.192.0" Adapter="lan1" Use="cluster_interconnect"/><gpnp:Network id="net3" IP="172.16.57.0" Adapter="lan0" Use="public"/>

gpnp的配置信息中 显示 的确存在 191.191.191.0 和 192.192.192.0 2个cluster interconnect

action plan:

贴出以下命令的输出

oifcfg iflist -p -n
netstat -iw

回复 只看该作者 道具 举报

6#
发表于 2012-4-23 15:25:35

gpnp网络参数补充信息

xxxx2#[/]oifcfg iflist -p -n
lan2  169.254.0.0  PUBLIC  255.255.0.0
lan2  191.191.191.0  PUBLIC  255.255.255.0
lan1  192.192.192.0  PUBLIC  255.255.255.0
lan0  172.16.57.0  PUBLIC  255.255.255.0

xxxx2#[/]netstat -iw
Name              Mtu        Network         Address         Ipkts               Ierrs      Opkts               Oerrs      Coll
lo0               32808      loopback        localhost       20630459            0          20630494            0          0         
lan2:801          1500       169.254.0.0     169.254.167.220 185544222           0          112269262           0          0         
lan2              1500       191.191.191.0   xxxx2-priv2     15615478            0          15684276            0          0         
lan1              1500       192.192.192.0   xxxx2-priv1     407                 0          1738                0          0         
lan0              1500       172.16.57.0     xxxx2           6852247             0          239291613           0          0         
lan0:801          1500       172.16.57.0     xxxx2-vip       247476772           0          157569              0          0

回复 只看该作者 道具 举报

7#
发表于 2012-4-23 15:33:00
lan2  169.254.0.0  PUBLIC  255.255.0.0
lan2  191.191.191.0  PUBLIC  255.255.255.0
lan1  192.192.192.0  PUBLIC  255.255.255.0

PUBLIC?

lan1、lan2 显示为PUBLIC 不太正常


11.2.0.2 +HP-UX 存在一个bug 会导致 多个private network 下 只使用一个 HAIP


ODM FINDING:

Bug 10624246: 11GR2 HAVING THREE PRIVATE NETWORKS, BUT HAVING ONE HAIP

Hdr: 10624246 11.2.0.2 PCW 11.2.0.2 GIPC PRODID-5 PORTID-197
Abstract: 11GR2 HAVING THREE PRIVATE NETWORKS, BUT HAVING ONE HAIP

11gR2 having three private networks, but having one HAIP

PROBLEM:
--------
In 11gR2, Ct i having three private networks, but having only one HAIP.Ct
have shutdown both nodes of the cluster
and have restarted them.  I still have three private networks and one haip.  
There are three separate private networks.  Bonding/aggregation is not used.  
On HPUX the term is aggregated,
since the product used is Auto Port Aggregation.  Aggregated interface names
start at 900 (i.e. lan900, lan901, etc).  

DIAGNOSTIC ANALYSIS:
--------------------
# oifcfg iflist -p -n
lan11 169.254.0.0 PUBLIC 255.255.0.0
lan11 192.168.1.0 PRIVATE 255.255.255.0
lan10 192.168.1.0 PRIVATE 255.255.255.0
lan41 192.168.1.0 PRIVATE 255.255.255.0
lan40 10.162.3.0 PUBLIC 255.255.255.0



ctdb1# netstat -iw
Name Mtu Network Address Ipkts Ierrs Opkts Oerrs Coll
lan11:801 1500 169.254.0.0 169.254.129.191 11301 0 6828 0 0
lo0 32808 loopback localhost 456079 0 456079 0 0
lan40:801 1500 10.162.3.0 ctdb1oracle.northamerica.cerner.net 33 0 23 0 0
lan11 1500 192.168.1.0 192.168.1.13 932207 0 2733932 0 0
lan10 1500 192.168.1.0 192.168.1.12 930856 0 669 0 0
lan41 1500 192.168.1.0 192.168.1.11 932430 0 734 0 0
lan40:802 1500 10.162.3.0 scan-ctcl.northamerica.cerner.net 340 0 16 0 0
lan40 1500 10.162.3.0 ctdb1.northamerica.cerner.net 12176028 0 13834108 0 0
lan40:804* 1500 none none 0 0 0 0 0

In the examples above, lan11/lan11:801 for subnet 169.254.0.0 and address
169.254.129.191 is the haip.  Again, I do not think it should be labeled as
"PUBLIC.

lan11 for subnet 192.168.1.0 and address 192.168.1.13 is one of the three
private networks.  
lan10 for subnet 192.168.1.0 and address 192.168.1.12 is one of the three
private networks.
lan41 for subnet 192.168.1.0 and address 192.168.1.11 is one of the three
private networks.

lan40 for subnet 10.162.3.0 and name ctdb1.northamerica.cerner.net is the
public network.
lan40:801 for subnet 10.162.3.0 and name ctdb1oracle.northamerica.cerner.net
is the local VIP.
lan40:802 for subnet 10.162.3.0 and name scan-ctcl.northamerica.cerner.net is
the SCAN VIP on this node, only LISTENER_SCAN1 is running on this node.

SQL> select name,ip_address from v$cluster_interconnects;

NAME            IP_ADDRESS
--------------- ----------------
lan11:801       169.254.129.191

回复 只看该作者 道具 举报

8#
发表于 2012-4-23 15:41:28
谢谢刘大的回复。
按照你的建议是不是要把GI升到11.2.0.3
metalink上有篇文章页介绍了关于Only one HAIP created on HP-UX
11gR2 Grid Infrastructure Redundant Interconnect and ora.cluster_interconnect.haip [ID 1210883.1]

回复 只看该作者 道具 举报

9#
发表于 2012-4-23 15:49:11
bug 10114953
Issue: Only one HAIP created on HP-UX

The bug is fixed in 11.2.0.4, patch 10114953 is required before 11.2.0.4 is released.

OS kernel parameter dlpi_max_ub_promisc must be set to greater than 1 for the patch to be effective.

dlpi_max_ub_promisc - maximum number of unbound promiscuous streams allowed on a LAN interface

看起来这是一个HP-UX 操作系统特有的bug



patch 10114953 目前在 Hp-UX 的 11.2.0.3.0 和 11.2.0.2.3上有对应的版本：

abbr_2815f9c0dd03d22c824acee6ba46586e.png


建议 如果不影响使用的话 暂时可以不升级 ，等待 11.2.0.4 patch set release

回复 只看该作者 道具 举报

10#
发表于 2012-4-23 16:07:28
好的。谢谢刘大
现在暂时不印象业务。

另外也想请教个问题
oifcfg这个命令是调用哪个文件的信息的。我看了下10g的cluster在执行这个命令的时候 （系统环境AIX6.1 + Oracle 10g clusterware 10.2.0.4)
关于心跳网卡的如果地址设置成192.网段的好像状态都是UNKONW的。
node1 ->oifcfg iflist -p -n
en0  191.191.191.0  UNKNOWN  255.255.255.0
en4  10.82.10.0  PRIVATE  255.255.255.0
en5  193.193.193.0  UNKNOWN  255.255.255.0
node1 ->sqlplus "/as sysdba"

SQL*Plus: Release 10.2.0.4.0 - Production on Mon Apr 23 15:52:27 2012

Copyright (c) 1982, 2007, Oracle.  All Rights Reserved.


Connected to:
Oracle Database 10g Enterprise Edition Release 10.2.0.4.0 - 64bit Production
With the Partitioning, Real Application Clusters, Oracle Label Security, OLAP,
Data Mining Scoring Engine and Real Application Testing options

SQL> select * from v$cluster_interconnects;

NAME            IP_ADDRESS       IS_ SOURCE
--------------- ---------------- --- -------------------------------
en5             193.193.193.1    NO  Oracle Cluster Repository




我看了下另外一个客户的环境
环境：AIX6.1+11gr2 RAC（11.2.0.2）
# ./oifcfg iflist -p -n
en4  10.80.143.96  PUBLIC  255.255.255.224
en5  10.10.12.0  PRIVATE  255.255.255.0
en6  10.10.13.0  PRIVATE  255.255.255.0
两个心跳网卡的网段设置成10.10.网段，在执行oifcfg iflist -p -n命令时可以正确的看到private网卡信息。

现在怀疑是不是RAC在配置心跳网卡的时候对于IP地址段是否有特殊要求的？是不是不能使用191/193这样的地址段？

回复 只看该作者 道具 举报

返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

QQ|手机版|Archiver|Oracle数据库数据恢复、性能优化

GMT+8, 2024-11-15 12:29 , Processed in 0.065851 second(s), 24 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部
TEL/電話+86 13764045638
Email service@parnassusdata.com
QQ 47079569