数据库升级11g安装文档

ALLSTARS_ORACLE

数据库升级11g安装文档

11gR2 GI/RAC安装准备

      
1.1        硬件要求
        内存至少1GB
        SWAP 区：当内存<=2GB时，swap=1.5*RAM
                当2GB< 内存<=8GB时，swap=RAM
                当内存> 8GB时，swap=0.75*RAM（48GB）
1.2        操作系统版本

结论: 满足。
1.3        SGERAC版本

结论: 当前SGeRAC版本为11.19,需要升级11.20 才能兼容 Oracle 11.2.0.3

检查:
swlist -l bundle |grep -i service

zjddjs03:/u01/patch/crs# swlist -l bundle |grep -i service
  ProviderSvcsBase      C.02.00.05.01  Provider Services Base
  T1905CA               A.11.20.00.01  Serviceguard   
  T1907BA               A.11.20.00     Serviceguard Extension for RAC
zjddjs04:/# swlist -l bundle |grep -i service
  ProviderSvcsBase      C.02.00.05.01  Provider Services Base
  T1905CA               A.11.20.00.01  Serviceguard   
  T1907BA               A.11.20.00     Serviceguard Extension for RAC

1.4        操作系统包、补丁和其它组件

结论:需要安装以下缺失的补丁：
PHCO_40381
PHCO_41479
PHKL_38038
PHKL_39351
PHSS_36354
PHSS_37042
PHSS_39824

说明：如果操作系统已经存在以上补丁的替换补丁，那么可以忽略。
检查：

ALLSTARS_ORACLE

/usr/contrib/bin/show_patches  
zjddjs03:/#PHSS_37959|PHSS_39094|PHSS_39100|PHSS_39102|PHSS_38141|PHSS_39824'                                                   <

  PHKL_38938            SCSI cumulative I/O patch
  PHSS_37042            hppac
  PHSS_37959            LIBCL patch
  PHSS_38141            aC++ Runtime (IA: A.06.20, PA: A.03.85)
  PHSS_39100            Math Library Cumulative Patch
  PHSS_39102            Integrity Unwind Library

zjddjs04:/#PHSS_37959|PHSS_39094|PHSS_39100|PHSS_39102|PHSS_38141|PHSS_39824'                                                   <

  PHKL_38938            SCSI cumulative I/O patch
  PHSS_37042            hppac
  PHSS_37959            LIBCL patch
  PHSS_38141            aC++ Runtime (IA: A.06.20, PA: A.03.85)
  PHSS_39100            Math Library Cumulative Patch
  PHSS_39102            Integrity Unwind Library
1.5        操作系统参数

需要调整的内核参数：
ksi_alloc_max   (nproc*8)
nproc      8192
maxuprc   ((nproc*9)/10)
msgmni    (nproc)
msgtql   (nproc)
ncsize    (8*nproc+3072)
nflocks  (nproc)
ninode    (8*nproc+2048)
nkthread   (((nproc*7)/4)+16)
semmni    (nproc*2)
semmns      (nproc*4)
semmnu      (nproc-4)
shmmax      137438953472
shmmni    4096
shmseg      512
max_async_ports   nproc+100
maxfiles_lim    63448
需要调整的网络参数：
/dev/tcp tcp_smallest_anon_port    9000
/dev/udp udp_smallest_anon_port    9000
/dev/sockets socket_udp_rcvbuf_default   1048576
/dev/sockets socket_buf_max   4194304


调整命令：

kctune -h  'nproc=8192'
kctune -h  'ksi_alloc_max=nproc*8'
kctune -h  'maxuprc=((nproc*9)/10)'
kctune -h  'msgmni=nproc'
kctune -h  'msgtql=nproc'
kctune -h  'ncsize=(8*nproc+3072)'
kctune -h  'nflocks=nproc'
kctune -h  'ninode=(8*nproc+2048)'
kctune -h  'nkthread=(((nproc*7)/4)+16)'
kctune -h  'semmni[(nproc*2)'
kctune -h  'semmns=nproc*4'
kctune -h  'semmnu=nproc-4'
kctune -h  'shmmax=137438953472'
kctune -h  'shmmni=4096'
kctune -h  'shmseg=512'
kctune -h  'max_async_ports=nproc+100'
kctune -h  'maxfiles_lim=63448'
ndd -set /dev/tcp tcp_smallest_anon_port 9000
ndd -set /dev/tcp tcp_largest_anon_port 65500
ndd -set /dev/udp udp_smallest_anon_port 9000
ndd -set /dev/udp udp_largest_anon_port 65500

ndd -set /dev/sockets socket_udp_rcvbuf_default 1048576
ndd -set /dev/sockets socket_buf_max 4194304

说明:需要调整/etc/rc.config.d/nddconf 文件！！！

TRANSPORT_NAME[0]=tcp            
NDD_NAME[0]=tcp_smallest_anon_port
NDD_VALUE[0]=9000

TRANSPORT_NAME[1]=udp         
NDD_NAME[1]=udp_smallest_anon_port
NDD_VALUE[1]=9000

TRANSPORT_NAME[2]=sockets            
NDD_NAME[2]=socket_udp_rcvbuf_default
NDD_VALUE[2]=1048576

TRANSPORT_NAME[3]=sockets            
NDD_NAME[3]=socket_buf_max
NDD_VALUE[3]=4194304

TRANSPORT_NAME[4]=tcp            
NDD_NAME[4]=tcp_largest_anon_port
NDD_VALUE[4]=65500

TRANSPORT_NAME[5]=udp            
NDD_NAME[5]=udp_smallest_anon_port
NDD_VALUE[5]=9000



检查：

kctune ksi_alloc_max nproc maxuprc msgmni msgtql ncsize nflocks ninode nkthread semmni semmns semmnu shmmax shmmni shmseg max_async_ports maxfiles_lim

ndd -get /dev/tcp tcp_smallest_anon_port
ndd -get /dev/tcp tcp_largest_anon_port
ndd -get /dev/udp udp_smallest_anon_port
ndd -get /dev/udp  udp_largest_anon_port

ndd -get /dev/sockets socket_udp_rcvbuf_default
ndd -get /dev/sockets socket_buf_max  
zjddjs03:/# ocks ninode nkthread semmni semmns semmnu shmmax shmmni shmseg max_async_ports maxfiles_lim                          <
Tunable                 Value  Expression    Changes
ksi_alloc_max           65536  65536         Immed
max_async_ports          8292  8292          Immed
maxfiles_lim            63448  63448         Immed
maxuprc                  7373  7373          Immed
msgmni                   8192  8192          Immed
msgtql                   8192  8192          Immed
ncsize                  68608  68608         
nflocks                  8192  8192          Imm (auto disabled)
ninode                  67584  67584         
nkthread                14352  14352         Immed
nproc                    8192  8192          Immed
semmni                  16384  16384         
semmns                  32768  32768         
semmnu                   8188  8188         
shmmax           137438953472  137438953472  Immed
shmmni                   4096  4096          Immed
shmseg                    512  512           Immed
zjddjs03:/#
zjddjs03:/u01/patch/crs# ndd -get /dev/tcp tcp_smallest_anon_port
9000
zjddjs03:/u01/patch/crs# ndd -get /dev/tcp tcp_largest_anon_port
65535
zjddjs03:/u01/patch/crs# ndd -get /dev/udp udp_smallest_anon_port
9000
zjddjs03:/u01/patch/crs# ndd -get /dev/udp  udp_largest_anon_port
65535
zjddjs03:/u01/patch/crs# ndd -get /dev/sockets socket_udp_rcvbuf_default
1048576
zjddjs03:/u01/patch/crs# ndd -get /dev/sockets socket_buf_max  
4194304
zjddjs04:/# ocks ninode nkthread semmni semmns semmnu shmmax shmmni shmseg max_async_ports maxfiles_lim                          <
Tunable                 Value  Expression    Changes
ksi_alloc_max           65536  65536         Immed
max_async_ports          8292  8292          Immed
maxfiles_lim            63448  63448         Immed
maxuprc                  7373  7373          Immed
msgmni                   8192  8192          Immed
msgtql                   8192  8192          Immed
ncsize                  68608  68608         
nflocks                  8192  8192          Imm (auto disabled)
ninode                  67584  67584         
nkthread                14352  14352         Immed
nproc                    8192  8192          Immed
semmni                  16384  16384         
semmns                  32768  32768         
semmnu                   8188  8188         
shmmax           137438953472  137438953472  Immed
shmmni                   4096  4096          Immed
shmseg                    512  512           Immed
zjddjs04:/# ndd -get /dev/tcp tcp_smallest_anon_port
9000
zjddjs04:/# ndd -get /dev/tcp tcp_largest_anon_port
65535
zjddjs04:/# ndd -get /dev/udp udp_smallest_anon_port
9000
zjddjs04:/# ndd -get /dev/udp  udp_largest_anon_port
65535
zjddjs04:/# ndd -get /dev/sockets socket_udp_rcvbuf_default
1048576
zjddjs04:/# ndd -get /dev/sockets socket_buf_max
4194304


1.6        增加11g GI VIP
对于Oracle 11gR2版本，在安装GI的时候Oracle要求必须提供2个IP地址为11g VIP所使用。该IP地址要与PUBLIC地址在同一个网段内。
所指定的VIP IP是：

VIP地址        名称        用途
XX.XX.XX.XX        zjddjs03_vip        VIP
XX.XX.XX.XX        zjddjs04_vip        VIP

说明:这2个VIP在于10g crs切换后，不再使用。
结论: 需要网络管理员分配2个新的11g GI VIP地址，用于11g GI安装。
1.7        增加SCAN IP
对于Oracle 11gR2版本，在安装GI的时候Oracle要求必须提供一个IP地址为SCAN特性使用。该IP地址要与VIP地址在同一个网段内。
所指定的SCAN IP是：

SCAN IP地址        名称        用途
XX.XX.XX.XX        js1-scan        SCAN

结论: 需要网络管理员分配1个新的11g GI  SCAN IP地址，用于11g GI安装。
20.26.11.43             racdb-11g-scan
20.26.11.45             racdb1-11g-vip
20.26.11.46             racdb2-11g-vip

1.8        调整NTP协议
对于RAC系统，Oracle要求在所有的成员主机上配置好NTP协议。
zjddjs03:/# ntpq -p
ntpq: read: Can't assign requested address，要求时钟同步可用


结论:
目前2台主机时间和时钟服务器时间存在15分钟左右的差异。
注意：调整时间特别是调小时间的时候，尽量停止crs，避免CRS出现不必要的重启。

建议：选择停机时间修改。

检查:
ntpq -p
zjddjs03:/u03# ntpq -p
     remote           refid      st t when poll reach   delay   offset    disp
==============================================================================
*zjbjbak1        10.70.105.22     2 u   12  128  377     1.43    0.082    0.20
+zjbjbak2        10.70.105.22     2 u   33  128  377     1.10   -1.301    0.11
zjddjs03:/u03#
zjddjs04:/u03/oracle/app/grid# ntpq -p
     remote           refid      st t when poll reach   delay   offset    disp
==============================================================================
*zjbjbak1        10.70.105.22     2 u  114  128  377     1.27   -0.091    0.09
+zjbjbak2        10.70.105.22     2 u    2  128  377     1.08   -1.304    0.18
1.9        新建/u03文件系统
新建的/u03文件系统用来存放11g GI/RDBMS软件。
结论:需要新建 50GB /u03文件系统。

补充创建grid,oracle安装目录

1.10        新建用户grid
User        UID        GID        Home Directory        Shell        Comment
grid        201        102        /u03/grid        /usr/bin/sh        Grid组件管理员用户

结论: 需要新建 grid用户。

步骤:
当前生产系统oracle用户uid没有统一，uid取500
useradd  -u 500 -g dba -d /home/grid  grid

passwd grid

用户环境
grid：
/home/oracle/.profile

export ORACLE_BASE=/u03/oracle/app/oracle
export ORACLE_HOME=/u03/oracle/app/11.2.0/grid
DISPLAY=10.70.188.101:0.0;export DISPLAY
export PATH=$ORACLE_HOME/OPatch:$ORACLE_HOME/bin:$PATH
umask 022
oracle：

创建11g 的 11g_profile ,vi $HOME/11g_profile

## /home/oracle/11g_profile

export ORACLE_BASE=/u03/oracle/app/oracle
export ORACLE_HOME=/u03/oracle/app/oracle/product/11.2
export GRID_HOME=/u03/oracle/app/11.2.0/grid
DISPLAY=10.70.188.101:0.0;export DISPLAY
export PATH=$ORACLE_HOME/OPatch/:$ORACLE_HOME/bin:$PATH
umask 022



###创建软件安装目录

创建目录最好放在.profile前面
mkdir -p  /u03/oracle/app/11.2.0/grid
chown -R grid:dba  /u03
mkdir -p  /u03/oracle/app/oracle/product/11.2
chown -R oracle:dba  /u03/oracle/app/oracle
chmod -R 775  /u03
1.11        ORACLE软件安装目录
Oracle Home的名称和存放位置
本次升级中新安装的11g软件，将统一采取如下的命名方式：

ALLSTARS_ORACLE

home名称        说明        存放位置        备注
OraGI11g_home1        用于存放11g GI软件        /u03/oracle/app/11.2.0/grid        /u03空间大小50G
OraDB11g_home1        用于存放数据库软件        /u03/oracle/app/oracle/product/11.2       
以上的命名方法既缩短了Oracle软件的目录层次，又为将来安装其它Oracle产品预留了位置。
采用这种统一的Oracle Home安装目录后，.profile文件中关于oracle数据库的环境变量将得到统一，便于系统维护。

环境变量名称        设置值        备注
ORACLE_BASE        /u03/oracle/app/oracle       
ORACLE_HOME        /u03/oracle/app/oracle/product/11.2       
GRID_HOME        /u03/oracle/app/11.2.0/grid       

Inventory的存放位置
Inventory用来存放该主机上所安装的Oracle产品的信息。
在数据库成功升级到11g后，原有的9i,10g软件不再需要，就可以删除9i、10g软件。为此需要将11g软件的Inventory与原有9i、10g软件的相隔离。
将新的11g软件的Inventory目录统一指定为；
项目名称        设置值        备注
Inventory        /u03/oracle/app/oraInventory       
?


1.12        其它配置要求
以下列出需要注意的一些配置要求：
?        主机名称、域名中不可以包含“_”字符（下划线），这个规则同样应用于Net, Host, Gateway的名称中。                                               --满足。
?        确保缺省网关与服务地址、Oracle VIP地址在同一个网段。--分配11g VIP时需要注意
?        在安装11.2.0.3及以上版本的Oracle RAC数据库中，必须对于私有网络在230.0.1.0 子网中启用多播( multicast)。                                    --需要与网络管理员进行确认！
?        Swap的容量按照下面的公式计算：                      --满足。
Between 1GB and 2GB then 1.5 times RAM
Between 2GB and 16 GB then match RAM
More than 16 GB then 16GB RAM
1.13        grid用户配置ssh等同性

### vi  /etc/hosts.allow –可能需要调整

su - grid
cd  /home/grid
rm -rf .ssh
mkdir ~/.ssh
chmod 700 ~/.ssh

ssh-keygen -b 1024 -t dsa
ssh-keygen -b 1024 -t rsa  
cd ~/.ssh  
cat *rsa.pub >> authorized_keys
cat *dsa.pub >> authorized_keys2
scp  * zjddjs04:/home/grid/.ssh

1.14        oracle用户配置ssh等同性

### vi  /etc/hosts.allow –可能需要调整

su - oracle
cd  /home/oracle
rm -rf .ssh
mkdir ~/.ssh
chmod 700 ~/.ssh

ssh-keygen -b 1024 -t dsa
ssh-keygen -b 1024 -t rsa  
cd ~/.ssh  
cat *rsa.pub >> authorized_keys
cat *dsa.pub >> authorized_keys2
scp  * zjddjs04:/home/oracle/.ssh

1.15        检查oracle、grid用户的ssh等同性(2个节点)

su – oracle
说明：重复执行一次
ssh zjddjs03 date
ssh zjddjs04 date
ssh zjddjs03-priv date
ssh zjddjs04-priv date
su – grid
说明：重复执行一次
ssh zjddjs03 date
ssh zjddjs04 date
ssh zjddjs03-priv date
ssh zjddjs04-priv date


Oracle正式环境集群软件的安装配置
2.1        11g GI 安装方式的选择(独立安装、非从10g crs upgrade)

在数据库升级设计方案中，为了保留当前10g CRS环境用于回退，所以我们建议安装另外一套独立的11g GI集群软件，而不是采用ORACLE官方所介绍的直接将10 CRS直接升级到11 GI的常规方法。这是因为，升级10g CRS集群软件到11g GI集群软件可能会对依然保留运行的10g RAC数据库(特别是不具备容灾环境的系统在割接前需要首先完成11g GI以及RDBMS的安装，2个软件安装完后，数据库依然运行在10g版本，直至割接当晚.)运行有一定的影响，可能会触发已知的问题。
10g和11g两套环境可以同时存在，虽然两者无法同时运行，但是可以通过调整配置文件的方法来切换到我们所需要的环境。这样的升级方法，集群软件回退快速，风险极小，降低了项目中实施风险。
公共库库主机当前正在运行10g CRS软件，而11g GI软件无法与10g CRS共存，所以我们无法在此主机上将11g GI软件完全安装并配置好。
采取办法：将11g GI软件首先软件install完成，不运行配置脚本root.sh，将该脚本的运行、以及11g RDBMS、11g补丁应用 等都延迟到正式割接前的停机窗口中完成。

停机窗口次数的考虑与选择：
第一次停机窗口：SGeRAC版本为11.19,需要升级11.20 才能兼容 Oracle 11.2.0.3,需要HP主机厂商实施。是否可以与本章节的GI 安装配置等集中在一个停机窗口中执行？ 还是分开来执行？ (停机时间、停机次数的权衡)，需要ZJMCC项目组/ORACLE ACS一同确认！

2.2        停止10g  数据库，10gCRS(停机窗口)
停止当前10g RAC数据库，停止10g CRS集群。

节点zjddjs03:
ps -ef|grep oracle|grep LOCAL=NO|grep -v grep|awk '{print $2}'|xargs kill -9
sqlplus “/as sysdba”
sql>shutdown immediate;
##停止crs
/u01/oracle/app/oracle/product/10.2.0/crs/bin/crsctl stop crs


节点zjddjs04:

ps -ef|grep oracle|grep LOCAL=NO|grep -v grep|awk '{print $2}'|xargs kill -9

sqlplus “/as sysdba”
sql>shutdown immediate;
##停止crs
/u01/oracle/app/oracle/product/10.2.0/crs/bin/crsctl stop crs

2.3        安装11g GI 之前需要先备份10g CRS环境配置文件

1、disable服务器自动启动CRS
以root用户执行:
$CRS_HOME/bin/crsctl disable crs

2、在/etc目录下新建/etc/10gcrs_bak目录作为备份文件存放的目录
以root用户登录
cd /etc
mkdir 10gcrs_bak
cd 10gcrs_bak
mkdir rc2.d
mkdir rc3.d

3、将以下需要备份的文件和文件夹进行备份
以root用户登录,备份文件:
cp -p /etc/inittab            /etc/10gcrs_bak/inittab
cp -p /sbin/init.d/init.crs           /etc/10gcrs_bak/init.crs
cp -p /sbin/init.d/init.crsd          /etc/10gcrs_bak/init.crsd
cp -p /sbin/init.d/init.cssd          /etc/10gcrs_bak/init.cssd
cp -p /sbin/init.d/init.evmd          /etc/10gcrs_bak/init.evmd
cp -p /etc/oratab             /etc/10gcrs_bak/oratab
cp -p /usr/local/bin/dbhome   /etc/10gcrs_bak/dbhome
cp -p /usr/local/bin/coraenv  /etc/10gcrs_bak/coraenv
cp -p /usr/local/bin/oraenv   /etc/10gcrs_bak/oraenv

备份目录:
rm -rf /etc/10gcrs_bak/oracle
cp -pr /var/opt/oracle         /etc/10gcrs_bak

查看并备份/sbin/rc2.d下的链接:
返回的文件名为（不同的版本结果有可能不同）:
ls -al /sbin/rc2.d/*init.crs
lrwxr-xr--   1 root       sys             21 May  2 10:21 K001init.crs -> /sbin/init.d/init.crs
lrwxr-xr--   1 root       sys             21 Mar  3  2011 K190init.crs -> /sbin/init.d/init.crs
lrwxr-xr--   1 root       sys             21 May  2 11:09 K960init.crs -> /sbin/init.d/init.crs

ls -al /sbin/rc2.d/*init.cssd
ls -al /sbin/rc2.d/*init.crsd
ls -al /sbin/rc2.d/*init.evmd

查看并备份/sbin/rc3.d下链接:
返回的文件名为（不同的版本结果有可能不同）:

ls -al /sbin/rc3.d/*init.crs

lrwxr-xr--   1 root       sys             21 May  2 11:09 S960init.crs -> /sbin/init.d/init.crs

ls -al /sbin/rc3.d/*init.cssd
ls -al /sbin/rc3.d/*init.crsd
ls -al /sbin/rc3.d/*init.evmd

#  ls -al /sbin/rc*.d/*init.crs
lrwxr-xr--   1 root       sys             21 Aug 16 13:44 /sbin/rc2.d/K190init.crs -> /sbin/init.d/init.crs
lrwxr-xr--   1 root       sys             21 Aug 15 16:23 /sbin/rc2.d/K960init.crs -> /sbin/init.d/init.crs
lrwxr-xr--   1 root       sys             21 Aug 16 13:44 /sbin/rc3.d/S960init.crs -> /sbin/init.d/init.crs


tar cvf /etc/10gcrs_bak/rc.tar  /sbin/rc2.d/*init.crs /sbin/rc2.d/*init.cssd  /sbin/rc2.d/*init.crsd  /sbin/rc2.d/*init.evmd /sbin/rc3.d/*init.crs /sbin/rc3.d/*init.cssd  /sbin/rc3.d/*init.crsd /sbin/rc3.d/*init.evmd

4、enable服务器自动启动CRS
以root用户执行:
$CRS_HOME/bin/crsctl enable crs



2.4        安装11.2 GI软件

安装开始时间16：40/14：25

在备份完10g的环境，安装之前需要删除10g的一些配置文件,两个节点都要执行
rm -rf /etc/oratab
rm -rf /var/opt/oracle
rm -rf /usr/local/bin/dbhome
rm -rf  /usr/local/bin/oraenv
rm -rf  /usr/local/bin/coraenv
清理/etc/inittab下crs的入口
并kill剩余的init进程

2.4.1        安装过程



启动OUI之前，需要以root用户执行下列操作：
?        #xhost +
?        在启动OUI的机器运行该命令，开放启动图形化界面的权限

?        $export DISPLAY=<client_ip>:0.0
?        在启动OUI的机器运行该命令，以grid用户运行

然后，执行下面的操作：
#su - grid  (或oracle用户)
export DISPLAY=XXX.XXX.XXX.XXX:0.0
cd /software/oracle/grid
./runInstaller

选择install and configure Grid Infrastucture for a cluster,点击next
选择Advanced Installation,点击next

##2个节点分别执行

diskinfo /dev/rdisk/disk1049
diskinfo /dev/rdisk/disk1050
diskinfo /dev/rdisk/disk1051


pvdisplay   /dev/rdisk/disk1049
pvdisplay   /dev/rdisk/disk1050
pvdisplay   /dev/rdisk/disk1051


chown grid:dba /dev/rdisk/disk1049
chown grid:dba /dev/rdisk/disk1050
chown grid:dba /dev/rdisk/disk1051


##2个节点上均需要执行，一个节点上执行完成，才能在第二个节点执行

rm -rf /tmp/.oracle

ALLSTARS_ORACLE

如果两个节点的盘符不一致，那么需要使用mknod 创建相同名字的设备

1、双机盘符不一致
node1：
crw-r-----   1 bin        sys         13 0x000014 Aug 14 13:38 disk55
crw-r-----   1 bin        sys         13 0x000017 Aug 14 13:22 disk58
mkdir /asmdisks
chown grid:dba /asmdisks
cd /asmdisks
mknod asmdisk1 c 13 0x000014
mknod asmdisk2 c 13 0x000017
chown grid:dba /asmdisks/asmdisk1
chown grid:dba /asmdisks/asmdisk2
node2：
crw-r-----   1 bin        sys         13 0x000008 Aug 14 15:25 disk99
crw-r-----   1 bin        sys         13 0x00000b Aug 14 15:25 disk102
mkdir /asmdisks
chown grid:dba /asmdisks
cd /asmdisks
mknod asmdisk1 c 13 0x000008
mknod asmdisk2 c 13  0x00000b
chown grid:dba /asmdisks/asmdisk1
chown grid:dba /asmdisks/asmdisk2

chmod g+w /asmdisks/asmdisk1
chmod g+w /asmdisks/asmdisk2

INFO: Starting Output Reader Threads for process /tmp/OraInstall2012-08-20_12-56-55PM/ext/bin/kfod
INFO: Parsing 3072 CANDIDATE /asmdisks/asmdisk1 grid     dba     
INFO: Parsing KFOD-00311: Error scanning device /asmdisks/asmdisk2
INFO: The process /tmp/OraInstall2012-08-20_12-56-55PM/ext/bin/kfod exited with code 0
INFO: Waiting for output processor threads to exit.
INFO: Output processor threads exited.

pvcreate -f /dev/rdisk/disk58
之后
INFO: Starting Output Reader Threads for process /tmp/OraInstall2012-08-20_12-56-55PM/ext/bin/kfod
INFO: Parsing 3072 CANDIDATE /asmdisks/asmdisk1 grid     dba     
INFO: Parsing 3072 CANDIDATE /asmdisks/asmdisk2 grid     dba     
INFO: The process /tmp/OraInstall2012-08-20_12-56-55PM/ext/bin/kfod exited with code 0
INFO: Waiting for output processor threads to exit.
INFO: Output processor threads exited.

2、normal状态下需要三个failgroup，至少三块盘

dd if=/dev/zero of=/asmdisks/asmdisk1 bs=1024k count=10
dd if=/dev/zero of=/asmdisks/asmdisk2 bs=1024k count=10

点击next
点击next
选择enXX作为public，enXX作为private,其他网卡do not use, 点击next
选择shared file system, 点击next

选择OCR位置, 点击next
选择vote disk位置, 点击next
点击next
点击yes
点击next
等待安装条件检查

"maximum open file descriptors 》= 63488
This is a prerequisite condition to make sure the user file creation mask (umask) is "0022". (more details)


Device Checks for ASM - This is a pre-check to verify if the specified devices meet the requirements for configuration through the Oracle Universal Storage Manager Configuration Assistant.
  Operation Failed on Nodes: [zjddjs04,  zjddjs03]  List of errors:
-
Could not find the storage  - Cause: Cause Of Problem Not Available  - Action: User Action Not Available
-
Could not find the storage  - Cause: Cause Of Problem Not Available  - Action: User Action Not Available

Verification result of failed node: zjddjs04

List of errors:
-
PRVF-5150 : Path /asmdisks/asmdisk2 is not a valid path on all nodes  - Cause:   - Action:  
-
PRVF-5150 : Path /asmdisks/asmdisk1 is not a valid path on all nodes  - Cause:   - Action:  
Back to Top  
Verification result of failed node: zjddjs03

List of errors:
-
PRVF-5150 : Path /asmdisks/asmdisk2 is not a valid path on all nodes  - Cause:   - Action:  
-
PRVF-5150 : Path /asmdisks/asmdisk1 is not a valid path on all nodes  - Cause:   - Action:  
Back to Top  
can ignore

Minor number setting for device file. - This task checks the device file settings for minor number across the systems.
  Check Failed on Nodes: [zjddjs04,  zjddjs03]  
Verification result of failed node: zjddjs04
Expected Value
: 0x4
Actual Value
: 0x000000
List of errors:
-
PRVF-2416 : The minor number of device file "/dev/async" is incorrect on the node "zjddjs04"  - Cause:  The minor number of a device file was found incorrect as per the requirement.  - Action:  The third least significant bit (the 0x4 bit hexadecimal) of the minor number must be set.
Back to Top  
Verification result of failed node: zjddjs03
Expected Value
: 0x4
Actual Value
: 0x000000
List of errors:
-
PRVF-2416 : The minor number of device file "/dev/async" is incorrect on the node "zjddjs03"  - Cause:  The minor number of a device file was found incorrect as per the requirement.  - Action:  The third least significant bit (the 0x4 bit hexadecimal) of the minor number must be set.
Back to Top  

The SSH LoginGraceTime setting - Checks the SSH LoginGraceTime setting, which controls how long the SSH server allows for a successful login.
  
Verification WARNING result on node: zjddjs04

List of errors:
-
PRVE-0038 : The SSH LoginGraceTime setting on node "zjddjs04" may result in users being disconnected before login is completed  - Cause:  The LoginGraceTime timeout value is too low which is causing users to be disconnected before their login completes.  - Action:  Oracle recomments setting the LoginGraceTime to a value of zero (unlimited).

Verification WARNING result on node: zjddjs03

List of errors:
-
PRVE-0038 : The SSH LoginGraceTime setting on node "zjddjs03" may result in users being disconnected before login is completed  - Cause:  The LoginGraceTime timeout value is too low which is causing users to be disconnected before their login completes.  - Action:  Oracle recomments setting the LoginGraceTime to a value of zero (unlimited).


查看检查结果，点击finish
查看结果，点击finish
等待安装完成
到remote copy之前的时间为 17:00/14:42
未执行root.sh消耗时间为   17:05/14：47
提示以root身份依次在两个节点上运行命令.
说明：11g GI安装执行root.sh之前，需要首先停止10g CRS，删除/tmp/.oracle目录。

##2个节点上均需要执行，一个节点上执行完成，才能在第二个节点执行

ALLSTARS_ORACLE

rm -rf /tmp/.oracle

/oracle/app/product/oraInventory/orainstRoot.sh
/oracle/app/product/grid/root.sh

第一个节点的root.sh结束时间17：20/14:58
第二个节点root.sh   结束时间17：23/15:03
全部结束时间：     /15:06


2.4.2        如何清除失败的GI安装
从集群中任意一个节点运行：
$ cd /u01/app/11.2.0/grid/deinstall
$ ./deinstall


2.4.3        如何清除失败的root.sh执行

Root.sh失败的原因可以通过查看 $GRID_HOME/cfgtoollogs/crsconfig 和 $GRID_HOME/log来获得。
注意： 一旦错误原因确定并解决， 使用下面的步骤来进行deconfigure 和reconfigure，注意必须上一步执行完成才能继续下一步操作。
步骤 0: 从 11.2.0.2 开始, root.sh 是可重复执行的。

一旦错误原因确定并解决， root.sh 能够在失败的节点再次执行，如果成功了，那么可以继续下面的安装过程; 否则使用root用户在本地节点上顺序执行 "$GRID_HOME/crs/install/rootcrs.pl -verbose -deconfig -force"和$GRID_HOME/root.sh  , 可以继续下面的安装过程，否则继续执行步骤1.
步骤 1: 使用root用户,在除了最后节点外的其它所有节点上依次执行 "$GRID_HOME/crs/install/rootcrs.pl -verbose -deconfig -force" 。
步骤 2: 使用root用户,在最后一个节点上执行"$GRID_HOME/crs/install/rootcrs.pl -verbose -deconfig -force -lastnode"。这个命令将会格式化OCR, Voting Disk ,及它们所在的ASM 磁盘组。
说明：
    a. 在没有执行root.sh脚本的节点上，可以忽略步骤1 和 步骤2。
    b. 步骤1 和 步骤2应该删除checkpoint文件.验证方法:

          ls -l $ORACLE_BASE/Clusterware/ckptGridHA_.xml

   如果文件仍然存在，那么需要在所有的节点上执行"rm" 命令。
    c. 如果GPNP profile 在节点上存在不一致，那么需要使用grid用户清理。
          $ rm -rf $GRID_HOME/gpnp/*
          $ mkdir -p $GRID_HOME/gpnp/profiles/peer $GRID_HOME/gpnp/wallets/peer       $GRID_HOME/gpnp/wallets/prdr $GRID_HOME/gpnp/wallets/pa $GRID_HOME/gpnp/wallets/root

  
步骤 3: 使用root用户,在第一个节点上执行 $GRID_HOME/root.sh

步骤 4: 使用root用户, 在除了最后一个节点的其它所有节点上依次执行 $GRID_HOME/root.sh  
步骤 5: 使用root用户, 在最后一个节点上执行$GRID_HOME/root.sh
参考: <<How to Proceed from Failed 11gR2 Grid Infrastructure (CRS) Installation (Doc ID 942166.1)>>
2.1        调整ASM实例的参数
su – grid
export ORACLE_SID=+ASM1
sqlplus "/as sysasm"
alter system set memory_max_target=1536m scope=spfile;
alter system set memory_target=1536m scope=spfile;
show parameter processes;
---alter system set processes=400 scope=spfile;

2.2        安装11g RDBMS以及补丁
安装时间为9：55/15:08
到10：17左右到开始remote copy/15:26
到10：23左右开始root.sh/15:36

在启动11g GI后,再继续安装11.2 RDBMS
2.3        安装数据库补丁
应用必须的数据库补丁
2.3.1        首先安装最新的OPatch

2.3.2        首先安装PSU补丁13919095
下载最新的opatch，首先安装PSU
15:45
16:30

[Aug 21, 2012 4:04:24 PM]    --------------------------------------------------------------------------------
[Aug 21, 2012 4:04:24 PM]    The following warnings have occurred during OPatch execution:
[Aug 21, 2012 4:04:24 PM]    1) OUI-67215:
                             OPatch found the word "warning" in the stderr of the make command.
                             Please look at this stderr. You can re-run this make command.
                             Stderr output:
                             Too many command lines for `libsrvm11.so'
                             (Bundled) cc: warning 922: "-Ae" is unsupported in the bundled compiler, ignored.
                             (Bundled) cc: warning 922: "+Olibmerrno" is unsupported in the bundled compiler, ignored.
[Aug 21, 2012 4:04:24 PM]    --------------------------------------------------------------------------------

   1).     从DB Home停止CRS管理的资源

   【oracle用户执行】
   su – oracle
. ./11g_profile
  srvctl stop home -o  $ORACLE_HOME -s $ORACLE_BASE/stat1.out -n zjddjs03   
  srvctl stop home -o  $ORACLE_HOME -s $ORACLE_BASE/stat2.out -n zjddjs04

   2.执行root脚本
【root用户执行】
/u03/oracle/app/11.2.0/grid/crs/install/rootcrs.pl -unlock
      
   3.应用CRS补丁

【以grid用户执行:】
su - grid
/u03/oracle/app/11.2.0/grid/OPatch/opatch napply -oh /u03/oracle/app/11.2.0/grid -local /u03/soft/13919095
/u03/oracle/app/11.2.0/grid/OPatch/opatch apply -oh /u03/oracle/app/11.2.0/grid -local /u03/soft/13923374

   4.执行DB组件的pre脚本

      【以oracle用户执行:】
su - oracle
. ./11g_profile

/u03/soft/13919095/custom/server/13919095/custom/scripts/prepatch.sh -dbhome /u03/oracle/app/oracle/product/11.2

   5.应用DB补丁

     【以oracle用户执行.】
su - oracle
. ./11g_profile

ALLSTARS_ORACLE

/u03/oracle/app/oracle/product/11.2/OPatch/opatch napply -oh /u03/oracle/app/oracle/product/11.2 -local /u03/soft/13919095/custom/server/13919095
/u03/oracle/app/oracle/product/11.2/OPatch/opatch apply -oh /u03/oracle/app/oracle/product/11.2 -local /u03/soft/13923374

   6.运行DB组件post脚本

     【以oracle用户执行:】
su - oracle
. ./11g_profile

/u03/soft/13919095/custom/server/13919095/custom/scripts/postpatch.sh -dbhome /u03/oracle/app/oracle/product/11.2

   7.执行post脚本

    以root用户执行:

/u03/oracle/app/11.2.0/grid/rdbms/install/rootadd_rdbms.sh
/u03/oracle/app/11.2.0/grid/crs/install/rootcrs.pl -patch

     

/***
###
###  8.如果看到消息 "A system reboot is recommended before using ACFS"  , 那么在继续之前需要执行  reboot ,
###否则CRS将会以未打补丁的ACFS\ADVM\OKS 驱动运行。
###   9.启动CRS管理的资源
###
###      以oracle用户执行:
###
###      $ /u03/oracle/app/oracle/product/11.2/bin/srvctl start home -o /u03/oracle/app/oracle/product/11.2 -s <status file location> -n <node1 name>
###$ /u03/oracle/app/oracle/product/11.2/bin/srvctl start home -o /u03/oracle/app/oracle/product/11.2 -s <status file location> -n <node2 name>
***/




2.3.3        使用NAPPLY安装其它one-off补丁
1).将one-off补丁存放于/u03/napplypatches目录下
2).在两个数据库节点分别运行以下命令，进行补丁批量安装。
/u03/oracle/app/oracle/product/11.2/OPatch/opatch napply -oh /u03/oracle/app/oracle/product/11.2 -local /u03/soft/patch
16:36
/u03/oracle/app/oracle/product/11.2/OPatch/opatch napply -oh /u03/oracle/app/oracle/product/11.2 -local /u03/soft/patch
16:47

2.3.4        检查补丁安装列表
su – oracle
opatch lsinventory

2.4        安装完11g GI环境之后，备份11g GI环境的配置文件
1、disable服务器启动GI自动启动
【以root用户执行】:
su - root
/u03/oracle/app/11.2.0/grid/bin/crsctl disable crs

2、在/etc目录下新建/etc/11ggi_bak目录作为备份文件存放的目录
【以root用户登录:】
su - root
cd /etc
mkdir 11ggi_bak

3、将以下需要备份的文件和文件夹进行备份
以root用户登录,备份文件:
cp -p /etc/inittab              /etc/11ggi_bak/inittab
cp -p /sbin/init.d/init.ohasd   /etc/11ggi_bak/init.ohasd
cp -p /sbin/init.d/ohasd        /etc/11ggi_bak/ohasd
cp -p /etc/oratab               /etc/11ggi_bak/oratab
cp -p /usr/local/bin/dbhome   /etc/11ggi_bak/dbhome
cp -p /usr/local/bin/coraenv  /etc/11ggi_bak/coraenv
cp -p /usr/local/bin/oraenv   /etc/11ggi_bak/oraenv
备份目录:
rm -rf /etc/11ggi_bak/oracle
cp -pr /var/opt/oracle         /etc/11ggi_bak

查看并备份/sbin/rc2.d下的链接:

ls -al /sbin/rc2.d/*ohasd
lrwxr-xr-x   1 root       sys             18 May  9 15:56 K001ohasd -> /sbin/init.d/ohasd


查看并备份/sbin/rc3.d下链接:

ls -al /sbin/rc3.d/*ohasd
lrwxr-xr-x   1 root       sys             18 May  9 15:56 S960ohasd -> /sbin/init.d/ohasd

tar cvf /etc/11ggi_bak/rc.tar  /sbin/rc2.d/*ohasd  /sbin/rc3.d/*ohasd

4、enable服务器自动启动GI
/u03/oracle/app/11.2.0/grid/bin/crsctl enable crs




2.5        11g GI环境切换(恢复)到10g CRS环境

1、停止11g GI
/u03/oracle/app/11.2.0/grid/bin/crsctl stop crs -f

2、检查11g GI剩余进程
ps -ef | grep -v grep|grep -E 'init|d.bin|ocls|evmlogger|UID'
结果应该会返回以下2个进程列表：
     UID   PID  PPID  C    STIME TTY       TIME COMMAND
    root     1     0  0 17:04:40 ?         0:00 init
    root 19391     1  0 10:30:56 ?         0:00 /bin/sh /sbin/init.d/init.ohasd run
为了保证10g crs后台进程能正常启动，需要停止init.ohasd进程。
修改inittab文件，删除ohasd的入口：

vi /etc/inittab
删除行 " h1:3:respawn:/sbin/init.d/init.ohasd run >/dev/null 2>&1 </dev/null"。
kill -9 [init.ohasd 进程号]



3、删除/tmp/.oracle目录下的socket文件
rm -rf /tmp/.oracle/*

4、从10gcrs_bak目录恢复10g环境

恢复目录:
rm -rf /var/opt/oracle
cp -pr /etc/10gcrs_bak/oracle      /var/opt
恢复文件:           
cp -p  /etc/10gcrs_bak/init.crs         /sbin/init.d/init.crs         
cp -p  /etc/10gcrs_bak/init.crsd        /sbin/init.d/init.crsd
cp -p  /etc/10gcrs_bak/init.cssd        /sbin/init.d/init.cssd
cp -p  /etc/10gcrs_bak/init.evmd        /sbin/init.d/init.evmd
cp -p  /etc/10gcrs_bak/oratab           /etc/oratab            
cp -p  /etc/10gcrs_bak/dbhome           /usr/local/bin/dbhome   
cp -p  /etc/10gcrs_bak/coraenv          /usr/local/bin/coraenv  
cp -p  /etc/10gcrs_bak/oraenv           /usr/local/bin/oraenv
cp -p  /etc/10gcrs_bak/inittab          /etc/inittab

删除11g GI链接，恢复10g CRS链接
rm -rf /sbin/rc2.d/K001ohasd  /sbin/rc3.d/S960ohasd
tar xvf /etc/10gcrs_bak/rc.tar

4、检查当前启动的进程
执行init q重新读取inittab
以root用户登录
init q
检查当前启动的进程
ps -ef | grep -v grep|grep -E 'init|d.bin|ocls|evmlogger|UID'
结果应该会返回以下4个进程列表，如果没有,那么可以等待几秒钟，再使用 ps命令
查看进程情况，直到看到4个进程，才能进入下一步。

     UID   PID  PPID  C    STIME TTY       TIME COMMAND
    root     1     0  0 17:04:40 ?         0:00 init
    root 21961     1  0 10:56:56 ?         0:00 /bin/sh /sbin/init.d/init.cssd fatal
    root 21960     1  0 10:56:56 ?         0:00 /bin/sh /sbin/init.d/init.evmd run
    root 21962     1  0 10:56:56 ?         0:00 /bin/sh /sbin/init.d/init.crsd run
5、启动10g CRS
/u01/oracle/app/oracle/product/10.2.0/crs/bin/crsctl start crs

6、检查10g crs daemon状态
/u01/oracle/app/oracle/product/10.2.0/crs/bin/crsctl check crs

7、检查10g cluster资源状态,此节点资源Target,State应该均为ONLINE.
/u01/oracle/app/oracle/product/10.2.0/crs/bin/crs_stat -t

Name           Type           Target    State     Host        
------------------------------------------------------------
ora....m02.gsd application    ONLINE    OFFLINE               
ora....m02.ons application    ONLINE    OFFLINE               
ora....m02.vip application    ONLINE    ONLINE    zjjdem04   
ora....m04.gsd application    ONLINE    ONLINE    zjjdem04   
ora....m04.ons application    ONLINE    ONLINE    zjjdem04   
ora....m04.vip application    ONLINE    ONLINE    zjjdem04  

8、enable服务器自动启动CRS
/u01/oracle/app/oracle/product/10.2.0/crs/bin/crsctl enable crs
此时,11g集群环境成功切换到10g集群环境。
root   730   711  0  Aug 20  ?         0:25 /usr/sbin/evmlogger -o /var/run/evmlogger.info -l /var/evm/adm/logfiles/evmlogger.log当kill掉init进程之后会出现这个进程


2.6        启动10g数据库，恢复当前10g的前台应用