AIX下RAC10g-Service的奇怪现象

ntos

环境：
     服务器：IBM P740 *2
     存储光交换：IBM System Storage SAN24B-4
     存储：IBM DS5100
     网络交换机:H3C S5100-48P-EI

软件环境：
     AIX 5.3 TL12 SP3
     Oracle RAC 10.2.0.5.2 + ASM

现象：
     数据建立完毕后，Service配置为负载均衡，BASIC
     在进行重启节点CRS（crsctl stop|start crs）后出现下面现象

[gisdb1@root]#crs_stat -t
Name           Type           Target    State     Host        
------------------------------------------------------------
ora....s1.inst application    ONLINE    ONLINE    gisdb1      
ora....s2.inst application    ONLINE    ONLINE    gisdb2      
ora.cdgis.db   application    ONLINE    ONLINE    gisdb1      
ora....is1.srv application    ONLINE    ONLINE    gisdb1      
ora....is2.srv application    ONLINE    OFFLINE               
ora....dgis.cs application    ONLINE    ONLINE    gisdb1      
ora....SM1.asm application    ONLINE    ONLINE    gisdb1      
ora....B1.lsnr application    ONLINE    ONLINE    gisdb1      
ora.gisdb1.gsd application    ONLINE    ONLINE    gisdb1      
ora.gisdb1.ons application    ONLINE    ONLINE    gisdb1      
ora.gisdb1.vip application    ONLINE    ONLINE    gisdb1      
ora....SM2.asm application    ONLINE    ONLINE    gisdb2      
ora....B2.lsnr application    ONLINE    ONLINE    gisdb2      
ora.gisdb2.gsd application    ONLINE    ONLINE    gisdb2      
ora.gisdb2.ons application    ONLINE    ONLINE    gisdb2      
ora.gisdb2.vip application    ONLINE    ONLINE    gisdb2

再次切换后,如kill 节点1上的lgwr，恢复后如下

[gisdb1@root]#crs_stat -t
Name           Type           Target    State     Host        
------------------------------------------------------------
ora....s1.inst application    ONLINE    ONLINE    gisdb1      
ora....s2.inst application    ONLINE    ONLINE    gisdb2      
ora.cdgis.db   application    ONLINE    ONLINE    gisdb1      
ora....is1.srv application    ONLINE    OFFLINE               
ora....is2.srv application    ONLINE    ONLINE    gisdb2      
ora....dgis.cs application    ONLINE    ONLINE    gisdb2      
ora....SM1.asm application    ONLINE    ONLINE    gisdb1      
ora....B1.lsnr application    ONLINE    ONLINE    gisdb1      
ora.gisdb1.gsd application    ONLINE    ONLINE    gisdb1      
ora.gisdb1.ons application    ONLINE    ONLINE    gisdb1      
ora.gisdb1.vip application    ONLINE    ONLINE    gisdb1      
ora....SM2.asm application    ONLINE    ONLINE    gisdb2      
ora....B2.lsnr application    ONLINE    ONLINE    gisdb2      
ora.gisdb2.gsd application    ONLINE    ONLINE    gisdb2      
ora.gisdb2.ons application    ONLINE    ONLINE    gisdb2      
ora.gisdb2.vip application    ONLINE    ONLINE    gisdb2

Service服务中的2个节点条目，同时只能有一个处于ONLINE状态，另外一个起不来。
类似导致该现象的动作如：直接kill -9 lgwr和ASM的lgwr
重启操作系统和重建数据库依然无法解决问题。

[ 本帖最后由 ntos 于 2012-4-20 22:18 编辑 ]

Maclean Liu(刘相兵

上传2个节点上的 crsd.log 和 2个DB 实例的  alert.log

ntos

这个是 重建数据库前的 LOG
报错连连，我之前的库有如下操作：
在 INSTANCE都停止的情况下，srvctl remove service -d cdgis -s pdgis
这时候启动数据库所有实例， crs_stat -t列表里面已经没有服务选项了
但是数据库dba_service里面还是pdgis而且服务运行正常，
之后使用 dbms_service.stop_service和dbms_service.remove_service删除Service残留(service$表还是有，不知道可不可以直接删除)。
再次启动实例 还是发现pdgis这个服务正常使用。而且 dbms_service.stop_service还是可以再次停止服务。
无奈删库重建

SERVICE只能在一个节点启动的现象，从最开始就存在。

新数据库的LOG只能明天取了  电力内网。

ntos

上面日志里面
19号之前服务是主备模式 ，即srvctl add service -d cdgis -s pdgis -r cdgis1 -a cdgis2 -P PRECONNECT
昨天开始切换为负载均衡模式，就出现只能ONLINE一个service的现象。

Maclean Liu(刘相兵

alert.log 是指 db  instance 的告警日志

就 crsd.log 日志来看 service 是在online后 意外终止的

2012-04-20 11:44:59.658: [  CRSRES][11517]32In stateChanged, ora.cdgis.pdgis.cdgis1.srv target is ONLINE
2012-04-20 11:44:59.658: [  CRSRES][11517]32ora.cdgis.pdgis.cdgis1.srv on gisdb1 went OFFLINE unexpectedly


需要数据库日志 进一步诊断

ntos

问题已经解决了。
原因是负载均衡模式下开启的DTP

执行下面命令解决。
exec dbms_service.modify_service( service_name => 'gdprs', DTP => FLASE);

Maclean Liu(刘相兵

Services and Distributed Transaction Processing in Oracle RAC(DTP)

Applies to:
Oracle Server - Enterprise Edition - Version: 10.2.0.1 to 10.2.0.5 - Release: 10.2 to 10.2
Information in this document applies to any platform.
Symptoms
You may find the following message in alert log when application servers which perform distributed transactions connects to the database at first.


"Running Distributed Transactions in RAC without DTP service."


Changes
Cause
If you are running any kind of distributed transactions, the service that the application uses to connect to the RAC database should be enabled for DTP. This keeps all parts of a distributed transaction on the same instance, and allows the service to migrate to a new instance in case of instance failure.


Note: DTP services are not needed in 11.2. As long as the database initialization parameter GLOBAL_TXN_PROCESSES is greater than zero, Oracle 11.2 allows different branches of the same global transaction to span multiple RAC instances.


Solution
1.Check for what services do you have enabled?:


select * from v$active_services;


2. Enable all services for the application which uses DTP:


EXECUTE DBMS_SERVICE.MODIFY_SERVICE(service_name => '', DTP=>TRUE);


Or alternately you can use Oracle Enterprise Manager or SRVCTL to modify the DTP property of the singleton service. Set the DTP option (-x) for the service to TRUE
(the default value is FALSE).

The following example shows how to modify the xa_01.example.com service using SRVCTL:

srvctl modify service -d crm -s xa_01.example.com -x TRUE

Please see the following for more information:


Oracle Database Oracle Clusterware and Oracle Real Application Clusters Administration and Deployment Guide 10g Release 2 (10.2) Part Number B14197-09
6 Introduction to Workload Management
Services and Distributed Transaction Processing in Oracle RAC


Oracle Database Advanced Application Developer's Guide
11g Release 2 (11.2)
Part Number E25518-03
15 Developing Applications with Oracle XA






References
NOTE:462060.1 - How to Configure Load Balancing in an XA/RAC Environment for 10.2 and Above