ogg同步sql server 1403错误分析一则

dai_xuej

1、GGSCI (SZZFJG) 5> info all
Program     Status      Group       Lag           Time Since Chkpt
MANAGER     RUNNING                                          
REPLICAT    ABENDED     RORA_001    00:00:03      68:12:47   
REPLICAT    RUNNING     RORA_002    00:00:00      00:00:16   
REPLICAT    RUNNING     RORA_003    00:00:00      00:00:14   
REPLICAT    RUNNING     RORA_004    00:00:00      00:00:24   
GGSCI (SZZFJG) 6>
2、GGSCI (SZZFJG) 4>view report rora_001
Switching to next trail file /home/oracle/ogg/dirdat/t6000005 at 2012-06-15 15:51:23 due to EOF, with current RBA 9999987
Opened trail file /home/oracle/ogg/dirdat/t6000005 at 2012-06-15 15:51:23
MAP resolved (entry DBO.GG_DENGJILEIXING):
  map DBO.GG_DENGJILEIXING, target ZFJGGETER.GG_DENGJILEIXING;
Using following columns in default map by name:
  DENGJILXBH, MINGCHENG, SHIXIAN, DENGJIKE, SHENHEKE, LINGDAO,
  FAZHENGKE
Using the following key columns for target table ZFJGGETER.GG_DENGJILEIXING: DENGJILXBH.
2012-06-15 15:51:28  WARNING OGG-01004  Aborted grouped transaction on 'ZFJGGETER.GG_DENGJILEIXING', Database error 1403 ().
2012-06-15 15:51:28  WARNING OGG-01003  Repositioning to rba 398802 in seqno 5.
2012-06-15 15:51:28  WARNING OGG-01154  SQL error 1403 mapping DBO.GG_DENGJILEIXING to ZFJGGETER.GG_DENGJILEIXING.
2012-06-15 15:51:28  WARNING OGG-01003  Repositioning to rba 440958 in seqno 5.
Source Context :
  SourceModule            : [er.main]
  SourceID                : [/scratch/pradshar/view_storage/pradshar_bugdbrh40_12927937/oggcore/OpenSys/src/app/er/rep.c]
  SourceFunction          : [take_rep_err_action]
  SourceLine              : [16148]
  ThreadBacktrace         : [8] elements
                          : [/home/oracle/ogg/replicat(CMessageContext::AddThreadContext()+0x26) [0x5f2ac6]]
                          : [/home/oracle/ogg/replicat(CMessageFactory::CreateMessage(CSourceContext*, unsigned int, ...)+0x7b2) [0x5e9562]]
                          : [/home/oracle/ogg/replicat(_MSG_ERR_MAP_TO_TANDEM_FAILED(CSourceContext*, DBString<777> const&, DBString<777> const&, CMessageFactory::Messa
geDisposition)+0x9b) [0x5c79bb]]
                          : [/home/oracle/ogg/replicat [0x832a3a]]
                          : [/home/oracle/ogg/replicat [0x910279]]
                          : [/home/oracle/ogg/replicat(main+0x84b) [0x5081ab]]
                          : [/lib64/libc.so.6(__libc_start_main+0xf4) [0x341f61d994]]
                          : [/home/oracle/ogg/replicat(__gxx_personality_v0+0x1da) [0x4e479a]]
2012-06-15 15:51:28  ERROR   OGG-01296  Error mapping from DBO.GG_DENGJILEIXING to ZFJGGETER.GG_DENGJILEIXING.
***********************************************************************
*                   ** Run Time Statistics **                         *
***********************************************************************
Last record for the last committed transaction is the following:
___________________________________________________________________
Trail name :  /home/oracle/ogg/dirdat/t6000005
Hdr-Ind    :     E  (x45)     Partition  :     .  (x04)
UndoFlag   :     .  (x00)     BeforeAfter:     A  (x41)
RecLength  :   173 (x00ad)    IO Time    : 2012-06-15 15:51:25.067230  
IOType     :     5  (x05)     OrigNode   :   255  (xff)
TransInd   :     .  (x02)     FormatType :     R  (x52)
SyskeyLen  :     0  (x00)     Incomplete :     .  (x00)
AuditRBA   :          6       AuditPos   : 2476396538495012
Continued  :     N  (x00)     RecCount   :     1  (x01)
2012-06-15 15:51:25.067230 Insert             Len   173 RBA 440721
Name: DBO.YW_SHENHE
___________________________________________________________________
Reading /home/oracle/ogg/dirdat/t6000005, current RBA 462954, 63723 records
Report at 2012-06-15 15:51:28 (activity since 2012-06-07 18:47:05)
From Table DBO.DA_FANGWU to ZFJGGETER.DA_FANGWU:
       #                   inserts:      1026
       #                   updates:       984
       #                   deletes:        23
       #                  discards:         5
From Table DBO.DA_GONGYOUQUANZHENG to ZFJGGETER.DA_GONGYOUQUANZHENG:
       #                   inserts:       515
       #                   updates:         0
       #                   deletes:         2
       #                  discards:         0
From Table DBO.DA_QUANLI to ZFJGGETER.DA_QUANLI:
       #                   inserts:      3038
       #                   updates:      2067
       #                   deletes:       603
       #                  discards:         5
From Table DBO.DJ_FANGWU to ZFJGGETER.DJ_FANGWU:
       #                   inserts:      1684
       #                   updates:      1117
       #                   deletes:       292
       #                  discards:         8
From Table DBO.DJ_HETONGBIANHAO to ZFJGGETER.DJ_HETONGBIANHAO:
       #                   inserts:       408
       #                   updates:       481
       #                   deletes:        10
       #                  discards:         1
From Table DBO.DJ_QUANLI to ZFJGGETER.DJ_QUANLI:
       #                   inserts:      9774
       #                   updates:      2198
       #                   deletes:      6663
       #                  discards:        20
From Table DBO.DJ_TUOGUAN to ZFJGGETER.DJ_TUOGUAN:
       #                   inserts:       223
       #                   updates:       430
       #                   deletes:         5
       #                  discards:         4
From Table DBO.DJ_YUANZHENGHAO to ZFJGGETER.DJ_YUANZHENGHAO:
       #                   inserts:      5649
       #                   updates:        39
       #                   deletes:      4758
       #                  discards:        25
From Table DBO.GG_DENGJILEIXING to ZFJGGETER.GG_DENGJILEIXING:
       #                   inserts:         0
       #                   updates:         0
       #                   deletes:         0
       #                  discards:         1
From Table DBO.YW_SHENHE to ZFJGGETER.YW_SHENHE:
       #                   inserts:     21616
       #                   updates:         0
       #                   deletes:         0
       #                  discards:        50
Last log location read:
     FILE:      /home/oracle/ogg/dirdat/t6000005
     SEQNO:     5
     RBA:       462954
     TIMESTAMP: 2012-06-15 15:51:25.366074
     EOF:       NO
     READERR:   0
2012-06-15 15:51:28  ERROR   OGG-01668  PROCESS ABENDING.
3、附件ggserr.log
4、附件 DISCARDFILE ./dirrpt/rept1.dsc
5、ogg版本
[oracle@SZZFJG ogg]$ ./ggsci
Oracle GoldenGate Command Interpreter for Oracle
Version 11.1.1.1.2 OGGCORE_11.1.1.1.2_PLATFORMS_111004.2100
Linux, x64, 64bit (optimized), Oracle 11g on Oct  4 2011 23:49:46
Copyright (C) 1995, 2011, Oracle and/or its affiliates. All rights reserved.
6、replicate params rora_001:
GGSCI (SZZFJG) 2> edit params rora_001
replicat rora_001
setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
userid ggs, password ggs
REPORT AT 01:59
REPORTCOUNT EVERY 30 MINUTES, RATE
REPERROR DEFAULT, ABEND
numfiles 5000
CHECKPOINTSECS 40
--assumetargetdefs
sourcedefs ./dirdef/source_001.def
DISCARDFILE ./dirrpt/rept1.dsc, APPEND, MEGABYTES 1024
DISCARDROLLOVER AT 02:30
ALLOWNOOPUPDATES
--reperror (default, abend)
--reperror (-1, ignore)
map dbo.da_FangWu, target ZFJGGETER.DA_FANGWU;
map dbo.da_FangWu_ZJGCDY, target ZFJGGETER.DA_FANGWU_ZJGCDY;
map dbo.da_GongYouQuanZheng, target ZFJGGETER.DA_GONGYOUQUANZHENG;
map dbo.da_QuanLi, target ZFJGGETER.DA_QUANLI;
map dbo.da_SuoYouQuanZheng_FuShu, target ZFJGGETER.DA_SUOYOUQUANZHENG_FUSHU;
map dbo.dj_FangWu, target ZFJGGETER.DJ_FANGWU;
map dbo.dj_HeTongBianHao, target ZFJGGETER.DJ_HETONGBIANHAO;
map dbo.dj_QuanLi, target ZFJGGETER.DJ_QUANLI;
map dbo.dj_TuoGuan, target ZFJGGETER.DJ_TUOGUAN;
map dbo.dj_YuanZhengHao, target ZFJGGETER.DJ_YUANZHENGHAO;
--map dbo.gg_BianHao, target ZFJGGETER.GG_BIANHAO;
map dbo.gg_ChanBie, target ZFJGGETER.GG_CHANBIE;
map dbo.gg_DengJiLeiXing, target ZFJGGETER.GG_DENGJILEIXING;
map dbo.gg_DengJiYewuLeiBie_S, target ZFJGGETER.GG_DENGJIYEWULEIBIE_S;
map dbo.gg_DengJiZhengJian, target ZFJGGETER.GG_DENGJIZHENGJIAN;
map dbo.gg_FangGaiJiJia, target ZFJGGETER.GG_FANGGAIJIJIA;
map dbo.gg_FangWuLeiBie, target ZFJGGETER.GG_FANGWULEIBIE;
map dbo.gg_FangWuLeiBie_SPF, target ZFJGGETER.GG_FANGWULEIBIE_SPF;
map dbo.gg_FangWuXingZhi, target ZFJGGETER.GG_FANGWUXINGZHI;
map dbo.gg_FangWuXingZhi_DY, target ZFJGGETER.GG_FANGWUXINGZHI_DY;
map dbo.gg_FangWuXZ, target ZFJGGETER.GG_FANGWUXZ;
map dbo.gg_FuKuanXingShi, target ZFJGGETER.GG_FUKUANXINGSHI;
map dbo.gg_GongYouGuanXi, target ZFJGGETER.GG_GONGYOUGUANXI;
map dbo.gg_GongYouQK, target ZFJGGETER.GG_GONGYOUQK;
map dbo.gg_HangYe, target ZFJGGETER.GG_HANGYE;
map dbo.gg_JieGou, target ZFJGGETER.GG_JIEGOU;
map dbo.gg_Qu, target ZFJGGETER.GG_QU;
map dbo.gg_QuanLiLeiXing, target ZFJGGETER.GG_QUANLILEIXING;
map dbo.gg_QuWei, target ZFJGGETER.GG_QUWEI;
map dbo.gg_ShenFenLeiXing, target ZFJGGETER.GG_SHENFENLEIXING;
map dbo.gg_TaXiangQuanLiZhongLei, target ZFJGGETER.GG_TAXIANGQUANLIZHONGLEI;
map dbo.gg_TuDiLeiXing, target ZFJGGETER.GG_TUDILEIXING;
map dbo.gg_TuDiQDFS, target ZFJGGETER.GG_TUDIQDFS;
map dbo.gg_WeiXiuJiJin, target ZFJGGETER.GG_WEIXIUJIJIN;
map dbo.gg_YongTu, target ZFJGGETER.GG_YONGTU;
map dbo.gg_ZhengJian, target ZFJGGETER.GG_ZHENGJIAN;
map dbo.gg_ZhuanYiXingZhi, target ZFJGGETER.GG_ZHUANYIXINGZHI;
map dbo.gg_ZhuCeLeiXing, target ZFJGGETER.GG_ZHUCELEIXING;
map dbo.yw_HuanJie, target ZFJGGETER.YW_HUANJIE;
map dbo.yw_LiuCheng, target ZFJGGETER.YW_LIUCHENG;
map dbo.yw_RenYuan, target ZFJGGETER.YW_RENYUAN;
map dbo.yw_ShenHe, target ZFJGGETER.YW_SHENHE;
map dbo.yw_ZhuangTai, target ZFJGGETER.YW_ZHUANGTAI;

[ 本帖最后由 dai_xuej 于 2012-6-18 13:51 编辑 ]

dai_xuej

老大的鼓历是我们前进的动力，同时也非常感谢老大对我们的指引和帮助。

dai_xuej

1、GGSCI (SZZFJG) 2> start rora_001
Sending START request to MANAGER ...
REPLICAT RORA_001 starting

2、GGSCI (SZZFJG) 3> info all
Program     Status      Group       Lag           Time Since Chkpt
MANAGER     RUNNING                                          
REPLICAT    RUNNING     RORA_001    00:00:03      69:36:39   
REPLICAT    RUNNING     RORA_002    00:00:00      00:00:01   
REPLICAT    RUNNING     RORA_003    00:00:00      00:00:39   
REPLICAT    RUNNING     RORA_004    00:00:00      00:00:09   

3、GGSCI (SZZFJG) 4> stats rora_001
Sending STATS request to REPLICAT RORA_001 ...
Start of Statistics at 2012-06-18 13:28:47.
Replicating from DBO.DA_FANGWU to ZFJGGETER.DA_FANGWU:
*** Total statistics since 2012-06-18 13:28:05 ***
        Total inserts                              265.00
        Total updates                              140.00
        Total deletes                                1.00
        Total discards                               0.00
        Total operations                           406.00
*** Daily statistics since 2012-06-18 13:28:05 ***
        Total inserts                              265.00
        Total updates                              140.00
        Total deletes                                1.00
        Total discards                               0.00
        Total operations                           406.00
*** Hourly statistics since 2012-06-18 13:28:05 ***
        Total inserts                              265.00
        Total updates                              140.00
        Total deletes                                1.00
        Total discards                               0.00
        Total operations                           406.00
*** Latest statistics since 2012-06-18 13:28:05 ***
        Total inserts                              265.00
        Total updates                              140.00
        Total deletes                                1.00
        Total discards                               0.00
        Total operations                           406.00
Replicating from DBO.DA_GONGYOUQUANZHENG to ZFJGGETER.DA_GONGYOUQUANZHENG:
*** Total statistics since 2012-06-18 13:28:05 ***
        Total inserts                               63.00
        Total updates                                0.00
        Total deletes                                1.00
        Total discards                               0.00
        Total operations                            64.00
*** Daily statistics since 2012-06-18 13:28:05 ***
        Total inserts                               63.00
        Total updates                                0.00
        Total deletes                                1.00
        Total discards                               0.00
        Total operations                            64.00
*** Hourly statistics since 2012-06-18 13:28:05 ***
        Total inserts                               63.00
        Total updates                                0.00
        Total deletes                                1.00
        Total discards                               0.00
        Total operations                            64.00
*** Latest statistics since 2012-06-18 13:28:05 ***
        Total inserts                               63.00
        Total updates                                0.00
        Total deletes                                1.00
        Total discards                               0.00
        Total operations                            64.00
Replicating from DBO.DA_QUANLI to ZFJGGETER.DA_QUANLI:
*** Total statistics since 2012-06-18 13:28:05 ***
        Total inserts                              425.00
        Total updates                              219.00
        Total deletes                               35.00
        Total discards                               0.00
        Total operations                           679.00
Replicating from DBO.GG_DENGJILEIXING to ZFJGGETER.GG_DENGJILEIXING:
*** Total statistics since 2012-06-18 13:28:05 ***
        Total inserts                                0.00
        Total updates                                1.00
        Total deletes                                0.00
        Total discards                               0.00
        Total operations                             1.00
GGSCI (SZZFJG) 5>

Maclean Liu(刘相兵

奖励   dai_xuej   2000 coins

dai_xuej

1、按照上面分析的情况试着解决问题：
先备份该表：
SQL> create table gg_dengjileixing_bak as select * from gg_dengjileixing;
Table created.
SQL>
2、执行类似如下查询：
SQL> select DENGJILXBH from  gg_dengjileixing where DENGJILXBH like '% ';
DENGJILXBH
----------
11
12
13
14
20
21
22
23
24
25
26
27
28
29
2A
2B
2C
2D
2E
2F
31
32
33
3A
3B
3C
3D
41
42
43
44
45
46
51
52
53
54
61
62
63
64
99
42 rows selected.
SQL>
根据以上的结果更近一步验证了之前的判断
2、去相关字段的空格：
SQL> update gg_dengjileixing set DENGJILXBH=rtrim(DENGJILXBH) where DENGJILXBH in(select DENGJILXBH from  gg_dengjileixing where DENGJILXBH like '% ');
42 rows updated.
SQL> update gg_dengjileixing set MINGCHENG=rtrim(MINGCHENG) where MINGCHENG in(select MINGCHENG from  gg_dengjileixing where MINGCHENG like '% ');
42 rows updated.
SQL>

Maclean Liu(刘相兵

GOOD POST, 加精华！

dai_xuej

1、SQL> desc GG_DENGJILEIXING;
Name                                      Null?    Type
----------------------------------------- -------- ----------------------------
DENGJILXBH                                NOT NULL VARCHAR2(12)
MINGCHENG                                          VARCHAR2(38)
SHIXIAN                                            NUMBER(38)
DENGJIKE                                           NUMBER(38)
SHENHEKE                                           NUMBER(38)
LINGDAO                                            NUMBER(38)
FAZHENGKE                                          NUMBER(38)
SQL>
2、在数据库中查找discard文件中的问题记录：
Aborting transaction on /home/oracle/ogg/dirdat/t6 beginning at seqno 5 rba 440958
                         error at seqno 5 rba 462954
Problem replicating DBO.GG_DENGJILEIXING to ZFJGGETER.GG_DENGJILEIXING
Record not found
Mapping problem with compressed update record (target format)...
*
DENGJILXBH = 51
SHIXIAN = 1
SHENHEKE = 0
*
Continuing to discard records up to the last discarded record from action ABEND
SQL> select * from gg_dengjileixing where DENGJILXBH='51' and SHIXIAN=1 and SHENHEKE=0;
no rows selected
SQL> select * from gg_dengjileixing where DENGJILXBH='51';  
no rows selected
这样在目标库中找不到这条要更新的记录，换个查找的方式看看是否有这条记录
SQL> select * from gg_dengjileixing where DENGJILXBH like '51%';
DENGJILXBH  MINGCHENG     SHIXIAN   DENGJIKE   SHENHEKE    LINGDAO  FAZHENGKE
----------             ----------                  ----------   ----------           ----------            ----------        ----------
51                      拆除灭失         2           1                       1                       0                  0
这样查看却能找到这样的记录
3、看看这张表的主键情况：
set linesize 180
set pages 999
set long 90000
SQL> select dbms_metadata.get_ddl('TABLE','GG_DENGJILEIXING') from dual;
DBMS_METADATA.GET_DDL('TABLE','GG_DENGJILEIXING')
--------------------------------------------------------------------------------
CREATE TABLE "ZFJGGETER"."GG_DENGJILEIXING"
   (    "DENGJILXBH" VARCHAR2(12),
        "MINGCHENG" VARCHAR2(38),
        "SHIXIAN" NUMBER(*,0),
        "DENGJIKE" NUMBER(*,0),
        "SHENHEKE" NUMBER(*,0),
        "LINGDAO" NUMBER(*,0),
        "FAZHENGKE" NUMBER(*,0),
         CONSTRAINT "PK_GG_DENGJILEIXING" PRIMARY KEY ("DENGJILXBH")
  USING INDEX PCTFREE 10 INITRANS 2 MAXTRANS 255 COMPUTE STATIST
ICS
  STORAGE(INITIAL 65536 NEXT 1048576 MINEXTENTS 1 MAXEXTENTS 2147483645
  PCTINCREASE 0 FREELISTS 1 FREELIST GROUPS 1 BUFFER_
POOL DEFAULT FLASH_CACHE DEFAULT CELL_FLASH_CACHE DE
FAULT)
  TABLESPACE "SZZFDB"  ENABLE,
         SUPPLEMENTAL LOG GROUP "GGS_GG_DENGJILEIXIN_85375" ("DENGJILXBH
") ALWAYS
   ) SEGMENT CREATION IMMEDIATE
  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 NOCOMPRESS LO
GGING
  STORAGE(INITIAL 65536 NEXT 1048576 MINEXTENTS 1 MAXEXTENTS 2147483645
  PCTINCREASE 0 FREELISTS 1 FREELIST GROUPS 1 BUFFER
_POOL DEFAULT FLASH_CACHE DEFAULT CELL_FLASH_CACHE D
EFAULT)
  TABLESPACE "SZZFDB"
发现DENGJILXBH是主键，因为初始化时是使用pentaho工具来做的，看来问题正是出在这个初始化工具上，在初始化的过程当中对varchar字段自动加了空格，导致这条记录不能匹配到，从而发生了更新错误。