ogg同步源端update的操作到目标端转成insert了

scofieldus

参数

EXTRACT:

1. EXTRACT EXT
   
2. setenv (ORACLE_SID="db1")
   
3. setenv (NLS_LANG = AMERICAN_AMERICA.AL32UTF8)
   
4. EXTTRAIL /oracle/app/goldengate/dirdat/sl
   
5. USERID ogg,PASSWORD "test"
   
6. TRANLOGOPTIONS ALTARCHIVELOGDEST +DATA/archive
   
7. TRANLOGOPTIONS ALTARCHIVEDLOGFORMAT %t_%s_%r.dbf
   
8. TRANLOGOPTIONS ASMUSER SYS@ASM, ASMPASSWORD test
   
9. THREADOPTIONS MAXCOMMITPROPAGATIONDELAY 90000
   
10. numfiles 3000
    
11. DISCARDROLLOVER AT 05:30
    
12. DYNAMICRESOLUTION
    
13. --GETTRUNCATES
    
14. DDL INCLUDE MAPPED &
    
15. exclude objtype 'PROCEDURE' &
    
16. exclude objtype 'FUNCTION' &
    
17. exclude objtype 'TYPE' &
    
18. exclude objtype 'TRIGGER' &
    
19. exclude objtype 'GRANT' &
    
20. exclude instr 'GRANT' &
    
21. exclude objtype 'DATABASE LINK' &
    
22. exclude objtype 'CONSTRAINT' &
    
23. exclude objtype 'JOB' &
    
24. exclude instr 'ALTER SESSION' &
    
25. exclude INSTR 'AS SELECT' &
    
26. exclude INSTR 'REPLACE SYNONYM'
    
27. DDLOPTIONS ADDTRANDATA,REPORT
    
28. FETCHOPTIONS,  USESNAPSHOT, USELATESTVERSION, MISSINGROW REPORT
    
29. STATOPTIONS REPORTFETCH
    
30. WARNLONGTRANS 1H, CHECKINTERVAL 5M
    
31. SEQUENCE A.* ;
    
32. SEQUENCE B.* ;
    
33. TABLE A.* ;
    
34. TABLE B.* ;

复制代码

PUMP:

1. EXTRACT EDP
   
2. setenv (NLS_LANG = AMERICAN_AMERICA.AL32UTF8)
   
3. PASSTHRU
   
4. DYNAMICRESOLUTION
   
5. USERID ogg,PASSWORD "test"
   
6. RMTHOST 10.10.10.1, MGRPORT 7819,COMPRESS
   
7. RMTTRAIL /oracle/app/goldengate/dirdat/ww
   
8. DISCARDFILE ./dirrpt/ext.dsc,APPEND,MEGABYTES 5
   
9. SEQUENCE A.*;
   
10. SEQUENCE B.*;
    
11. TABLE A.*;
    
12. TABLE B.*;

复制代码

REPLICAT:

1. REPLICAT REP
   
2. setenv (NLS_LANG = AMERICAN_AMERICA.AL32UTF8)
   
3. DBOPTIONS DEFERREFCONST
   
4. USERID ogg,PASSWORD "test"
   
5. --HANDLECOLLISIONS
   
6. REPERROR (00001,discard)
   
7. ASSUMETARGETDEFS
   
8. REPORTROLLOVER AT 23:59
   
9. DISCARDFILE ./dirrpt/REP.DSC,APPEND,megabytes 100
   
10. DDL INCLUDE MAPPED
    
11. --exclude INSTR 'AS SELECT'
    
12. DDLERROR DEFAULT IGNORE RETRYOP
    
13. DDLOPTIONS REPORT
    
14. --BATCHSQL
    
15. ALLOWNOOPUPDATES
    
16. DDLSUBST 'A' WITH 'A_OGG' INCLUDE ALL
    
17. DDLSUBST 'B' WITH 'B_OGG' INCLUDE ALL
    
18. DDLOPTIONS MAPSESSIONSCHEMA A, TARGET A_OGG, MAPSCHEMAS
    
19. DDLOPTIONS MAPSESSIONSCHEMA B, TARGET B_OGG, MAPSCHEMAS
    
20. DBOPTIONS LOBWRITESIZE 102400
    
21. MAP A.* , TARGET A_OGG.*;
    
22. MAP B.* , TARGET B_OGG.*;
    
23. 
    
24. 
    

复制代码

syhnd

非常怀疑是被注释掉的HANDLECOLLISIONS引起的。

lunar

update本来就是delete+insert啊

Liu Maclean(刘相兵

了解GoldenGate Replicat的HANDLECOLLISIONS参数
2012/09/18 BY MACLEAN LIU 暂无评论
HANDLECOLLISIONS是我们使用goldengate过程中常有的一个REPLICAT参数，该参数依赖于主键或唯一索引处理冲突数据，常用于初始化阶段。对于无主键或唯一索引的表无法处理冲突，且可能导致重复记录。注意打开此参数则所有数据错误不管reperror如何配置均不再写discard文件，即所有数据冲突信息被默认规则处理，没有任何日志(则会忽略error mapping数据错误，而且不会报告到discard文件)，因此日常复制不建议使用该参数；可予以考虑的特殊场景为只需新增数据，无需复制历史数据。

使用HANDLECOLLISIONS的几个场景：
target丢失delete记录(missing delete)，忽略该问题并不记录到discardfile
target丢失update记录(missing update)
更新的键值是主键=》 update转换成INSERT ，默认情况下插入记录不完整
更新的键值是非主键=》 忽略该问题并不记录到discardfile
重复插入已存在的主键值到target表中，这将被replicat转换为UPDATE现有主键值的行的其他非主键列


怀疑 REPLICAT的行为

scofieldus

贴图还是太小，上传了附件
Desktop.zip (126.16 KB, 下载次数: 1907)

2013-5-2 11:14 上传

点击文件名下载附件

scofieldus

Maclean Liu(刘相兵 发表于 2013-5-2 11:02
你是何时 如何观察到 update转换为insert的？

你能重现该现象吗？ rep的report上传一下 ...

大刘，这个问题不能重现，操作是业务上操作的，只能通过discard日志与veridata比对报表得出结论
veridata 报告：





discard信息：

Maclean Liu(刘相兵

你是何时 如何观察到 update转换为insert的？

你能重现该现象吗？ rep的report上传一下

scofieldus

付上截图