ogg的初始化同步问题

tiejiang2009

现在要用ogg把一个生产库(linux 64位10gR2)中的部分表(一百多张)，200G左右的数据，实时同步到数据仓库(linux 64位 11gR2)中去，schema和表名都有了变化。在生产库不停服务的情况下，怎么样初始化数据比较可取？

orc_cat

三、初始化数据库
        1.source database
        $ ./ggsci
        GGSCI (source) 2> create SUBDIRS
        GGSCI (source) 3> dblogin userid ogg,password ogg;
        GGSCI (source) 4> add trandata ogg.*
        GGSCI (source) 5> info trandata ogg.*
       
        GGSCI (source) 6> edit params mgr (添加下列参数)
                                port 7809
                                purgeoldextracts /dirdat,usecheckpoints

        GGSCI (source) 7> start mgr
        GGSCI (source) 8> info mgr


        GGSCI (source) 9> ADD EXTRACT EINI_1, SOURCEISTABLE
        GGSCI (source) 10> INFO EXTRACT *, TASKS
        GGSCI (source) 11> EDIT PARAMS EINI_1(添加下列参数)
                                EXTRACT EINI_1
                                SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
                                USERID ogg, PASSWORD ogg
                                RMTHOST 10.0.0.12, MGRPORT 7809
                                RMTTASK REPLICAT, GROUP RINI_1
                                TABLE ogg.*;

        GGSCI (source) 12> START EXTRACT EINI_1
        GGSCI (source) 13> view report EINI_1

        2.mirror database
        $ ./ggsci
        GGSCI (mirrordb) 2> create subdirs
        GGSCI (mirrordb) 3> dblogin userid ogg,password ogg;

        GGSCI (mirrordb) 4> edit params mgr
                                PORT 7809
                                PURGEOLDEXTRACTS /dirdat, USECHECKPOINTS

        GGSCI (mirrordb) 5> start mgr
        GGSCI (mirrordb) 6> info mgr

        GGSCI (mirrordb) 7> ADD REPLICAT RINI_1, SPECIALRUN
        GGSCI (mirrordb) 8> INFO REPLICAT *, TASKS
        GGSCI (mirrordb) 9>  EDIT PARAMS RINI_1
                                REPLICAT RINI_1
                                SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
                                ASSUMETARGETDEFS
                                USERID ogg, PASSWORD ogg
                                DISCARDFILE ./dirrpt/RINIaa.dsc, PURGE
                                MAP ogg.*, TARGET ogg.*;


        GGSCI (mirrordb) 10> START REPILCAT RINI_1
        GGSCI (mirrordb) 11> view report RINI_1

wshxgxiaoli

你的数据仓库中是否有已存在的数据？  
1.如果有别的数据就用数据泵导出导出， 记得导出时带FLASHBACK_SCN参数。
2. 如果没有， 则可以考虑用RMAN，恢复时记得做不完整恢复就可以了， 启动REP进程时： start rep_name, aftercsn XXXXX;

lory

http://www.askmaclean.com/archives/ogg-goldengate-initial-load-method.html
这个初始化可以不停机

orc_cat

完整流程！

一、准备实施环境
        配置linux服务器，并安装oracle database。
二、实施goldengate安装
        1.下载goldengate，并配置安装
        2.

三、初始化数据库
        1.source database
        $ ./ggsci
        GGSCI (source) 2> create SUBDIRS
        GGSCI (source) 3> dblogin userid ogg,password ogg;
        GGSCI (source) 4> add trandata ogg.*
        GGSCI (source) 5> info trandata ogg.*
       
        GGSCI (source) 6> edit params mgr (添加下列参数)
                                port 7809
                                purgeoldextracts /dirdat,usecheckpoints

        GGSCI (source) 7> start mgr
        GGSCI (source) 8> info mgr


        GGSCI (source) 9> ADD EXTRACT EINI_1, SOURCEISTABLE
        GGSCI (source) 10> INFO EXTRACT *, TASKS
        GGSCI (source) 11> EDIT PARAMS EINI_1(添加下列参数)
                                EXTRACT EINI_1
                                SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
                                USERID ogg, PASSWORD ogg
                                RMTHOST 10.0.0.12, MGRPORT 7809
                                RMTTASK REPLICAT, GROUP RINI_1
                                TABLE ogg.*;

        GGSCI (source) 12> START EXTRACT EINI_1
        GGSCI (source) 13> view report EINI_1

        2.mirror database
        $ ./ggsci
        GGSCI (mirrordb) 2> create subdirs
        GGSCI (mirrordb) 3> dblogin userid ogg,password ogg;

        GGSCI (mirrordb) 4> edit params mgr
                                PORT 7809
                                PURGEOLDEXTRACTS /dirdat, USECHECKPOINTS

        GGSCI (mirrordb) 5> start mgr
        GGSCI (mirrordb) 6> info mgr

        GGSCI (mirrordb) 7> ADD REPLICAT RINI_1, SPECIALRUN
        GGSCI (mirrordb) 8> INFO REPLICAT *, TASKS
        GGSCI (mirrordb) 9>  EDIT PARAMS RINI_1
                                REPLICAT RINI_1
                                SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
                                ASSUMETARGETDEFS
                                USERID ogg, PASSWORD ogg
                                DISCARDFILE ./dirrpt/RINIaa.dsc, PURGE
                                MAP ogg.*, TARGET ogg.*;


        GGSCI (mirrordb) 10> START REPILCAT RINI_1
        GGSCI (mirrordb) 11> view report RINI_1

四、配置日志抓取进程和传输进程（source database）
        1.创建配置抓取进程
        add extract source,tranlog, begin now
        add exttrail ./dirdat/so,extract source,megabytes 200
        edit params source
                extract source
                userid ogg, password ogg
                tranlogoptions altarchivelogdest /u01/app/oracle/oradata/orcl/archive_log1
                tranlogoptions altarchivedlogformat %t_%s_%r.dbf
                gettruncates
                reportcount every 30 minutes, rate
                discardfile ./dirrpt/source.dsc,purge
                exttrail ./dirdat/so
                table ogg.*;

        start extract source
        info all
        view report source

        2.创建日志传输进程
        add extract pump exttrailsource ./dirdat/so
        add rmttrail ./dirdat/so,extract pump
        edit params pump
                extract pump
                passthru
                rmthost 10.0.0.12,mgrport 7809,compress
                numfiles 5000
                dynamicresolution
                rmttrail ./dirdat/so
                table ogg.*;


        START EXTRACT pump
        INFO ALL
        VIEW REPORT pump

五、配置镜像数据库复制进程（mirror database）

        $./ggsci
        ggsci>dblogin userid ggmgr, password oracle
        ggsci>edit params mgr
                port 7809
                purgeoldextracts /dirdat,usecheckpoints
               
        ggsci>start mgr
        ggsci>info all
        ggsci>dblogin userid ogg, password ogg
        ggsci>EDIT PARAMS ./GLOBALS
        checkpointtable ogg.ggs_checkpointtable
        ggsci>ADD checkpointtable ogg.ggs_checkpointtable
        ggsci>ADD REPLICAT  mirror,EXTTRAIL ./dirdat/so,checkpointtable ogg.ggs_checkpointtable
        ggsci>EDIT PARAMS mirror
                replicat mirror
                userid ogg, password ogg
                assumetargetdefs
                discardfile ./dirrpt/mirror.dsc,purge
                map ogg.*,target ogg.*;
       
        ggsci>start replicat mirror
        ggsci>view report mirror

六. 启动Goldengate

        1.源数据库启动进程
        $./ggsci
        ggsci>INFO ALL
        STOPED
        ggsci>start mgr
        ggsci>START EXTRACT source
        ggsci>start extract pump
        ggsci>INFO ALL
        RUNNING

        2.镜像系统启动复制进程
        ggsci>start mgr
        ggsci>start extract mirror
        ggsci>info all
        确认mgr与reptyfc进程都处于RUNNING状态。
        ggsci>view report reptyfc
        查看复制进程reptyfc的相关日志

七、验证数据同步

wshxgxiaoli

IMPDP  有不同用户， 不同步的导入、：

1. REMAP_SCHEMA
   
2. Objects from one schema are loaded into another schema.
   
3. 
   
4. REMAP_TABLE
   
5. Table names are remapped to another table.
   
6. For example, REMAP_TABLE=HR.EMPLOYEES:EMPS

复制代码

记得表名如果不同的话在参数文件中表名不同的要写出来！

tiejiang2009

多谢各位，问题已经解决， 忘记结贴了