Oracle GoldenGate 产品介绍

ALLSTARS_ORACLE

Oracle GoldenGate 产品介绍

一、  OracleGoldenGate技术原理Oracle GoldenGate软件是一种基于log(日志)的结构化数据复制软件，它通过解析源数据库在线log或归档log获得数据的增、删、改变化，再将这些变化应用到目标数据库，实现源数据库与目标数据库同步、双活。Oracle GoldenGate 软件可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒级的实时复制，其复制过程简图如下：

file:///C:\Users\xiangbli\AppData\Local\Temp\OICE_E0AD0706-7737-478F-BA11-5ABF62D32F0C.0\msohtmlclip1\01\clip_image001.jpg

如上图所示，Oracle GoldenGate的数据复制过程如下：
Ø  利用捕捉进程(Capture Process)在源系统端读取Online Redo Log或Archive Log，然后进行解析，只提取其中数据的变化如增、删、改操作，并将相关信息转换为Oracle GoldenGate自定义的中间格式存放在队列文件中。再利用传送进程将队列文件通过TCP/IP传送到目标系统。捕捉进程在每次读完log中的数据变化并在数据传送到目标系统后，会写检查点，记录当前完成捕捉的log位置，检查点的存在可以使捕捉进程在中止并恢复后可从检查点位置继续复制；
Ø  目标系统接受数据变化并缓存到Oracle GoldenGate队列当中，队列为一系列临时存储数据变化的文件，等待投递进程读取数据。队列数据量一般只有log的四分之一左右；
Ø  Oracle GoldenGate投递进程从队列中读取数据变化并创建对应的SQL语句，通过数据库的本地接口执行，提交到数据库成功后更新自己的检查点，记录已经完成复制的位置，数据的复制过程最终完成。

由此可见，Oracle GoldenGate是一种基于软件的数据复制方式，它从数据库的log解析数据的变化。OracleGoldenGate将数据变化转化为自己的格式，直接通过TCP/IP网络传输，无需依赖于数据库自身的传递方式，而且可以通过高达9:1的压缩率对数据进行压缩，可以大大降低带宽需求。在目标端，Oracle GoldenGate可以通过交易重组，分批加载等技术手段大大加快数据投递的速度和效率，降低目标系统的资源占用，可以在亚秒级实现大量数据的复制，并且目标端数据库是活动的。

OracleGoldenGate支持多种拓扑结构，为用户数据复制方案的灵活性、先进性奠定基础，如图所示：

file:///C:\Users\xiangbli\AppData\Local\Temp\OICE_E0AD0706-7737-478F-BA11-5ABF62D32F0C.0\msohtmlclip1\01\clip_image003.jpg

Oracle GoldenGate各种拓扑结构示意图

1.     单向数据复制：由一个源数据库复制到一个目的数据库，一般用于高可用性和容灾，为生产机保持一个活动的备用数据库，从而在发生灾难的时候迅速切换，减少数据丢失和停机时间；
2.     双向数据复制：利用Oracle GoldenGate可以实现两个数据库之间数据的双向复制，任何一方的数据变化都会被传递到另一端，可以利用此模式开展双业务中心；
3.     广播复制：由一个数据库向多个数据库复制，利用Oracle GoldenGate的数据过滤功能可以实现数据的有选择分发；
4.     集中复制：由多个数据库向一个数据库复制，可以将分布的、跨平台或异构的多个数据库集中到一个数据库。此种模式广泛应用于N+1模式的容灾，通过将多个系统数据库集中到一起，可以充分利用备份中心的设施，大幅减少投资；另外也用于跨平台多系统的数据集成，为这些提供系统提供一个统一视图便于查询和统计数据。
5.     多层复制：由A数据库向B复制，同时又由B向C复制，可以在以上几种模式基础上无限制扩展。
由此可见，Oracle GoldenGate的复制模式非常灵活，用户可以根据自己的需求选择特定的复制方式，并根据系统扩展对复制进行扩展
二、   复制的可靠性Oracle GoldenGate 可以提供可靠的数据复制，主要体现在下面三点：
l  保证事务一致性
Oracle GoldenGate 在灾备数据库应用复制数据库交易的顺序与在生产中心数据库上的顺序相同，并且按照相同的事务环境提交，确保在目标系统上数据的完整性和读一致性，为实时查询和事务处理创造了条件。
l  检查点机制保障数据无丢失
Oracle GoldenGate的抽取和复制进程使用检查点机制记录完成复制的位置。对于抽取进程，其检查点记录当前已经抽取log的位置和写队列文件的位置；对于投递进程，其检查点记录当前读取队列文件的位置。检查点机制可以保证在系统、网络或Oracle GoldenGate进程故障重启后数据无丢失。
l  可靠的数据传输机制
Oracle GoldenGate 用应答机制传输交易数据，只有在得到确认消息后才认为数据传输完成，否则将自动重新传输数据，从而保证了抽取出的所有数据都能发送到备用端。数据传输过程中支持128位加密和数据压缩功能；

ALLSTARS_ORACLE

案例二 国家税务总局灾备1       应用背景
随着信息化技术在税收征管业务上的广泛应用，税收工作比以往任何时候都更依赖于计算机系统。按照国家税务总局的总体要求，各省、直辖市、计划单列市国税局和地税局均实现了综合征管信息系统的省级大集中处理。在征管数据实现省级集中处理后，各关键业务应用系统，及其有关数据和信息都将集中存储在省级局的数据中心。在这种情况下，省局数据中心将承担起支撑并确保全省各地基层单位税收征管业务正常运行的重要责任。
由于信息和处理的集中，不可预见的故障和风险也趋于集中，在省级集中处理系统的内、外部环境中，任何一个关键环节出现不可恢复的灾难时，全省各地的税收征管工作将遭受不可挽回的损失。为有效地防范灾难对信息系统的冲击，国税总局开始筹备建设南海灾备中心，利用数据库复制技术将各省级国税局和各省地税的业务数据实时备份至南海灾备中心。根据国税总局要求，远程容灾系统的指标必须满足RTO < 4Hr和RPO < 24Hr，同时对生产系统影响小。
2       应用介绍
国税总局选择江西地税、厦门国税和深圳国税3个单位作为远程灾备项目的试点，采用基于Oracle GoldenGate的远程灾备方案，能够满足国税总局对远程容灾系统建设的基本要求。根据总局统一规划部署，考虑试点单位综合征管系统现状及金税工程（三期）总体规划，在南海搭建与试点单位业务系统相同规模的数据库，利用Oracle GoldenGate同一复制技术，统一完成从3个试点单位的生产中心到南海备份中心数据库的数据复制，从而实现各试点单位的征管业务数据的远程容灾。

试点单位综合征管系统数据容灾示意图如下：
file:///C:\Users\xiangbli\AppData\Local\Temp\OICE_E0AD0706-7737-478F-BA11-5ABF62D32F0C.0\msohtmlclip1\01\clip_image002.jpg

各试点单位CTAIS 2.0核心数据库数据情况表：

试点单位	数据量	log增量	年增长量
江西地税	800G	每天20G	150G
厦门国税	100G	每天10G	10G
深圳国税	400G	每天20G	100G

根据监控统计报告，各试点单位灾备系统Oracle GoldenGate软件平均资源占用表：

试点单位	到南海的距离	log增量	源端CPU    占用率	目标端CPU    占用率	网络带宽    占用	延迟
江西地税	800公里	每天20G	0.1%	0.1%	<=100k/s	<=3s
厦门国税	700公里	每天10G	0.1%	0.1%	<=50k/s	<=3s
深圳国税	150公里	每天20G	0.1%	0.1%	<=100k/s	<=3s

3       应用特点
对于试点单位的灾备系统，基于Oracle GoldenGate的灾备解决方案具有以下特点：
3.1      最低带宽和最大数据保护
在远距离容灾系统中，由于距离限制无法采用同步的复制方式，只能采取异步复制。Oracle GoldenGate能够即时捕捉数据变化，抽取的数据变化仅为log量的1/4，另外Oracle GoldenGate的高达1/9的数据压缩算法，使网络上传输的数据量在各类技术中最小，可以低带宽如几兆专线实现每日log增量上百G的大交易量数据交易，大幅降低了投资。同时，在网络带宽一定情况下也降低了网络造成的延迟，在生产中心到备份中心的复制过程中延时在秒一级（一般可以在3秒内完成复制），在生产中心发生灾难无法恢复时，系统的数据丢失可以控制在几秒以内，可以对数据达到最大保护。
3.2      快速的业务接管
       OracleGoldenGate复制的目标数据库在实时复制过程中始终处于活动，因此在源数据库主机出现故障导致系统中止服务后可以立即切换到备用端，其RTO可以达到最小化，对于保障地税业务系统的无间断运行有着非常重大的意义。
3.3      N+1模式的灾备能够减少投资和便于扩展
通过使用Oracle GoldenGate，各省市局数据可以复制到同一个备份中心，多个系统数据可以存放于同一个或多个主机、数据库、数据库实例中，使设备的到充分利用，节省了大量投资，简化了维护工作。同时，还可以将多个分中心的数据集中于一个数据库实现数据的逻辑集中，为各系统数据提供了一个统一的视图，以便于统一查询和统计以及进一步的数据挖掘。
3.4      对源系统的影响小
Oracle GoldenGate优秀的log分析技术使得其在复制过程中极少与源数据库交互，且无须在数据库中插入表或触发器，从而对源数据库运行影响非常小。

ALLSTARS_ORACLE

附录 成功案例
案例一 中国海关总署远程容灾
1        中国海关介绍
中国海关是国务院直属机构，实行集中统一的垂直领导管理体制。这一体制的特点主要体现在：中国海关的最高领导机关是海关总署，统一管理全国海关，海关总署最高行政领导是署长；国家在对外开放口岸和海关监管业务集中的地点设立海关，海关的隶属关系不受行政区划的限制；各地海关依法独立行使职权，向海关总署负责，不受地方政府及其他机关干预。除广东分署，天津、上海特派办和海关院校外，全国共设有41个直属海关。截至2002年，全国海关共有45000余人。
海关的H2000系统是目前海关的主干业务系统，为全国企业以及个人提供报关业务，各地方海关通过网络连接位于北京总部的信息中心实现通关业务。
2        海关总署所面临的几个问题
海关支撑其主干业务的IT系统位于北京的总署信息中心，并且对于某些关口需要提供7X24小时的通关业务。数据的高度集中带来了信息的高风险，一旦系统瘫痪不能提供业务，甚至造成数据丢失，这在海关业务里是不允许存在的。于是，必须建设H2000系统的灾备系统来防备灾难发生；同时，总署信息中心支撑全国报关业务，负载会过大，海关总署提出了灾备系统同时提供服务并保持两端数据同步的规划。这一规划的实现，将使海关的IT服务提升到另外一个高度，是世界高科技技术与中国国情有机结合的成功案例，在国内将有轰动性的效应。
建设中面临着以下几个问题：
        建设总署生产中心的灾备系统，提供7*24小时的通关服务；为了提高对地域性灾难的防灾能力，两端系统距离远。
        从报关业务切换要求看，平时广州灾备中心为总署提供灾难接管服务。而且海关定期会将业务全部切换到广州进行。这样两端要求能提供报关业务数据实时同步。
通过调研和测试，海关总署选择了Oracle GoldenGate软件平台做为整个解决方案的核心。
3        Oracle GoldenGate 数据同步在海关总署的应用
系统拓扑参考图如下：

环境中有两个信息中心分别为总署信息中心和广东信息分中心，总署信息中心中由3台IBM P690（操作系统为AIX 5.2）服务器和EMC的DMX1000存储系统搭建的Cluster系统，运行Oracle 9.2.0.5 RAC并行数据库系统，广东信息分中心中由2台IBM P690（操作系统为AIX 5.2）服务器和EMC的DMX1000存储系统搭建的Cluster系统，运行Oracle 9.2.0.5 RAC并行数据库系统，数据库中包括报关单和备案数据表两部分内容；在总署信息中心接管业务时间内需要做北京到广州的数据复制，在分中心接管业务时间内需要做广州到北京的数据复制。与此同时两地的数据库需要把两个信息中心的数据实时复制到各自的本地备份系统中。
在海关信息中心现有系统中，Oracle GoldenGate配置为总署和分中心的双向复制方式。通过各自系统上配置的两个抓取和两个复制进程，总署产生的交易数据会实时复制到分中心，分中心产生的交易数据会实时复制到总署。由于现有各关交易数据全部在总署处理。所以数据复制总是从总署到分中心，总署抓取进程产生的数据队列文件是实时在增长的，而分中心由于没有处理各关的交易数据，分中心抓取进程产生的队列不增长。自从2004年12月份，双向数据复制关系建立起来后，总署的数据一直正常复制到分中心，每天产生的复制数据队列为4G左右，每天数据库产生的log量20G左右，两中心之间的网络带宽仅为2M即可保证复制正常运行，日常复制数据延时在3秒以内。
为了能够进行容灾演练和人员轮休，海关总署当前使用每隔四个月切换一次的方式由北京和广州轮流对外提供业务，其切换时间仅仅为3分钟，大大高于客户预期，得到了很高的评价，是我国当前远距离容灾的一个典型案例。

ALLSTARS_ORACLE

三、                             GoldenGate支持操作系统和数据库类型

OracleGoldenGate可以在异构的IT基础结构之间实现大量数据的亚秒级的数据捕捉、转换和投递。Oracle GoldenGate支持几乎所有常用操作系统和数据库平台，如下表所示：

操作系统	数据库
Windows  2000, 2003, XP    Sun  Solaris    HP-UX    IBM  AIX    Linux    HP  TRU64    HP  OpenVMS    HP  NonStop    IBM  z/OS	Capture(捕获)	Delivery(投递):
	Oracle    IBM  DB2    MS  SQL Server    Sybase  ASE    Teradata    Enscribe    SQL/MP    SQL/MX	Oracle    IBM  DB2    MS  SQL Server    Sybase  ASE    MySQL    Teradata    Enscribe    SQL/MP    SQL/MX    Ingres    HP  Neoview    任何ODBC兼容数据库

五、 Oracle GoldenGate部分客户名单

银行业
ABN India   ANZ Australia   ANZ New Zealand   Allied Irish Banks   Andrhaa Bank   Banca Sella   Banco de Credito e Inversion (BCI)   Banco Internacional, S.A. - BITAL   Banco Nacional de Mexico   Bank Gospodarki Zywnosciowej   Bank Mandiri   Bank of America（美国银行）   Bank of Ayudhya   Bank Central Asia   Bank of Executives   Bank of Indonesia   Bank Mandiri   Bank Negara Indonesia   Bank One   Bankart   BiK   Borica   China Trust Commercial Bank   Comerica   Commercial Bank of Greece   Consorzio Triveneto Spa   Emirates Bank International   Eurobank   Fleet Financial Services   FSPA Foereningssparbanken   Global Trust Bank   Government Savings Bank   HDFC Bank	HSBC（汇丰银行）   Hsinchu Bank   Huntington Services Corp.   ICICI BANK   Industry Construction Bank   Knet   Korean Exchange Bank   Muzo   National Australia Group   National Bank Of Greece   OTP Bank   PKO Bank Polski   Postbank   Punjab National Bank   Rabobank   Shanghai Commercial and Savings Bank   Siam City Bank   State Bank of India   State Bank of Mauritius   Taitung Business Bank   Toronto Dominion Bank   Transbank S.A.   Twinsoft for Deutsche Bahn   Ulster Bank   U.S. Bank (US Bancorp)   Unibanco   Union Bank of India   UTI Bank   Wachovia   Washington Mutual Bank   Wells Fargo   World Savings   …
金融保险业
ABN Amro   Affinitas (Consortia)   Alliance and Leicester   Arta Jasa   Assurant Inc.   ATH Costa Rica   Austrian Payment Systems   Bankserv   Benefit   Bolsa de Valores de Columbia   Bombay Stock Exchange   Bursatec (Mexican Stock Exchange)   Capital Securities   Cardsystems Solutions   CIBC   Concord EFS - Datawise   Everlink Payment Systems   Federated Investors   Fidelity Information Services   First Data Resources Australia Pte Ltd   Hanvit Securities   First Tennessee   Girobankard   Hyundai Securities   ITS Inc.   JCB International Co.   Jih Sun Securities   KeyCorp   Kookmin Credit   LG Card (LGC)   Lotte Card	Link Interchange Network   Market Axess Corporation   MasterLink Futures Corporation   MasterLink Securities   Merrill Lynch   National Credit Card Centre   National Processing Company   NYCE Corporation   PayPoint   Paymentech   Polaris Securities   Polcard   PreHoldings (ITC Financial)   Promisant   Pulse EFT   Raymond James Associates   Regionsykehuset i Tromsoe Samsung Card   Samsung Securities   Samsung Winners Card   Speedway Superamerica   Stored Value Systems   T-Chek Systems   Total Systems   Transacty   Travelers Express   UBS   VISA   Western Union   Woori Securities
卫生服务业
Antelope Valley Hospital   Baptist Health   Bronx Lebanon   Continuum Health Partners   EHIT   Fresno Community Hospital   Group Health   Health Alliance of Cincinnati   Huntsville Hospital   INOVA Health Systems   Iowa Health System   Kettering Medical Center   Legacy Health System   Mayo Clinic Foundation   Montefiore Medical Center   Nebraska Health Systems	North Carolina Baptist Health   Oakwood Healthcare Systems   OSF Healthcare   Park Nicollet Health Services   Parkview Health Systems   Peace Health   Schering-Plough   Sharp Healthcare   Sisters of Charity of Leavenworth   St. Francis Hospital   St. Joseph's Hospital   Thomas Jefferson University Hospital   University of Chicago Hospitals   University of California - San Francisco   …
电信业
海南移动   Adelphia Communications Corp.   BCE/Emergis   BellSouth   Cable One   Cablevision Systems Corp.   Comcast Communications Inc.   Continental Datagraphics   Dell USA   DirecTV   Genpass Technologies   Getronics	Matav   NuWave Technologies, Inc.   Postini   Procomp   Singapore Computer Systems   SIS/ADP   Sprint   Syscom   Texas Electronic Information Comp.   Toyo Information Systems   West Corp     …
电子商务，零售，交通等
中华人民共和国海关总署   Boston Consulting Group   CIMA   Copperweld   Duke Energy   Genuine Auto Parts Company   Gillette   Hertz   Hyundai Motor America   Japan Airlines International   Korea Ministry of Information and Communication   Mirage Resorts   MGM Grand   Office of Military Manpower Admin.	Orbitz   Overstock.com   Party City   Publix Super Markets   Ross   Sabre Holdings   Safeway   Sandia National Labs - U.S. DoE   Shell Oil   Southwest.com   U.S. Air Force   U.S. Department of Defense   US Foodservice   Valero Energy Corporation   Water Corporation of Western Australia   …