异构数据库同步方案

目录

1 概述

2 原理

3 参数

---

1 概述

将企业生产系统产生的业务数据实时同步到大数据平台，通过对业务数据的联机实时分析，快速制定或调整商业计划，提升企业的核心竞争力。

依据同步数据是否需要加工处理，采用不同的技术方案：

如果数据需要清洗、聚合、标准化或其它加工处理，可采用ETL软件Beeload或BeeDI进行同步，详情可参考文章多源异构数据库实时同步解决方案，本文不做阐述。

如数据无需清洗转换，目标数据与源数据保持一致，可采用数据库复制软件Beedup进行同步。

Beedup除用于双活容灾外，凭借异构（主从库不同类型、主从对象不同属主模式）数据处理能力，也可应用于数据同步、数据迁移及数据汇聚项目，在同类或异类库间同步数据，目标数据可选择与源端不同的属主模式存储。

 

2 原理

采用Beedup实施数据库同步分为全量和增量二个过程：

全量过程遍历源库所有表，依次在目标库创建对应表并通过SQL读写方式同步表的历史数据。

增量过程采用日志解析方式，从某一时间点顺序读取数据库日志中的事务操作，解析还原为目标兼容的DML或DDL，以事务为单元在目标库重做操作。

全量过程开始时记录源库当前时间点，全量过程结束后，增量过程自动从该时间点开始解析日志。也可以跳过全量过程，直接指定某一时间点启动增量过程。

 

3 参数

工作方式	基于联机归档日志解析
目标库支持的操作	Read-Write
支持数据库	Oracle 9i / 10g / 11g / 12c / 18c SQL Server 2005 / 2008 / 2012 / 2014 MySQL 5.6 / 5.7 / 8.0 DB2 9.5 / 9.7 / 10.5 / 11.1 Gbase 8a (8.3) PostgreSQL 10.5 / 11.8 / 12.3 DM 8.1
支持数据类型	所有
支持操作类型	DML/ DDL
可选择性复制	选择整库、用户模式、表为复制单位
支持的主从库平台	无限制
运行操作系统	win7、win2008、win8、win2012、win10
支持多种复制结构	一对一，双向，一对多，多对一