异构数据库同步方案
目录
1 概述
2 原理
3 参数
1 概述
将企业生产系统产生的业务数据实时同步到大数据平台，通过对业务数据的联机实时分析，快速制定或调整商业计划，提升企业的核心竞争力。
依据同步数据是否需要加工处理，采用不同的技术方案：
如果数据需要清洗、聚合、标准化或其它加工处理，可采用ETL软件Beeload或BeeDI进行同步，详情可参考文章多源异构数据库实时同步解决方案，本文不做阐述。
如数据无需清洗转换，目标数据与源数据保持一致，可采用数据库复制软件Beedup进行同步。
Beedup除用于双活容灾外，凭借异构（主从库不同类型、主从对象不同属主模式）数据处理能力，也可应用于数据同步、数据迁移及数据汇聚项目，在同类或异类库间同步数据，目标数据可选择与源端不同的属主模式存储。
2 原理
采用Beedup实施数据库同步分为全量和增量二个过程：
全量过程遍历源库所有表，依次在目标库创建对应表并通过SQL读写方式同步表的历史数据。
增量过程采用日志解析方式，从某一时间点顺序读取数据库日志中的事务操作，解析还原为目标兼容的DML或DDL，以事务为单元在目标库重做操作。
全量过程开始时记录源库当前时间点，全量过程结束后，增量过程自动从该时间点开始解析日志。也可以跳过全量过程，直接指定某一时间点启动增量过程。
3 参数
| 工作方式 | 基于联机归档日志解析 |
| 目标库支持的操作 | Read-Write |
| 支持数据库 | Oracle 9i / 10g / 11g / 12c / 18c SQL Server 2005 / 2008 / 2012 / 2014 MySQL 5.6 / 5.7 / 8.0 DB2 9.5 / 9.7 / 10.5 / 11.1 Gbase 8a (8.3) PostgreSQL 10.5 / 11.8 / 12.3 DM 8.1 |
| 支持数据类型 | 所有 |
| 支持操作类型 | DML/ DDL |
| 可选择性复制 | 选择整库、用户模式、表为复制单位 |
| 支持的主从库平台 | 无限制 |
| 运行操作系统 | win7、win2008、win8、win2012、win10 |
| 支持多种复制结构 | 一对一，双向，一对多，多对一 |
相关文章：
异构数据库同步方案
目录 1 概述 2 原理 3 参数 1 概述 将企业生产系统产生的业务数据实时同步到大数据平台，通过对业务数据的联机实时分析，快速制定或调整商业计划，提升企业的核心竞争力。 依据同步数据是否需要加工处理，采用不同的技术方案&am…...
MySQL-系统信息函数
获取 MySQL 版本号的函数VERSION()例：返回当前mysql版本信息mysql> select version(); ----------- | version() | ----------- | 5.7.40 | ----------- 1 row in set (0.01 sec)查看当前用户的连接数的ID函数CONNECTION_ID()例1：查看当前用户连接…...
Windows环境下使用Pycharm运行sh文件
博主在调试一些程序时，时常遇到 .sh文件，这是Linux中的shell脚本文件，那么这种文件在windows下如何运行呢，其实我们可以通过git来实现，接下来看我操作。 首先我们需要安装Git，关于其安装过程可以参考博主这…...
Flutter启动流程浅析
一，Mixins1，定义：Mixins 是一种在多个类层次结构中重用类代码的方法。个人理解：就是一个类，这个类有一些方法，其他类可以在不继承这个类的情况下使用这个类的方法。2，几个关键词（1&a…...
004:NumPy的应⽤-2
数组的运算 使⽤NumPy 最为⽅便的是当需要对数组元素进⾏运算时，不⽤编写循环代码遍历每个元素，所有的运算都会⾃动的⽮量化（使⽤⾼效的、提前编译的底层代码来对数据序列进⾏数学操作）。简单的说就是，NumPy 中的数学运…...
一文了解JAVA中同步、异步、阻塞和非阻塞
🏆今日学习目标： 🍀JAVA中同步、异步、阻塞和非阻塞 ✅创作者：林在闪闪发光 ⏰预计时间：30分钟 🎉个人主页：林在闪闪发光的个人主页 🍁林在闪闪发光的个人社区，欢迎你的加…...
查询股票交易日接口可以用C++实现查询当日成交吗？
用查询股票交易日接口可以自行查询各大交易网站或交易所的股票历史数据及行情数据，也可以用它 查询当日成交数据！ 接下来小编就来分享一下用C实现查询当日成交代码： std::cout << " 查询当日成交: category 3 \n"; categ…...
java中常见的json库以及对应的用法
一、常见的json库 1、Jackson: Jackson是一个高性能、灵活性强的JSON库，提供了丰富的API，支持JSON和XML的数据解析和生成。它支持对Java对象进行序列化和反序列化，可以处理复杂的JSON格式数据。 导入的依赖 https://mvnrepository.com/ &…...
德赛西威NAV75*-SV731*导航升级（凯立德J30）实战
一、前言：升级导航德赛西威（2015年买的）地图几年没升级过了（之前自己折腾了一个）之前的启动是DSA2013（电子G已经无法升级数据文件了，本次只升级地图J30图资-凯立德）主程序版本&#…...
[USACO2023-JAN-Bronze] T1 LEADERS 题解
一、题目描述Farmer John 有 N 头牛 (2≤N≤10^5)。 每头牛有对应的品种：Guernsey or Holstein. 按照惯例，这些牛站成一排，编号从1到N。在某一天，每头牛写了一个数字, 第i头牛写的数字Ei明确地表示了一个范围，表示范围…...
第二章：unity性能优化之drawcall优化-1
目录 前言： 一、什么是drawcall 二、如何合批 1、什么是合批？ 2、静态批处理 1、什么是静态批处理： 2、静态合批的规则 3、动态批处理 4、GPU Instancing 1、GPU instancing的定义 2、编写支持GPU instancing Shader步骤 5、…...
【2341. 数组能形成多少数对】
来源：力扣（LeetCode） 描述： 给你一个下标从 0 开始的整数数组 nums 。在一步操作中，你可以执行以下步骤： 从 nums 选出 两个 相等的 整数从 nums 中移除这两个整数，形成一个 数对 请你在 nu…...
[TPAMI‘21] Heatmap Regression via Randomized Rounding
paper: https://arxiv.org/pdf/2009.00225.pdf code: https://github.com/baoshengyu/H3R 总结：本文提出一套编解码方法： 编码：random-round整数化 激活点响应值表征小数部分，使得GT可以通过编码后的heatmap解码得到；…...
pytorch下tensorboard使用[远程服务器]
** 1、安装tensorboard ** pip install tensorboard可以不安装tensorflow，后续会有提示： TensorFlow installation not found - running with reduced feature set. 但是没有影响。 2、创建环境，导出数据 这一步由代码中的writer完成。 …...
CentOS下安装Nginx的详细步骤
1.安装依赖：yum -y install gcc gcc-c make libtool zlib zlib-devel openssl openssl-devel pcre pcre-devel 2.下载Nginx安装包：wget -c https://nginx.org/download/nginx-1.18.0.tar.gz 3.解压,进入解压目录： tar -zxvf nginx-1.18.0.…...
CSS编码规范
本篇文章是基于王叨叨大佬师父维护的文档梳理的，有兴趣可以去看一下原文CSS编码规范。 其实不管是HTML也好，还是CSS也好，有些规范其实是共通的。 1. 命名 class的命名应该偏向语义化，不是为了样式而去命名，而是通过…...
Linux下makefile 编译项目
文章目录1、规划makefile编写2、makefile文件2.1、根目录下common.mk2.2、config.mk2.3、根目录makefile2.4、其他目录下1、规划makefile编写 a、根目录下放三个文件： 1、makefile：是咱们编译项目的入口脚本，编译项目从这里开始，…...
Linux磁盘查看，使用（分区、格式化、挂载）
目录 0、观察磁盘分区状态：lsblk、blkid、parted 0.1 lsblk列出系统上的所有磁盘列表 0.2 blkid列出设备的UUID等参数 0.3 parted列出磁盘的分区表类型与分区信息 1、磁盘分区：gdisk、fdisk 1.1 fdisk 2、磁盘格式化（创建文件系统…...
走进WebGL
什么是 WebGL？ WebGL 是一种跨平台、免版税的 API，用于在 Web 浏览器中创建 3D 图形。基于 OpenGL ES 2.0，WebGL 使用 OpenGL 着色语言 GLSL，并提供熟悉的标准 OpenGL API。因为它在 HTML5 Canvas 元素中运行，所以 We…...
Unity 中 Awake 和 Start 时机与 GameObject的关系
Awake和Start很相似，都是在脚本的初始阶段执行 但是有两点重要不同： Awake先执行Awake即便在脚本 disabled （即enabled false）时，也会执行，但是Start就不会执行了 对一个物体： 当初始没有激…...
)
Java 语言特性(面试系列2)
一、SQL 基础 1. 复杂查询 （1）连接查询（JOIN） 内连接（INNER JOIN）：返回两表匹配的记录。 SELECT e.name, d.dept_name FROM employees e INNER JOIN departments d ON e.dept_id d.dept_id; 左…...
使用分级同态加密防御梯度泄漏
抽象 联邦学习 （FL） 支持跨分布式客户端进行协作模型训练，而无需共享原始数据，这使其成为在互联和自动驾驶汽车 （CAV） 等领域保护隐私的机器学习的一种很有前途的方法。然而，最近的研究表明&…...
Python爬虫实战：研究feedparser库相关技术
1. 引言 1.1 研究背景与意义 在当今信息爆炸的时代，互联网上存在着海量的信息资源。RSS（Really Simple Syndication）作为一种标准化的信息聚合技术，被广泛用于网站内容的发布和订阅。通过 RSS，用户可以方便地获取网站更新的内容，而无需频繁访问各个网站。 然而，互联网…...
高危文件识别的常用算法：原理、应用与企业场景
高危文件识别的常用算法：原理、应用与企业场景 高危文件识别旨在检测可能导致安全威胁的文件，如包含恶意代码、敏感数据或欺诈内容的文档，在企业协同办公环境中（如Teams、Google Workspace）尤为重要。结合大模型技术&…...
Java毕业设计：WML信息查询与后端信息发布系统开发
JAVAWML信息查询与后端信息发布系统实现 一、系统概述 本系统基于Java和WML(无线标记语言)技术开发，实现了移动设备上的信息查询与后端信息发布功能。系统采用B/S架构，服务器端使用Java Servlet处理请求，数据库采用MySQL存储信息࿰…...
ubuntu系统文件误删(/lib/x86_64-linux-gnu/libc.so.6)修复方案 [成功解决]
报错信息：libc.so.6: cannot open shared object file: No such file or directory： #ls, ln, sudo...命令都不能用 error while loading shared libraries: libc.so.6: cannot open shared object file: No such file or directory重启后报错信息&…...
echarts使用graphic强行给图增加一个边框（边框根据自己的图形大小设置）- 适用于无法使用dom的样式
pdf-lib https://blog.csdn.net/Shi_haoliu/article/details/148157624?spm1001.2014.3001.5501 为了完成在pdf中导出echarts图，如果边框加在dom上面，pdf-lib导出svg的时候并不会导出边框，所以只能在echarts图上面加边框 grid的边框是在图里…...
C#最佳实践：为何优先使用as或is而非强制转换
C#最佳实践：为何优先使用as或is而非强制转换 在 C# 的编程世界里，类型转换是我们经常会遇到的操作。就像在现实生活中，我们可能需要把不同形状的物品重新整理归类一样，在代码里，我们也常常需要将一个数据类型转换为另…...
CppCon 2015 学习:Simple, Extensible Pattern Matching in C++14
什么是 Pattern Matching（模式匹配） ❝ 模式匹配就是一种“描述式”的写法，不需要你手动判断、提取数据，而是直接描述你希望的数据结构是什么样子，系统自动判断并提取。❞ 你给的定义拆解： ✴ Instead of …...
Pandas 可视化集成：数据科学家的高效绘图指南
为什么选择 Pandas 进行数据可视化？ 在数据科学和分析领域，可视化是理解数据、发现模式和传达见解的关键步骤。Python 生态系统提供了多种可视化工具，如 Matplotlib、Seaborn、Plotly 等，但 Pandas 内置的可视化功能因其与数据结…...