Flink CDC—实时数据集成框架

Flink CDC 是一个基于流的数据集成工具，旨在为用户提供一套功能更加全面的编程接口（API），它基于数据库日志的 CDC（变更数据捕获）技术实现了统一的增量和全量数据读取。 该工具使得用户能够以 YAML 配置文件的形式，优雅地定义其 ETL（Extract, Transform, Load）流程，并协助用户自动化生成定制化的 Flink 算子并且提交 Flink 作业。 Flink CDC 在任务提交过程中进行了优化，并且增加了一些高级特性，如表结构变更自动同步（Schema Evolution）、数据转换（Data Transformation）、整库同步（Full Database Synchronization）以及 精确一次（Exactly-once）语义。

Flink CDC 深度集成并由 Apache Flink 驱动，提供以下核心功能：

• ✅ 端到端的数据集成框架
• ✅ 为数据集成的用户提供了易于构建作业的 API
• ✅ 支持在 Source 和 Sink 中处理多个表
• ✅ 整库同步
• ✅具备表结构变更自动同步的能力（Schema Evolution）

一、如何使用 Flink CDC

Flink CDC 提供了基于 YAML 格式的用户 API，更适合于数据集成场景。以下是一个 YAML 文件的示例，它定义了一个数据管道(Pipeline)，该Pipeline从 MySQL 捕获实时变更，并将它们同步到 Apache Doris：

source:type: mysqlhostname: localhostport: 3306username: rootpassword: 123456tables: app_db.\.*server-id: 5400-5404server-time-zone: UTCsink:type: dorisfenodes: 127.0.0.1:8030username: rootpassword: ""table.create.properties.light_schema_change: truetable.create.properties.replication_num: 1pipeline:name: Sync MySQL Database to Dorisparallelism: 2

通过使用 flink-cdc.sh 提交 YAML 文件，一个 Flink 作业将会被编译并部署到指定的 Flink 集群。

二、理解核心概念

1、Data Pipeline

由于Flink CDC中的事件以管道方式从上游流向下游，因此整个ETL任务被称为数据管道。

我们可以使用下面的yaml文件来定义一个简洁的数据管道，描述将MySQL app_db数据库下的所有表同步到Doris：

  source:type: mysqlhostname: localhostport: 3306username: rootpassword: 123456tables: app_db.\.*sink:type: dorisfenodes: 127.0.0.1:8030username: rootpassword: ""pipeline:name: Sync MySQL Database to Dorisparallelism: 2

 我们可以使用下面的yaml文件定义一个复杂的数据管道，描述将MySQL app_db数据库下的所有表同步到Doris，并给出特定的目标数据库名称ods_db和特定的目标表名称前缀ods_：

 source:type: mysqlhostname: localhostport: 3306username: rootpassword: 123456tables: app_db.\.*sink:type: dorisfenodes: 127.0.0.1:8030username: rootpassword: ""transform:- source-table: adb.web_order01projection: \*, format('%S', product_name) as product_namefilter: addone(id) > 10 AND order_id > 100description: project fields and filter- source-table: adb.web_order02projection: \*, format('%S', product_name) as product_namefilter: addone(id) > 20 AND order_id > 200description: project fields and filterroute:- source-table: app_db.orderssink-table: ods_db.ods_orders- source-table: app_db.shipmentssink-table: ods_db.ods_shipments- source-table: app_db.productssink-table: ods_db.ods_productspipeline:name: Sync MySQL Database to Dorisparallelism: 2user-defined-function:- name: addoneclasspath: com.example.functions.AddOneFunctionClass- name: formatclasspath: com.example.functions.FormatFunctionClass

Pipeline 配置： 

支持数据管道级别的以下配置选项：

parameter	meaning	optional/required
name	管道的名称，将作为作业名称提交到Flink集群。	optional
parallelism	管道的全局并行性。默认为1。	optional
local-time-zone	本地时区定义当前会话时区id。	optional

2、Data Source

数据源用于访问元数据，并从外部系统读取更改的数据。数据源可以同时从多个表中读取数据。

要描述数据源，需要以下内容：

parameter	meaning	optional/required
type	数据源的类型，如mysql。	required
name	数据源的名称，由用户定义（提供默认值）。	optional
configurations of Data Source	用于构建数据源的配置，例如连接配置和源表属性。	optional

source:type: mysqlname: mysql-source   #optional，description informationhost: localhostport: 3306username: adminpassword: passtables: adb.*, bdb.user_table_[0-9]+, [app|web]_order_\.*

3、Data Sink

4、Table Id

5、Transform