Flink PostgreSQL CDC源码解读：深入理解数据流同步

目录

一、PostgreSQL的数据捕获和复制机制

二、WAL日志格式

三、Debezium部署架构

3.1 Kafka Connect With Debezium

3.2 Debezium Server

​编辑3.3 作为嵌入式引擎

四、Flink  Postgres CDC源码解读

4.1. 如何捕捉数据和更新快照

4.2. 捕获的数据怎么从Postgres SQL写入Flink

4.3如何实现无锁全量同步数据

4.3.1. 无锁读取最小值和最大值

4.3.2. 无锁划分数据块（Chunk）

4.3.3. 无锁查询下一个 Chunk 的边界

4.3.4. 无锁读取数据

五、相关文章

---

一、PostgreSQL的数据捕获和复制机制

PostgreSQL虽然没有binlog,但有类似的机制来实现数据变更的捕获和复制:

1. WAL(Write-Ahead Log)
   WAL是PostgreSQL的预写式日志,用于确保数据的持久性和一致性。所有的数据变更在提交前都会先写入WAL,然后才会写入数据文件。WAL主要用于故障恢复和数据复制。

2. Replication Slot
   Replication Slot是PostgreSQL 9.4引入的一个逻辑复制机制。它定义了一个物理或逻辑复制的起点,确保该位置之后的所有数据变更都会被保留,直到复制消费者消费完这些变更。这避免了因复制滞后导致的数据丢失。

3. Logical Decoding
   Logical Decoding是PostgreSQL 9.4引入的一个机制,可以将WAL中的数据变更解码为易于理解的格式(如JSON),便于应用程序消费。通过Logical Decoding,我们可以实现将PostgreSQL的数据变更实时发送到外部系统,如Kafka。

PostgreSQL的CDC通常是基于Replication Slot和Logical Dec