Airbyte架构

作为一款技术复杂的数据集成管道，Airbyte的架构模式非常清晰明了。

Airbyte应用模式

Airbyte管道架构

UI：一个易于使用的图形界面，用于与Airbyte API进行交互。

WebApp Server：处理 UI 和 API 之间的连接。

Config Store：存储所有连接信息（凭据、频率等）。

Scheduler Store：存储调度程序簿记的状态和作业信息。

Config API：Airbyte 的主控制平面。Airbyte 中的所有操作，例如创建源、目标、连接、管理配置等。从 API 配置和调用。

Scheduler：调度程序从 API 获取工作请求，并将其发送到临时服务进行并行化。它负责跟踪成功/失败，并根据配置的频率触发同步。

Temporal Service：管理计划程序的任务队列和工作流。

Worker：工作线程连接到源连接器，拉取数据并将其写入目标。

Temporary Storage：工作人员在需要将数据溢出到磁盘上时可以使用的存储。