当前位置： 首页 > news >正文

Apache SeaTunne简介

news 文章来源：https://blog.csdn.net/qq_34905631/article/details/135047942 2025/5/3 21:03:34

Apache SeaTunne简介

文章目录

  • 1.Apache SeaTunne是什么？
    • 1.1[官网](https://seatunnel.apache.org/)
    • 1.2 项目地址
  • 2.架构
  • 3.特性
    • 3.1 丰富且可扩展的连接器和插件机制
    • 3.2 支持分布式快照算法以确保数据一致性
    • 3.3 支持流、批数据处理，支持全量、增量和实时数据集成处理
    • 3.4 多引擎支持
    • 3.5 JDBC多路复用
    • 3.5 高吞吐量和低延迟
    • 3.6 完善的实时监控
    • 3.7 支持两种作业开发方法:编码和画布设计
  • 4.支持引擎对比
  • 5.数据集成工具对比
  • 6.官方好文分享
  • 7.总结

1.Apache SeaTunne是什么？

  Apache SeaTunne(前身 Waterdrop,2021 年 10 月更名为 SeaTunnel 并申请加入 Apache孵化器) 是一个分布式、高性能、易扩展、用于海量数据（离线 & 实时）同步和转化的数据集成平台。

1.1官网

https://seatunnel.apache.org/

1.2 项目地址

https://github.com/apache/seatunnel
https://github.com/apache/seatunnel#apache-seaTunnel-web-project

2.架构

图片

架构的核心思想就是：

input—>transform—>output

输入 -> 转换 -> 输出

3.特性

3.1 丰富且可扩展的连接器和插件机制

  SeaTunnel提供了一个不依赖于特定执行引擎的连接器API。基于此API开发的连接器(Source, Transform, Sink)可以在许多不同的引擎上运行，例如当前支持的SeaTunnel Engine, Flink和Spark,插件设计允许用户轻松开发自己的连接器并将其集成到SeaTunnel项目中。目前，SeaTunnel支持100多个连接器，而且这个数字还在飙升。

3.2 支持分布式快照算法以确保数据一致性

3.3 支持流、批数据处理，支持全量、增量和实时数据集成处理

  基于SeaTunnel Connector API开发的连接器完美兼容离线同步、实时同步、全同步、增量同步等场景。它们大大降低了管理数据集成任务的难度

3.4 多引擎支持

  SeaTunnel默认使用SeaTunnel引擎进行数据同步。SeaTunnel还支持使用Flink或Spark作为连接器的执行引擎，以适应企业现有的技术组件。SeaTunnel支持多个版本的Spark和Flink

3.5 JDBC多路复用

  数据库日志多表解析:SeaTunnel支持多表或整个数据库同步，解决了JDBC过度连接的问题;支持多表或全数据库的日志读取和解析，解决了CDC多表同步场景需要处理日志重复读取和解析的问题

3.5 高吞吐量和低延迟

  SeaTunnel支持并行读写，提供稳定可靠的高吞吐量和低延迟的数据同步能力

3.6 完善的实时监控

  SeaTunnel支持对数据同步过程中每一步的详细监控信息，让用户轻松了解同步任务读写的数据数量、数据大小、QPS等信息。

3.7 支持两种作业开发方法:编码和画布设计

  可视化界面操作集成作业管理:SeaTunnel web项目seatunnel-web提供了作业、调度、运行和监控功能的可视化管理

  以上是我总结的关于Apache SeaTunne的主要特性，官方还有详细的说明，可以参看官方文档

4.支持引擎对比

  Apache SeaTunne默认使用的是自研的SeaTunne Zeta引擎，还支持Spark、Flink计算引擎

图片

5.数据集成工具对比

图片

  Apache SeaTunne和Apache StreamPark可以说是平台，而DataX和Chunjun只能说是工具。

6.官方好文分享

基于 SeaTunnel 构建 CDC 流式应用

https://mp.weixin.qq.com/s/3G_8JhePUexvuX1acV7dvg

Apache SeaTunnel Web部署指南

https://mp.weixin.qq.com/s/eNWGP_09Oh4pHdoQkmGPzg

基于Apache SeaTunnel 的数据精确一致性技术实践

https://mp.weixin.qq.com/s/cn9QCS-o8fYkilPHUoT_9g

SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

https://mp.weixin.qq.com/s/ayQIz7ImOI_IhaOmMB5pnA

从 0 到 1 快速入门 Apache SeaTunnel ，新一代数据集成平台的原理和实践

https://mp.weixin.qq.com/s/i631_RTIuTBAvsOeow0F7Q

7.总结

  本文使用简短精炼的文字向大家介绍了Apache SeaTunne，相信通过本文对Apache SeaTunne有了跟多的认识，后面的文章会向大家分享在CentOs7.x上部署遇到的坑和windows10电脑上本地构建Apache SeaTunne运行mysql-jdb to mysql-jdbc的单表同步的demo以及断点调试欣赏Apache SeaTunne的源码和牛皮的设计思想，希望我的分享对你有所帮助，请一键三连，么么么哒！

相关文章：

Apache SeaTunne简介

Apache SeaTunne简介 文章目录 1.Apache SeaTunne是什么？1.1[官网](https://seatunnel.apache.org/)1.2 项目地址 2.架构3.特性3.1 丰富且可扩展的连接器和插件机制3.2 支持分布式快照算法以确保数据一致性3.3 支持流、批数据处理，支持全量、增量和实时数…...

编程日记 2023/12/19 10:06:45

【开题报告】基于uniapp的IT资讯阅读小程序的设计与实现

1.研究背景 随着信息技术的飞速发展和互联网的普及，IT（Information Technology）行业成为了当今社会中最活跃和最具前景的领域之一。人们对于IT领域的资讯需求越来越高，希望能够第一时间获取到全面、准确、及时的IT资讯。 传统的…...

编程日记 2023/12/19 10:04:43

Java小案例-SpringBoot火车票订票购票票务系统

目录 前言 详细资料 源码获取 前言 SpringBoot火车票订票购票票务系统 前端使用技术：HTML5,CSS3、JavaScript、VUE等 后端使用技术：Spring boot（SSM）等 数据库：Mysql数据库 数据库管理工具：phpstud…...

编程日记 2023/12/19 10:03:42

关于获取高级电工职业技能等级证书一些避坑经历

有幸在今年9月份成功通过高级电工职业技能等级认证,以下是我遇到的一些常见问题,以及一些考点内容以及总结 什么是高级电工职业技能等级证书 电工职业技能等级证书是证明持证人电工知识和技能水平高低的，是持证人应聘、求职、任职、开业的资格凭证，是用…...

编程日记 2023/12/19 9:57:36

springboot(ssm在线课程管理系统 网课管理系统Java系统

springboot(ssm在线课程管理系统 网课管理系统Java系统 开发语言：Java 框架：ssm/springboot vue JDK版本：JDK1.8（或11） 服务器：tomcat 数据库：mysql 5.7（或8.0） 数…...

编程日记 2023/12/19 9:55:33

4.1 媒资管理模块 - Nacos与Gateway搭建

文章目录 媒资管理模块 - 媒资项目搭建一、需求分析1.1 介绍1.2 数据模型1.3 分析网关 二、 搭建Nacos2.1 服务发现中心2.2.1 Maven2.2.2 配置Nacos 2.2 配置中心2.2.1 介绍2.2.2 Maven 坐标2.2.3 配置 content-api 工程2.2.4 配置 content-service 工程2.2.5 配置 system-api …...

编程日记 2023/12/19 9:54:32

1641：【例 1】矩阵 A×B

【题目描述】 矩阵 A 规模为 nm ，矩阵 B 规模为 mp ，现需要你求 AB 。 矩阵相乘的定义：nm 的矩阵与 mp 的矩阵相乘变成 np 的矩阵，令 aik 为矩阵 A 中的元素，bkj 为矩阵 B 中的元素，则相乘所得矩阵 C 中的…...

编程日记 2023/12/19 9:53:31

iOS问题记录 - iOS 17通过NSUserDefaults设置UserAgent无效

文章目录 前言开发环境问题描述问题分析解决方案最后 前言 最近维护一个老项目时遇到的问题。说起这老项目我就有点头疼，一个快十年前的项目，这么说你可能不觉得有什么，但是你想想Swift也才发布不到十年（2014年6月发布&#xff0…...

编程日记 2023/12/19 9:52:31

linux的一些典型面试题解读

目录 前言1 Linux 文件系统2 Shell 编程3 进程管理4 用户和权限管理5 软件包管理6 网络配置7 系统监控和日志8 存储管理9 安全性10 常见命令11 系统启动流程12 Linux 进程间通信方式13 Linux 中的 I/O 多路复用14 Shell 脚本优化与调试15 Linux 文件权限与 ACL16 Linux 中的环境…...

编程日记 2023/12/19 9:50:28

tortoisesvn各版本下载链接

https://tortoisesvn.net 无法访问最新版本下载 TortoiseSVN download | SourceForge.net 所有版本下载 TortoiseSVN - Browse Files at SourceForge.net...

编程日记 2023/12/19 9:44:23

[自动化运维工具]ansible简单介绍和常用模块

ansible 源操作主机功能 自动化运维（playbook剧本yaml） 是基于python开发的一个配置管理和应用部署工具，在自动化运维中，现在还是异军突起 ansible能批量配置，部署，管理上千台主机，类似于xshell…...

编程日记 2023/12/19 9:40:19

记一次渗透测试信息收集-越权

目录 一、信息收集 子域名收集 存活探测 二、越权 越权一 越权二 一、信息收集 子域名收集 使用subfinder进行子域名收集 语法：subfinder.exe -d xx.com -all -o qq1.txt -v //结合自己渗透经验，多渠道收集子域名，汇总去重。 …...

编程日记 2023/12/19 9:38:17

Flink系列之：Table API Connectors之JSON Format

Flink系列之：Table API Connectors之JSON Format 一、JSON Format二、依赖三、创建一张基于 JSON Format 的表四、Format 参数五、数据类型映射关系 一、JSON Format JSON Format 能读写 JSON 格式的数据。当前，JSON schema 是从 table schema 中自动推…...

编程日记 2023/12/19 9:32:11

2018年第七届数学建模国际赛小美赛B题世界杯足球赛的赛制安排解题全过程文档及程序

2018年第七届数学建模国际赛小美赛 B题 世界杯足球赛的赛制安排 原题再现： 有32支球队参加国际足联世界杯决赛阶段的比赛。但从2026年开始，球队的数量将增加到48支。由于时间有限，一支球队不能打太多比赛。因此，国际足联提议改变…...

编程日记 2023/12/19 9:31:10

【为数据之道学习笔记】5-7五类数据主题联接的应用场景

在数字化转型的背景下，华为的数据消费已经不再局限于传统的报表分析，还要支持用户的自助分析、实时分析，通过数据的关联，支持业务的关联影响分析以及对目标对象做特征识别，进行特定业务范围圈定、差异化管理与决策等。…...

编程日记 2023/12/19 9:29:08

得帆信息创始人-张桐，受邀出席 BV百度风投AIGC主题论坛

近日，得帆信息创始人兼CEO张桐，作为百度风投被投代表企业创始人受邀出席“向未来，共成长” BV百度风投AIGC主题论坛。 与包括上海市徐汇区相关部门领导、百度集团相关事业部负责人及代表，以及来自国寿资本、中网投、麦顿投资的投资…...

编程日记 2023/12/19 9:26:05

云原生之深入解析减少Docker镜像大小的优化技巧

一、什么是 Docker？ Docker 是一种容器引擎，可以在容器内运行一段代码，Docker 镜像是在任何地方运行应用程序而无需担心应用程序依赖性的方式。要构建镜像，docker 使用一个名为 Dockerfile 的文件，Dockerfile 是一个包…...

编程日记 2023/12/19 9:25:04

记一次java for循环改造多线程的操作

背景 今天在开发质量平台时需要获取某些数据，要请求公司某个工程的OpenAPI接口A。此接口为返回通用数据的接口，且接口本身的RT都在2～3秒之间。使用该接口，需要进行两次循环获取，然后对返回数据进行处理组装&#xff0…...

编程日记 2023/12/19 9:24:03

Java面试整理-Java复制

Java复制 在Java中，复制对象或数据通常涉及不同的场景和方法。以下是几种常见的复制情况及其相关方法： 基本数据类型的复制：基本数据类型（如int, double, char等）在Java中是通过值传递的。当你将一个基本数据类型的值赋给另一个变量时，实际上是创建了一个新的值。 int a …...

编程日记 2023/12/19 9:22:01

wsl kafka的简单应用

安装并配置单机版kafka所需环境 wsl2 环境可用性较高，如下介绍在该环境中安装单机版本kafka的详细过程。 启动命令行工具启动wsl：wsl --user root --cd ~，（以root用户启动，进入wsl后当前路径为~“用户主目录”&#…...

编程日记 2023/12/19 9:15:55

2023年国赛高教杯数学建模D题圈养湖羊的空间利用率解题全过程文档及程序

2023年国赛高教杯数学建模 D题 圈养湖羊的空间利用率 原题再现 规模化的圈养养殖场通常根据牲畜的性别和生长阶段分群饲养，适应不同种类、不同阶段的牲畜对空间的不同要求，以保障牲畜安全和健康；与此同时，也要尽量减少空间闲置所…...

编程日记 2023/12/19 9:13:53

Flink系列之：Table API Connectors之Raw Format

Flink系列之：Table API Connectors之Raw Format 一、Raw Format二、示例三、Format 参数四、数据类型映射 一、Raw Format Raw format 允许读写原始（基于字节）值作为单个列。注意: 这种格式将 null 值编码成 byte[] 类型的 null。这样在 ups…...

编程日记 2023/12/19 9:10:50

社交网络分析3：社交网络隐私攻击、保护的基本概念和方法 + 去匿名化技术 + 推理攻击技术 + k-匿名 + 基于聚类的隐私保护算法

社交网络分析3：社交网络隐私攻击、保护的基本概念和方法 去匿名化技术 推理攻击技术 k-匿名 基于聚类的隐私保护算法 写在最前面社交网络隐私泄露用户数据暴露的途径复杂行为的隐私风险技术发展带来的隐私挑战经济利益与数据售卖防范措施 社交网络 用户数据隐私…...

编程日记 2023/12/19 9:07:47

2023大湾区汽车创新大会在深圳坪山开幕

12月15日，2023大湾区汽车创新大会在深圳坪山开幕。 本次大会是由广东省科学技术厅、深圳市发展和改革委员会、深圳市工业和信息化局、中共深圳市新能源和智能网联汽车产业链委员会、坪山区人民政府指导，北京理工大学深圳汽车研究院、广东省大湾区新能源汽…...

编程日记 2023/12/19 9:03:44

Graylog 中日志级别及其对应的数字

在 Graylog 中，日志级别 level 通常使用数字表示，数字越低表示日志级别越高。以下是常见的日志级别及其对应的数字表示： DEBUG（调试）：对应数字 7。INFO（信息）：对应数字 …...

编程日记 2023/12/19 9:01:42

智能手表上的音频（五）：录音

上篇讲了语音通话，本篇讲录音。录音功能就是把录到的音频保存成文件。保存文件的格式支持两种：一是PCM(16K采样)的WAV格式，二是AMR-NB（8k采样）的AMR格式。WAV格式简单：44字节的文件头PCM 数据，示…...

编程日记 2023/12/19 9:00:42

2023.12.17 关于 Redis 的特性和应用场景

目录 引言 Redis 特性 内存中存储数据 可编程性 可扩展性 持久化 支持集群 高可用性 Redis 优势 Redis 用作数据库 Redis 相较于 MySQL 优势 Redis 相较于 MySQL 劣势 Redis 用作缓存 典型场景 Redis 存储 session 信息 Redis 用作消息队列 初心 消息队列的…...

编程日记 2023/12/19 8:56:38

智能优化算法应用：基于社会群体算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用：基于社会群体算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用：基于社会群体算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.社会群体算法4.实验参数设定5.算法结果6.…...

编程日记 2023/12/19 8:55:37

Kotlin 笔记 -- Kotlin 语言特性的理解（二）

都是编译成字节码，为什么 Kotlin 能支持 Java 中没有的特性？ kotlin 有哪些 Java 中没有的特性： 类型推断、可变性、可空性自动拆装箱、泛型数组高阶函数、DSL顶层函数、扩展函数、内联函数伴生对象、数据类、密封类、单例类接口代理、inter…...

编程日记 2023/12/19 8:49:32

数据结构【1】：数组专题

一、定义 数组是编程中一种强大的数据结构，它允许您存储和操作相同类型元素的集合。在 Python 中，数组是通过数组模块创建的，该模块提供了一个简单的接口来创建、操作和处理数组。 二、创建数组 在 Python 中，可以使用内置的 a…...

编程日记 2023/12/19 8:46:30