当前位置: 首页 > news >正文

10月回顾 | Apache SeaTunnel社区动态与进展一览

各位热爱 Apache SeaTunnel 的小伙伴们,社区10月份月报来啦,请查收!

这里将记录Apache SeaTunne社区每月动态和进展,欢迎关注。

月度Merge之星

感谢以下小伙伴上个月为 Apache SeaTunnel 所做的精彩贡献(排名不分先后):

file

@Hisoka-X,@prclin,@JohnTeslaa,@happyboy1024,@jiamin13579,@luckyLJY,@CosmosNi,@zhangshenghang,@xxsc0529,@zhilinli123,@hawk9821,@JeremyXin,@czshh0628,@shashwatsai,@arshadmohammad,@corgy-w,@YOMO-Lee,@BilwaST,@nianliuu,@QiaoJ-Chen,@chl-wxp,@dependabot[bot],@wuchunfu,@XenosK,@TyrantLucifer,@hailin0,@liunaijie,@lm-ylj,@liugddx,@dailai,@Asura7969

apache/seatunnel仓库

Fix

  • [Fix][Connector-V2]修复CDC在值为null时使用默认值 @Hisoka-X
  • [Bug][Core]本地模式取消运行的 JobStatusRunner @zhangshenghang
  • [Fix][Connector-V2]修复文件二进制格式同步转换目录为文件 @zhangshenghang
  • [Fix][CI]修复由设置 classloader-cache-modetrue 引起的 CI 错误 @Hisoka-X
  • [Fix][Connector-V2]修复了在多个并行情况下无法停止ClickHouse连接器的问题 @YOMO-Lee
  • [Hotfix][CDC]修复偶尔出现的数据库连接泄漏问题当读取快照拆分时 @hailin0
  • [Fix][Connector-V2]修复 Hana 类型精度丢失问题 @Hisoka-X
  • [Fix] [Flink/Spark]修复 Flink/Spark 转换流在未配置 source_table_name 时选择错误的问题 @CosmosNi
  • [Fix][Doc]修正hive-jdbc配置中的useKerberosuse_kerberos。 @czshh0628
  • [Hotfix][Config]修复配置键排序混乱问题 @hailin0
  • [Fix][Doc]修复jetty文档错误 @zhangshenghang
  • [Fix][Doc]修复中文文档构建错误 @Hisoka-X
  • [Fix][connector-v2]修复 Paimon 表连接器错误日志信息。 @luckyLJY
  • [Fix][Connector-V2][connector-file-base-hadoop]修复了HdfsFile源加载krb5_path配置的问题 @JeremyXin
  • [Fix][Connector-V2][FTP]修复FTP连接器的connection_mode无效的问题 @zhangshenghang
  • [Fix][Zeta]修复工作节点指标获取 @corgy-w
  • [Fix][Connector-V2]修复 Kafka format_error_handle_way 不起作用的问题 @Hisoka-X
  • [Fix][Connector-V2]Oceanbase向量数据库被添加为源服务器。 @xxsc0529
  • [Bug] [connectors-v2]Hadoop Source/Sink 失败,错误为“无法找到有效的 Kerberos 票据”。 @shashwatsai
  • [bugfix][core]修复指标与节点之间关联错误的问题 @liugddx
  • [Fix][Connector-V2]修复 当读取Excel数据时,字符串和日期类型转换错误 @CosmosNi
  • [Hotfix][Zeta]修复Hazelcast客户端应通过系统环境变量覆盖集群地址 @liunaijie
  • [Fix][Connector-V2]修复 AbstractSingleSplitReader 在进行检查点时无用的锁定问题 @CosmosNi
  • [Hotfix][Core][Flink]SeaTunnel Flink 引擎支持在 YARN 上的应用模式。 @TyrantLucifer

Improve

  • [Improve][Doc]修复中文文档缺少Grafana仪表板配置的问题 @corgy-w
  • [Improve]更新 ClickHouse 连接器,使用工厂创建源/ sink @liunaijie
  • [Improve][Doc]添加一些连接器图标 @zhangshenghang
  • [Improve][Zeta]将类加载器缓存模式的默认值设置为true。 @dailai
  • [Improve][Iceberg]支持目录的表注释 @hailin0
  • [Feature][Zeta]添加COS支持以用于检查点存储 @lm-ylj
  • [Improve][Doc]在文档中添加file_filter_pattern示例。 @YOMO-Lee
  • [Improve][RestApi]统一REST API V1和V2的代码逻辑 @liugddx
  • [Improve][Rest api]添加 verifyHtmlResponse 测试用例 @liugddx
  • [Improve][Connector-V2]改进当类型为十进制时,从路径和查询合并表的JDBC功能。 @Hisoka-X
  • [Improve][Connector-V2][FTP]删除重复的代码 @zhangshenghang
  • [Improve][Core]添加protobuf转换测试用例 @zhangshenghang
  • [Improve][Core]重构列/行的通用选项 @Hisoka-X
  • [Improve][Zeta]Jetty服务器启用动态端口 @corgy-w
  • [Feature][Doris]支持多表源读取 @happyboy1024
  • [Improve][Connector-V2]Redis 支持自定义键和值 @lm-ylj
  • [Feature] [connector-milvus]更新 Milvus 连接器以支持动态模式、重试失败等功能。 @nianliuu
  • [Feature][Transform-SQL]支持生成UUID的SQL转换功能 @zhilinli123
  • [Improve][E2E]修改获取JobId的方法 @hawk9821
  • [Feature][Connector-V2]Jdbc DB2 支持 Upsert SQL @shashwatsai
  • [Improve][Example]改进zeta本地/集群示例 @hailin0
  • [Improve][Example]添加作业mdc的日志配置 @hailin0
  • [Improve][Jdbc]优化在创建表时对于 PostgreSQL 的索引名称冲突问题 @hailin0
  • [Improve][Doc]修正日志中的拼写错误 @Hisoka-X
  • [Improve]移动AlterTableNameEvent父类 @hailin0
  • [Improve]将快照版本更新为2.3.9 @liunaijie
  • [Improve][Connector-V2]添加带有注释的doris/starrocks创建表语句 @Hisoka-X
  • [Feature][Connector-V2]支持将 CDC 变更日志事件写入 Hudi 数据sink。 @happyboy1024
  • [Improve]将快照版本更新为2.3.9 @liunaijie
  • [Improve][Formats]支持非主键表的 Debezium 格式 @hailin0
  • [Improve][Connector-v2]使用 checkpointId 作为流式写入 paimon sink 的提交标识,而不是使用哈希。 @dailai
  • [Feature][Connector-V2]Piamon Sink 支持 changelog-producer,模式为 lookup 和 full-compaction。 @hawk9821
  • [Improve][Sls]添加SLS Sink连接器、端到端测试、文档 @XenosK
  • [Improve][Connector-V2]更改文件读取/写入策略从 setSeaTunnelRowTypeInfosetCatalogTable @Hisoka-X
  • [Improve][Doc]更新遥测文档 @corgy-w
  • [Improve][api]优化AlterTableColumnEvent的继承关系 @hailin0
  • [Feature][Connector-V2]SFTP文件源支持多个表 @chl-wxp
  • [Improve][Fake]提高当拆分大小较大时的内存使用情况 @hailin0
  • [Improve][Jdbc]支持 PostgreSQL 的 inet 类型。 @CosmosNi
  • [Feature][Zeta][Core]支持获取日志的API @zhangshenghang
  • [Improve][Docs]编辑关于Opengauss-CDC的startup.mode描述 @dailai
  • [Improve][Jdbc]支持jdbc-dm的sink的保存模式 @dailai
  • [Improve][PostgreSQL CDC]-PostgresSourceOptions 描述错误 @Asura7969
  • [Improve][rest api]改进REST API文档 @liugddx
  • [Improve][Doc]对于获取容器IP的Docker文档更正,请不要翻译专有名词如Apache SeaTunnel的修复和功能。 更正Docker文档以获取容器IP。 @Hisoka-X
  • [Improve][RestApi]将上下文路径更新为默认路径/ @liugddx
  • [Feature][Connector-V2]FTP文件源支持多个表 @chl-wxp
  • [Improve][Api]支持同时配置条件和可选选项。 @corgy-w
  • [Feature][Restapi]允许将指标信息关联到逻辑计划节点上。 @liugddx
  • [Improve][Transform]添加LLM模型提供商微软。 @corgy-w
  • [Improve][doc]改进startrocks源文档 @jiamin13579
  • [Feature][transforms-v2]支持从CDC源追加-only流 @hawk9821
  • [Feature][Zeta]提交作业调度支持待处理 @zhangshenghang
  • [Feature][Rest api]使用Jetty替换Hazelcast原生REST API,请注意不要翻译“Apache SeaTunnel”这个 proper noun。但如果上下文中涉及到“SeaTunnel”,请保持原样不翻译。根据你的要求,这里只涉及到了“Jetty”和“Hazelcast”,这两个词将保持不变。 @liugddx
  • [Feature][connector-v2]支持使用opengauss驱动的JDBC连接器。 @luckyLJY
  • [Feature][Engine UI]引擎的部分页面 @QiaoJ-Chen
  • [Feature][Connector-V2]添加Prometheus源和sink @CosmosNi

其他

  • 升级 /seatunnel-connectors-v2/connector-clickhouse 中的 commons-io:commons-io 从 2.11.0 到 2.14.0 @dependabot[bot]
  • [Improvment][Build]提供禁用源码jar创建的选项。 @arshadmohammad

    apache/seatunnel-website仓库

Improve

  • [Improve][Team]新增 committer 名为 Mohammad Arshad @arshadmohammad
  • [Improve]更新站点地图以改善搜索结果 @Hisoka-X
  • [Improve][Team]新增 committer 名为 Lai Dai @dailai
  • [Improve]添加Matomo集成以进行网站分析 @Hisoka-X

其他

  • Seatunnel-Web 1.0.2 版本更新 @arshadmohammad
  • 更新发布流程文档 @liunaijie
  • 更新部署.md @prclin
  • 添加发行文档 2.3.8 @liunaijie

    apache/seatunnel-web仓库

Fix

  • [Bug] [Seatunnel-web]分页功能不起作用。 @BilwaST
  • [Bug][Seatunnel-web][Addendum]转义 SeaTunnel-web 占位符 @arshadmohammad
  • [Bug][Seatunnel-web]download_datasource.sh 失败,因为缺少 mvnw 命令。 @arshadmohammad
  • [Bug][Seatunnel-web]转译:替换 seatunnel-web 占位符 @arshadmohammad
  • [Bug] [Seatunnel-web]HiveJDBC 不应被用作目标数据源。 @arshadmohammad
  • [Bug][Seatunnel-web][Hive]筛选系统数据库 @arshadmohammad
  • [Bug] [Seatunnel-web] [HiveJDBC]重复的列在源中显示。 @arshadmohammad

Improve

  • [Improve][Doc]在文档中添加兼容性部分。 @Hisoka-X
  • [Improve]使用 generate_sink_sql=true 进行 DB2 更新操作 @shashwatsai
  • [Improvement] [Seatunnel-web]添加支持以提供作业失败的原因… @BilwaST
  • [Improvement][Seatunnel-web]文档占位符功能 @arshadmohammad
  • [Improve][SeaTunnel-Web]更新README_CN.md为版本2.3.8 @wuchunfu
  • [Improvement][Seatunnel-web]升级SeaTunnel版本从2.3.7到2.3.8 @arshadmohammad

其他

  • [Build]将快照版本更新为1.0.3 @arshadmohammad
  • [Doc]初始化部署README优化 @JohnTeslaa

本文由 白鲸开源科技 提供发布支持!

相关文章:

10月回顾 | Apache SeaTunnel社区动态与进展一览

各位热爱 Apache SeaTunnel 的小伙伴们,社区10月份月报来啦,请查收! 这里将记录Apache SeaTunne社区每月动态和进展,欢迎关注。 月度Merge之星 感谢以下小伙伴上个月为 Apache SeaTunnel 所做的精彩贡献(排名不分先…...

网络基础(4)传输层

既然是传输层首先就要明确实在层状结构的哪里,除开物理层之外分成了四层协议: 到这里上层(应用层)的使用已经没有问题,之前使用的套接字都是在应用层的。 再说端口号 到一个主机收到一个报文的时候,这个报文中一定存在这个报文需要到的主机的ip号。如果…...

计算机的错误计算(一百五十六)

摘要 探讨 MATLAB 中双曲反余切函数 acoth(x) 在 附近数的计算精度问题。 Acoth(x)函数的定义为 例1. 已知 计算 与 直接贴图吧: 另外,16位的正确值分别为 0.1110083774360105e2 与 -0.1110083774360105e2(ISRealsoft 提供。通过计算…...

爬虫开发工具与环境搭建——开发工具介绍

第二章:爬虫开发工具与环境搭建 第一节 开发工具介绍 爬虫开发需要一些合适的工具和框架来高效地抓取网页数据。在这节中,我们将介绍常用的开发工具,帮助开发者快速搭建爬虫开发环境。 1. Python与爬虫框架选择 Python因其简洁、易学的语法…...

Oracle 19c PDB克隆后出现Warning: PDB altered with errors受限模式处理

在进行一次19c PDB克隆过程中,发现克隆结束,在打开后出现了报错,PDB变成受限模式,以下是分析处理过程 09:25:48 SQL> alter pluggable database test1113 open instancesall; Warning: PDB altered with errors. Elapsed: 0…...

阿里云ACK容器如何配置pod分散在集群的不同节点上

阿里云ACK容器如何配置pod分散在集群的不同节点上 1.核心原理 是使用pod间反亲和性(podAntiAffinity),pod间反亲和性又分为软约束反亲和和硬约束反亲和。 2.软约束反亲和和硬约束反亲和区别: preferredDuringSchedulingIgnore…...

Qt信号和槽

信号和槽的概念 在Linux中我们也学过信号 Signal,这是进程间通信的一种方式,这里大致分为三个要素: 信号源:谁发送的信号(用户进程,系统内核,终端或者作业控制,) 信号的类…...

Python知识点精汇!字符串:定义、截取(索引)和其内置函数

目录 一、字符串的定义 二、字符串的截取 1.截取干啥的 2.怎么用截取 3.打印多次 4.两个字符串拼接在一起 三、字符串内置函数 1.查询函数: (1)find(str,start,end) (2)index(str,start,end&#…...

【CV】头盔检测区域入侵项目

文章目录 🌕项目和数据下载🌙安全帽佩戴数据集🌕收集数据数据🌕wbem格式视频转avi或者mp4🌕跑通区域入侵🌙多边形标注工具下载🌙使用Python脚本打开视频获取一张用来标注的图片🌙打开labelme标注一个多边行🌙程序可以识别的标注json格式🌙修改代码读取Json…...

大数据应用开发——实时数据处理(一)

前言 大数据应用开发——实时数据采集 大数据应用开发——实时数据处理 Flink完成Kafka中的数据消费,将数据分发至Kafka的dwd层中 并在HBase中进行备份 大数据应用开发——数据可视化 hadoop,zookeeper,kafka,flink要开启 目…...

Wireshark中的length栏位

注:Ethernet II的最小data length为46,如果小于,会补全到46. 1.指定网卡抓取的,链路为ethernet。 IPv4 Ethernet II 长度为 14 bytes - L1ipv4 header中的length包括header和payload的总长度 - L2wireshark中length表示抓取的pac…...

IDEA中创建多模块项目步骤

步骤 1:使用 Spring Initializr 创建父项目 打开IntelliJ IDEA,选择 File > New > Project。选择 Spring Initializr 并配置项目信息: Group ID:例如 com.aqian,用于项目的组织标识。Artifact ID:例…...

深度学习笔记13-卷积神经网络1

1.卷积神经网络 卷积神经网络(CNN),它是由多个卷积层、池化层和全连接层构成的前馈神经网络。在卷积神经网络中,包含了可训练的卷积核,这使得卷积神经网络具有强大的表征学习能力。卷积神经网络通过卷积层和池化层进行…...

【新华妙笔-注册/登录安全分析报告-无验证方式导致安全隐患】

前言 由于网站注册入口容易被黑客攻击,存在如下安全问题: 1. 暴力破解密码,造成用户信息泄露 2. 短信盗刷的安全问题,影响业务及导致用户投诉 3. 带来经济损失,尤其是后付费客户,风险巨大,造…...

STM32电源管理—实现低功耗

注: 本文是学习野火的指南针开发板过程的学习笔记,可能有误,详细请看B站野火官方配套视频教程(这个教程真的讲的很详细,请给官方三连吧) 在响应绿色发展的同时,在很多应用场合中都对电子设备的功…...

【链路层】空口数据包详解(4):数据物理通道协议数据单元(PDU)

目录 一、概述 1.1. 头部(Header)结构 1.2. MIC字段的情况说明 1.3. 有效载荷(Payload)格式与LLID字段的关联 二、LL Data PDU 2.1. 定义与用途 2.2. 头部字段设置 2.3. 空PDU(Empty PDU ) 2.4. 数…...

数学分组求偶数和

问题描述 小M面对一组从 1 到 9 的数字,这些数字被分成多个小组,并从每个小组中选择一个数字组成一个新的数。目标是使得这个新数的各位数字之和为偶数。任务是计算出有多少种不同的分组和选择方法可以达到这一目标。 numbers: 一个由多个整数字符串组…...

机器学习基础02_特征工程

目录 一、概念 二、API 三、DictVectorize字典列表特征提取 四、CountVectorize文本特征提取 五、TF-IDF文本1特征词的重要程度特征提取 六、无量纲化预处理 1、MinMaxScaler 归一化 2、StandardScaler 标准化 七、特征降维 1、特征选择 VarianceThreshold 底方差…...

CSS Modules中的 :global

最近写需求遇到如下代码,我们来分析一番: .medicine-bot {:global(.cosd-site-vcard-card) {margin-top: -3px;}:global(.cosd-site-vcard-title-text) {font-size: var(--cos-text-headline-sm);}:global(.cosd-site-vcard-button) {background-color: …...

linux病毒编写+vim shell编程

学习视频来自B站UP主泷羽sec,如涉及侵权马上删除文章 感谢泷羽sec 团队的教学 请一定遵循《网络空间安全法》!!! Linux目录介绍 /bin 二进制可执行文件(kali里面是工具一些文件)/etc 系统的管理和配置文…...

Python爬虫实战:研究MechanicalSoup库相关技术

一、MechanicalSoup 库概述 1.1 库简介 MechanicalSoup 是一个 Python 库,专为自动化交互网站而设计。它结合了 requests 的 HTTP 请求能力和 BeautifulSoup 的 HTML 解析能力,提供了直观的 API,让我们可以像人类用户一样浏览网页、填写表单和提交请求。 1.2 主要功能特点…...

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板,载入页面后,会显示引导弹窗,适用于引导用户使用页面,点击完成后,会显示下一个引导弹窗,直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…...

深入浅出Asp.Net Core MVC应用开发系列-AspNetCore中的日志记录

ASP.NET Core 是一个跨平台的开源框架,用于在 Windows、macOS 或 Linux 上生成基于云的新式 Web 应用。 ASP.NET Core 中的日志记录 .NET 通过 ILogger API 支持高性能结构化日志记录,以帮助监视应用程序行为和诊断问题。 可以通过配置不同的记录提供程…...

【OSG学习笔记】Day 18: 碰撞检测与物理交互

物理引擎(Physics Engine) 物理引擎 是一种通过计算机模拟物理规律(如力学、碰撞、重力、流体动力学等)的软件工具或库。 它的核心目标是在虚拟环境中逼真地模拟物体的运动和交互,广泛应用于 游戏开发、动画制作、虚…...

逻辑回归:给不确定性划界的分类大师

想象你是一名医生。面对患者的检查报告(肿瘤大小、血液指标),你需要做出一个**决定性判断**:恶性还是良性?这种“非黑即白”的抉择,正是**逻辑回归(Logistic Regression)** 的战场&a…...

线程同步:确保多线程程序的安全与高效!

全文目录: 开篇语前序前言第一部分:线程同步的概念与问题1.1 线程同步的概念1.2 线程同步的问题1.3 线程同步的解决方案 第二部分:synchronized关键字的使用2.1 使用 synchronized修饰方法2.2 使用 synchronized修饰代码块 第三部分&#xff…...

Mac软件卸载指南,简单易懂!

刚和Adobe分手,它却总在Library里给你写"回忆录"?卸载的Final Cut Pro像电子幽灵般阴魂不散?总是会有残留文件,别慌!这份Mac软件卸载指南,将用最硬核的方式教你"数字分手术"&#xff0…...

今日学习:Spring线程池|并发修改异常|链路丢失|登录续期|VIP过期策略|数值类缓存

文章目录 优雅版线程池ThreadPoolTaskExecutor和ThreadPoolTaskExecutor的装饰器并发修改异常并发修改异常简介实现机制设计原因及意义 使用线程池造成的链路丢失问题线程池导致的链路丢失问题发生原因 常见解决方法更好的解决方法设计精妙之处 登录续期登录续期常见实现方式特…...

【7色560页】职场可视化逻辑图高级数据分析PPT模版

7种色调职场工作汇报PPT,橙蓝、黑红、红蓝、蓝橙灰、浅蓝、浅绿、深蓝七种色调模版 【7色560页】职场可视化逻辑图高级数据分析PPT模版:职场可视化逻辑图分析PPT模版https://pan.quark.cn/s/78aeabbd92d1...

GruntJS-前端自动化任务运行器从入门到实战

Grunt 完全指南:从入门到实战 一、Grunt 是什么? Grunt是一个基于 Node.js 的前端自动化任务运行器,主要用于自动化执行项目开发中重复性高的任务,例如文件压缩、代码编译、语法检查、单元测试、文件合并等。通过配置简洁的任务…...