如何源码编译seaTunnel
如何源码编译seaTunnel
参考Set Up Develop Environment
编译前准备
下列软件需要提前安装好
- Git
- Java ( JDK8/JDK11) 并设置JAVA_HOME 环境变量
- Scala (只支持 scala 2.11.12 )
- JetBrains IDEA .
下载源码并编译
git clone git@github.com:apache/seatunnel.git
cd seatunnel
# 切换到指定分支
git checkout 2.3.3# 编译安装整个项目
mvn install -Dmaven.test.skip# 编译整个seaTunnel
mvn clean package -pl seatunnel-dist -am -Dmaven.test.skip=true#编译指定的模块
mvn clean package -pl seatunnel-connectors-v2/connector-redis -am -DskipTests -T 1C
编译碰到的问题
找不到seatunnel-flink-starter-common
针对2.3.3版本,编译时如果报:seatunnel-flink-starter-common找不到,则需要做如下操作:
- 找到
seatunnel\seatunnel-core\seatunnel-flink-starter\seatunnel-flink-15-starter\pom.xml文件 - 将
seatunnel-flink-starter-common的版本从${revision}修改为${project.version}
<dependency><groupId>org.apache.seatunnel</groupId><artifactId>seatunnel-flink-starter-common</artifactId><version>${project.version}</version></dependency>
Jindo Oss编译失败
删除掉不需要的connector,
- 找到seatunnel\seatunnel-connectors-v2\pom.xml文件,将如下connector删除
<modules><module>connector-common</module><module>connector-cdc</module><module>connector-clickhouse</module><module>connector-console</module><module>connector-fake</module><module>connector-http</module><module>connector-jdbc</module><module>connector-kafka</module><module>connector-socket</module><module>connector-hive</module><module>connector-file</module> <module>connector-assert</module><module>connector-email</module><module>connector-elasticsearch</module> <module>connector-redis</module><module>connector-starrocks</module><module>connector-paimon</module><!--<module>connector-datahub</module><module>connector-sentry</module><module>connector-mongodb</module><module>connector-iceberg</module><module>connector-influxdb</module><module>connector-amazondynamodb</module><module>connector-tablestore</module><module>connector-cassandra</module><module>connector-s3-redshift</module><module>connector-iotdb</module><module>connector-neo4j</module><module>connector-dingtalk</module><module>connector-kudu</module><module>connector-hudi</module><module>connector-pulsar</module><module>connector-google-sheets</module><module>connector-google-firestore</module><module>connector-slack</module><module>connector-rabbitmq</module><module>connector-openmldb</module><module>connector-doris</module><module>connector-maxcompute</module><module>connector-tdengine</module><module>connector-selectdb-cloud</module><module>connector-hbase</module><module>connector-rocketmq</module>--></modules> - 找到seatunnel\seatunnel-connectors-v2\pom.xml文件,将如下connector删除
<modules><module>connector-file-base</module><module>connector-file-hadoop</module><module>connector-file-local</module><module>connector-file-oss</module><module>connector-file-ftp</module><module>connector-file-base-hadoop</module><module>connector-file-sftp</module><module>connector-file-s3</module><!--<module>connector-file-jindo-oss</module><module>connector-file-cos</module>--></modules>
seatunnel-dist编译失败
将:seatunnel-dist\pom.xml中缺少的依赖注释掉(如将下面的依赖注释掉)
<dependency><groupId>org.apache.seatunnel</groupId><artifactId>connector-http-feishu</artifactId><version>${project.version}</version><scope>provided</scope></dependency><dependency><groupId>org.apache.seatunnel</groupId><artifactId>connector-http-wechat</artifactId><version>${project.version}</version><scope>provided</scope></dependency><dependency><groupId>org.apache.seatunnel</groupId><artifactId>connector-http-myhours</artifactId><version>${project.version}</version><scope>provided</scope></dependency><dependency><groupId>org.apache.seatunnel</groupId><artifactId>connector-http-lemlist</artifactId><version>${project.version}</version><scope>provided</scope></dependency><dependency><groupId>org.apache.seatunnel</groupId><artifactId>connector-file-jindo-oss</artifactId><version>${project.version}</version><scope>provided</scope></dependency><dependency><groupId>org.apache.seatunnel</groupId><artifactId>connector-file-cos</artifactId><version>${project.version}</version><scope>provided</scope></dependency>
相关文章:
如何源码编译seaTunnel
如何源码编译seaTunnel 参考Set Up Develop Environment 编译前准备 下列软件需要提前安装好 GitJava ( JDK8/JDK11) 并设置JAVA_HOME 环境变量Scala (只支持 scala 2.11.12 )JetBrains IDEA . 下载源码并编译 git clone gitgithub.com:apache/seatunnel.git cd seatunne…...
msng病毒分析
这是一个非常古老的文件夹病毒,使用XP系统的文件夹图标,采用VB语言开发,使用了一种自定义的壳来保护,会打开网址http://www.OpenClose.ir,通过软盘、U盘和共享目录进行传播,会在U盘所有的目录下生成自身的副本…...
Unity安装
DAY1 下载Unity 打开Unity3D官网,下载Unity Hub,管理Unity的软件。链接https://unity.cn/releases (可能需要注册账号,就正常注册登录即可) 如果是新版的hub,可能长下面这个样子,还是英文的,点击圆圈的设…...
【代洋集团特惠好物:80瓦太阳能折叠包】
为您的绿色出行保驾护航!代洋集团倾情推出80瓦太阳能折叠包,为您的户外活动提供清洁、便捷的电力支持。 这款太阳能折叠包采用高效能太阳能板,可折叠设计方便携带,轻松为您解决户外用电问题。80瓦的强大功率,让您在户…...
一致性Hash算法
Hash算法 哈希算法将任意长度的二进制值映射为较短的固定长度的二进制值,这个小的二进制值称为哈希值。哈希值是一段数据唯一且极其紧凑的数值表示形式。 Hash算法在安全加密领域MD5、SHA等加密算法,数据存储和查找的Hash表等方面均有应用。Hash表的数…...
linux 下如何将/dev/nvme0n1符格式化为空盘符
linux 下如何将/dev/nvme0n1符格式化为空盘符 作者:DPDK开发栏目:公开2023-08-30 03:01254 在Linux下,你可以使用以下步骤将/dev/nvme0n1硬盘格式化为空盘符: 首先,确保你拥有适当的权限。以管理员或root用户身份登录…...
IP地址的最后一位不可以为0或255
说明 通常情况下,IP 地址的最后一位不能为 0 或 255。这是因为这些特定的 IP 地址有特殊用途。 IP 地址的最后一位为 0 通常用作网络地址,表示整个网络的起始地址。IP 地址的最后一位为 255 通常用作广播地址,用于将数据包发送到同一网络中…...
代洋集团:太阳能智能座椅,创新能源的未来篇章
在代洋集团,我们致力于打造一个更绿色,更智能的未来。我们的太阳能智能座椅,就是我们对这一承诺的最新体现。 太阳能智能座椅,一种将绿色能源与智能化完美结合的产品。它利用高效的太阳能电池板,捕获并转化阳光为电能…...
linux服务器安装gitlab
一、安装gitlab sudo yum install curl policycoreutils-python openssh-server openssh-clients sudo systemctl enable sshd sudo systemctl start sshd sudo firewall-cmd --permanent --add-servicehttp curl https://packages.gitlab.com/install/repositories/gitla…...
Tlog SpringBoot3.x版本无法正常打印TraceId等数据
问题:Springboot3.0版本使用Tlog(1.5.1版本)开源框架时无法打印指定参数 原因:在Java EE 8及更高版本中,javax.servlet.*包已经替换成了jakarta.servlet.*,但是tlog官方只更新到了1.5.1版本所以还没支持到…...
基于Spring原生框架构建原生Spring的第一个程序!
😉😉 学习交流群: ✅✅1:这是孙哥suns给大家的福利! ✨✨2:我们免费分享Netty、Dubbo、k8s、Mybatis、Spring...应用和源码级别的视频资料 🥭🥭3:QQ群:583783…...
[个人笔记] Git的CLI笔录
Git - CLI笔录 Git的CLI笔录 Git - CLI笔录Git的CLI笔录 Git的CLI笔录 origin: 表示远程仓库节点名称。 当有多个远程仓库时 可新增远程仓库节点名称如 new_origin | new_remote origin/HEAD: 表示当前Git仓库默认分支的引用,通常指向origin/master或origin/main g…...
如何运行C/C++程序
一、在线运行C/C 码曰 - 让代码在云端多飞一会:这是一个支持C/C,Java,Python等多种语言的在线编程,编译运行,粘贴分享的平台。你可以在这里输入你的代码,点击运行按钮,就可以看到输出结果。你也…...
HTML中input标签的23种type类型
一、概述 随着html5的出现,input标签新增了多种类型,用以接收各种类型的用户输入。其中传统输入控件有10种,新增输入控件有13种。 二、传统类型 传统输入控件有10种,如下所示 text 定义单行文本输入框 password 定义…...
接口多态与方法多态
作者简介:大家好,我是smart哥,前中兴通讯、美团架构师,现某互联网公司CTO 联系qq:184480602,加我进群,大家一起学习,一起进步,一起对抗互联网寒冬 在上一篇设计山寨版Str…...
js小技巧|如何提取经过Function函数混淆了的代码
关注它,不迷路。 本文章中所有内容仅供学习交流,不可用于任何商业用途和非法用途,否则后果自负,如有侵权,请联系作者立即删除! 1.需求 星友发过来一个混淆代码,打开一看,长这…...
【GitLab】流水线入门
(꒪ꇴ꒪ ),Hello我是祐言QAQ我的博客主页:C/C语言,数据结构,Linux基础,ARM开发板,网络编程等领域UP🌍快上🚘,一起学习,让我们成为一个强大的攻城狮࿰…...
es 中文前缀短语匹配(搜索智能补全)
需求:es进行前缀匹配,用来进行智能补全 过程:es正常的prefix只能进行词语匹配,而中文的分词大部分按字分词,不按语义分词,所以无法搜索出正确的前缀匹配,而能进行短语匹配的match_phrase_prefix…...
机器学习之决策树及随机森林
决策树 概念 决策树(Decision Tree)是一种常见的机器学习算法,用于分类和回归任务。它是一种树状结构,其中每个内部节点表示一个特征或属性,每个分支代表一个决策规则,而每个叶节点表示一个输出标签或值。 构建决策树过程 构建决策树的过程通常涉及以下步骤: 数据准…...
用通俗的方式讲解Transformer:从Word2Vec、Seq2Seq逐步理解到GPT、BERT
直到今天早上,刷到CSDN一篇讲BERT的文章,号称一文读懂,我读下来之后,假定我是初学者,读不懂。 关于BERT的笔记,其实一两年前就想写了,迟迟没动笔的原因是国内外已经有很多不错的资料࿰…...
业务系统对接大模型的基础方案:架构设计与关键步骤
业务系统对接大模型:架构设计与关键步骤 在当今数字化转型的浪潮中,大语言模型(LLM)已成为企业提升业务效率和创新能力的关键技术之一。将大模型集成到业务系统中,不仅可以优化用户体验,还能为业务决策提供…...
内存分配函数malloc kmalloc vmalloc
内存分配函数malloc kmalloc vmalloc malloc实现步骤: 1)请求大小调整:首先,malloc 需要调整用户请求的大小,以适应内部数据结构(例如,可能需要存储额外的元数据)。通常,这包括对齐调整,确保分配的内存地址满足特定硬件要求(如对齐到8字节或16字节边界)。 2)空闲…...
线程同步:确保多线程程序的安全与高效!
全文目录: 开篇语前序前言第一部分:线程同步的概念与问题1.1 线程同步的概念1.2 线程同步的问题1.3 线程同步的解决方案 第二部分:synchronized关键字的使用2.1 使用 synchronized修饰方法2.2 使用 synchronized修饰代码块 第三部分ÿ…...
页面渲染流程与性能优化
页面渲染流程与性能优化详解(完整版) 一、现代浏览器渲染流程(详细说明) 1. 构建DOM树 浏览器接收到HTML文档后,会逐步解析并构建DOM(Document Object Model)树。具体过程如下: (…...
laravel8+vue3.0+element-plus搭建方法
创建 laravel8 项目 composer create-project --prefer-dist laravel/laravel laravel8 8.* 安装 laravel/ui composer require laravel/ui 修改 package.json 文件 "devDependencies": {"vue/compiler-sfc": "^3.0.7","axios": …...
【生成模型】视频生成论文调研
工作清单 上游应用方向:控制、速度、时长、高动态、多主体驱动 类型工作基础模型WAN / WAN-VACE / HunyuanVideo控制条件轨迹控制ATI~镜头控制ReCamMaster~多主体驱动Phantom~音频驱动Let Them Talk: Audio-Driven Multi-Person Conversational Video Generation速…...
Aspose.PDF 限制绕过方案:Java 字节码技术实战分享(仅供学习)
Aspose.PDF 限制绕过方案:Java 字节码技术实战分享(仅供学习) 一、Aspose.PDF 简介二、说明(⚠️仅供学习与研究使用)三、技术流程总览四、准备工作1. 下载 Jar 包2. Maven 项目依赖配置 五、字节码修改实现代码&#…...
PHP 8.5 即将发布:管道操作符、强力调试
前不久,PHP宣布了即将在 2025 年 11 月 20 日 正式发布的 PHP 8.5!作为 PHP 语言的又一次重要迭代,PHP 8.5 承诺带来一系列旨在提升代码可读性、健壮性以及开发者效率的改进。而更令人兴奋的是,借助强大的本地开发环境 ServBay&am…...
Python爬虫实战:研究Restkit库相关技术
1. 引言 1.1 研究背景与意义 在当今信息爆炸的时代,互联网上存在着海量的有价值数据。如何高效地采集这些数据并将其应用于实际业务中,成为了许多企业和开发者关注的焦点。网络爬虫技术作为一种自动化的数据采集工具,可以帮助我们从网页中提取所需的信息。而 RESTful API …...
边缘计算网关提升水产养殖尾水处理的远程运维效率
一、项目背景 随着水产养殖行业的快速发展,养殖尾水的处理成为了一个亟待解决的环保问题。传统的尾水处理方式不仅效率低下,而且难以实现精准监控和管理。为了提升尾水处理的效果和效率,同时降低人力成本,某大型水产养殖企业决定…...
