当前位置：首页 > news >正文

Flink CDC 菜鸟教程 -环境篇

news 2025/7/3 21:45:07

本教程将介绍如何使用 Flink CDC 来实现这个需求，在 Flink SQL CLI 中进行，只涉及 SQL，无需一行 Java/Scala 代码，也无需安装 IDE。系统的整体架构如下图所示：

环境篇

1、准备一台Linux

2、准备教程所需要的组件

下载 flink-1.13.2 并将其解压至目录 flink-1.13.2

tar zxvf flink-1.13.2-bin-scala_2.12.tgz

✓ flink-1.13.2-bin-scala_2.12.tgz

链接：百度网盘请输入提取码提取码：az82

下载下面列出的依赖包，并将它们放到目录 flink-1.13.2/lib/ 下：

✓ flink-sql-connector-mysql-cdc-2.1.0.jar

✓ flink-sql-connector-postgres-cdc-2.1.0.jar

✓ flink-sql-connector-mongodb-cdc-2.1.0.jar

✓ flink-sql-connector-elasticsearch7_2.11-1.13.2.jar

✓ flink-sql-connector-kafka_2.12-1.13.5.jar

✓ flink-shaded-hadoop-2-uber-2.7.5-10.0.jar

✓ iceberg

Flink CDC 菜鸟教程 -环境篇

本教程将介绍如何使用 Flink CDC 来实现这个需求，在 Flink SQL CLI 中进行，只涉及 SQL，无需一行 Java/Scala 代码，也无需安装 IDE。系统的整体架构如下图所示：环境篇 1、准备一台Linux 2、准备教程所需要的组件下载 flink-1.13.2 并将其解压至目录 flink-1.13.2 …...

编程日记 2023/9/10 20:10:43

【线上问题】linux部署docker应用docker-compose启动报端口占用问题（感觉上没有被占用）

目录一、问题说明二、排查过程一、问题说明 1.linux服务器使用的不是root用户权限 2.docker应用服务没有关闭的情况下，做了些重装docker，重启docker等操作 3.docker-compose up -d然后docker logs查看日志报端口被占用 4.netstat -ntpl | grep 端口也…...

编程日记 2023/9/10 20:09:41

解决虚拟机克隆后IP和命名冲突问题

目录解决IP冲突问题解决命名冲突解决IP冲突问题克隆后的虚拟机和硬件地址和ip和我们原虚拟机的相同，我们需要重新生成硬件地址和定义ip，步骤如下： （1）进入 /etc/sysconfig/network-scripts/ifcfg-ens33 配置文件…...

编程日记 2023/9/10 20:08:39

分享一个python基于数据可视化的智慧社区服务平台源码

💕💕作者：计算机源码社 💕💕个人简介：本人七年开发经验，擅长Java、Python、PHP、.NET、Node.js、微信小程序、爬虫、大数据等，大家有这一块的问题可以一起交流！ &#x1…...

编程日记 2023/9/10 20:07:39

[密码学入门]凯撒密码

单表代换单表：英文26字母的顺序代换：替换为别的字母并保证解密的唯一性假如我们让加密方式为所有字母顺序移动3位 import stringstring.ascii_lowercase abcdefghijklmnopqrstuvwxyz b3 加密算法y(xb)mod26 解密算法为x(y-b)mod26 密钥空间26 …...

编程日记 2023/9/10 20:06:37

博客之QQ登录功能(一)

流程图上图spring social 封装了1-8步需要的工作 1、新建包和书写配置文件 public class QQProperties {//App唯一标识private String appId "100550231";private String appSecret "69b6ab57b22f3c2fe6a6149274e3295e";//QQ供应商private String…...

编程日记 2023/9/10 20:05:36

Redis多机数据库实现

Redis多机数据库实现为《Redis设计与实现》笔记复制客户端可以使用SLAVEOF命令将指定服务器设置为该服务器的主服务器 127.0.0.1:12345> SLAVEOF 127.0.0.1 6379127.0.0.1:6379将被设置为127.0.0.1:123456的主服务器旧版复制功能的实现 Redis的复制功能分为同步&a…...

编程日记 2023/9/10 20:04:36

Leangoo领歌 -敏捷任务管理软件,任务管理更轻松更透明

任务管理，简单易懂，就是对任务进行管理。那怎么可以更好进行任务管理呢？怎么样样可以让任务进度可视化，一目了然呢？有效的管理可以让我们事半功倍。接下来我们看一下如何借助任务管理软件高效的做任务管理。首先…...

编程日记 2023/9/10 20:03:35

我这里使用的是HandleDirapi,有其他的请补充 package mainimport ("github.com/kataras/iris/v12" )type Hello struct{Status int json:"status"Message string json:"message" }func main(){app : iris.New()//第一个api:相当于首页app.Get(&q…...

编程日记 2023/9/10 20:02:34

代码随想录day46|139. 单词拆分

139. 单词拆分 class Solution:def wordBreak(self, s: str, wordDict: List[str]) -> bool:dp [False]*(len(s)1)dp[0]Truefor i in range(len(s)1):for j in wordDict:if i>len(j) and (s[i-len(j):i] in wordDict) and dp[i-len(j)]:dp[i] Truereturn dp[len(s)]多…...

编程日记 2023/9/10 20:01:33

MATLAB实现函数拟合

目录一.理论知识 1.拟合与插值的区别 2.几何意义 3.误差分析二.操作实现 1.数据准备 2.使用cftool——拟合工具箱三.函数拟合典例四.代码扩展一.理论知识 1.拟合与插值的区别通俗的说，插值的本质是根据现有离散点的信息创建出更多的离散点&#xf…...

编程日记 2023/9/10 20:00:32

vue优化首屏加载时间优化-cdn引入第三方包

前言为什么要进行首屏加载优化，因为随着我们静态资源和第三方包和代码增加，压缩之后包会越来越大随着网络的影响，在我们第一输入url请求资源时候，网络阻塞，加载时间长，用户体验不好仔细观察后就会发现…...

编程日记 2023/9/10 19:59:32

lv4 嵌入式开发-3 标准IO的读写

目录 1 标准I/O – 读写流 2 标准I/O – 按字符输入 3 标准I/O – 按字符输出 4 标准I/O – 思考和练习 5 标准I/O – 按行输入 6 标准I/O – 按行输出 7 标准I/O – 思考和练习 1 标准I/O – 读写流流支持不同的读写方式: 读写一个字符：fgetc()/fputc()一…...

编程日记 2023/9/10 19:58:30

iOS UIDevice设备信息

识别设备和操作系统 //获得共享设备实例 open class var current: UIDevice { get }//识别设备的名称 open var name: String { get } // e.g. "My iPhone"//设备类型 open var model: String { get } // e.g. "iPhone", "iPod touch"//本地化设…...

编程日记 2023/9/10 19:57:29

SLAM ORB-SLAM2（2）编译安装

SLAM ORB-SLAM2（2）编译安装 1. 软件包依赖安装2. 依赖安装2.1. Eigen2.2. Pangolin2.3. OpenCV3. ORB-SLAM23.1. 源码下载3.2. 文件修改3.3. 扩大交换空间3.4. 编译1. 软件包依赖安装以一个纯净的ubuntu20.04桌面版为例 1.首先设置软件源为清华源 2.安装必要依赖 sudo ap…...

编程日记 2023/9/10 19:56:27