Flink CDC 菜鸟教程 -环境篇
本教程将介绍如何使用 Flink CDC 来实现这个需求， 在 Flink SQL CLI 中进行，只涉及 SQL，无需一行 Java/Scala 代码，也无需安装 IDE。 系统的整体架构如下图所示：
环境篇
1、 准备一台Linux
2、准备教程所需要的组件
下载 flink-1.13.2 并将其解压至目录 flink-1.13.2
tar zxvf flink-1.13.2-bin-scala_2.12.tgz
✓ flink-1.13.2-bin-scala_2.12.tgz
链接：百度网盘 请输入提取码 提取码：az82
下载下面列出的依赖包，并将它们放到目录 flink-1.13.2/lib/ 下：
✓ flink-sql-connector-mysql-cdc-2.1.0.jar
✓ flink-sql-connector-postgres-cdc-2.1.0.jar
✓ flink-sql-connector-mongodb-cdc-2.1.0.jar
✓ flink-sql-connector-elasticsearch7_2.11-1.13.2.jar
✓ flink-sql-connector-kafka_2.12-1.13.5.jar
✓ flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
✓ iceberg
相关文章：
Flink CDC 菜鸟教程 -环境篇
本教程将介绍如何使用 Flink CDC 来实现这个需求， 在 Flink SQL CLI 中进行，只涉及 SQL，无需一行 Java/Scala 代码，也无需安装 IDE。 系统的整体架构如下图所示： 环境篇 1、 准备一台Linux 2、准备教程所需要的组件 下载 flink-1.13.2 并将其解压至目录 flink-1.13.2 …...
【线上问题】linux部署docker应用docker-compose启动报端口占用问题（感觉上没有被占用）
目录 一、问题说明二、排查过程 一、问题说明 1.linux服务器使用的不是root用户权限 2.docker应用服务没有关闭的情况下，做了些重装docker，重启docker等操作 3.docker-compose up -d然后docker logs查看日志报端口被占用 4.netstat -ntpl | grep 端口 也…...
解决虚拟机克隆后IP和命名冲突问题
目录 解决IP冲突问题 解决命名冲突 解决IP冲突问题 克隆后的虚拟机和硬件地址和ip和我们原虚拟机的相同，我们需要重新生成硬件地址和定义ip，步骤如下： （1）进入 /etc/sysconfig/network-scripts/ifcfg-ens33 配置文件…...
分享一个python基于数据可视化的智慧社区服务平台源码
💕💕作者：计算机源码社 💕💕个人简介：本人七年开发经验，擅长Java、Python、PHP、.NET、Node.js、微信小程序、爬虫、大数据等，大家有这一块的问题可以一起交流！ …...
[密码学入门]凯撒密码
单表代换 单表：英文26字母的顺序 代换：替换为别的字母并保证解密的唯一性 假如我们让加密方式为所有字母顺序移动3位 import stringstring.ascii_lowercase abcdefghijklmnopqrstuvwxyz b3 加密算法y(xb)mod26 解密算法为x(y-b)mod26 密钥空间26 …...
博客之QQ登录功能(一)
流程图 上图spring social 封装了1-8步需要的工作 1、新建包和书写配置文件 public class QQProperties {//App唯一标 识private String appId "100550231";private String appSecret "69b6ab57b22f3c2fe6a6149274e3295e";//QQ供应商private String…...
Redis多机数据库实现
Redis多机数据库实现 为《Redis设计与实现》笔记 复制 客户端可以使用SLAVEOF命令将指定服务器设置为该服务器的主服务器 127.0.0.1:12345> SLAVEOF 127.0.0.1 6379127.0.0.1:6379将被设置为127.0.0.1:123456的主服务器 旧版复制功能的实现 Redis的复制功能分为同步&a…...
Leangoo领歌 -敏捷任务管理软件,任务管理更轻松更透明
任务管理，简单易懂，就是对任务进行管理。那怎么可以更好进行任务管理呢？怎么样样可以让任务进度可视化，一目了然呢？有效的管理可以让我们事半功倍。 接下来我们看一下如何借助任务管理软件高效的做任务管理。 首先…...
go的iris框架进行本地资源映射到服务端
我这里使用的是HandleDirapi,有其他的请补充 package mainimport ("github.com/kataras/iris/v12" )type Hello struct{Status int json:"status"Message string json:"message" }func main(){app : iris.New()//第一个api:相当于首页app.Get(&q…...
代码随想录day46|139. 单词拆分
139. 单词拆分 class Solution:def wordBreak(self, s: str, wordDict: List[str]) -> bool:dp [False]*(len(s)1)dp[0]Truefor i in range(len(s)1):for j in wordDict:if i>len(j) and (s[i-len(j):i] in wordDict) and dp[i-len(j)]:dp[i] Truereturn dp[len(s)]多…...
MATLAB实现函数拟合
目录 一.理论知识 1.拟合与插值的区别 2.几何意义 3.误差分析 二.操作实现 1.数据准备 2.使用cftool——拟合工具箱 三.函数拟合典例 四.代码扩展 一.理论知识 1.拟合与插值的区别 通俗的说，插值的本质是根据现有离散点的信息创建出更多的离散点…...
vue优化首屏加载时间优化-cdn引入第三方包
前言 为什么要进行首屏加载优化，因为随着我们静态资源和第三方包和代码增加，压缩之后包会越来越大 随着网络的影响，在我们第一输入url请求资源时候，网络阻塞，加载时间长，用户体验不好 仔细观察后就会发现…...
lv4 嵌入式开发-3 标准IO的读写
目录 1 标准I/O – 读写流 2 标准I/O – 按字符输入 3 标准I/O – 按字符输出 4 标准I/O – 思考和练习 5 标准I/O – 按行输入 6 标准I/O – 按行输出 7 标准I/O – 思考和练习 1 标准I/O – 读写流 流支持不同的读写方式: 读写一个字符：fgetc()/fputc()一…...
iOS UIDevice设备信息
识别设备和操作系统 //获得共享设备实例 open class var current: UIDevice { get }//识别设备的名称 open var name: String { get } // e.g. "My iPhone"//设备类型 open var model: String { get } // e.g. "iPhone", "iPod touch"//本地化设…...
SLAM ORB-SLAM2（2）编译安装
SLAM ORB-SLAM2（2）编译安装 1. 软件包依赖安装2. 依赖安装2.1. Eigen2.2. Pangolin2.3. OpenCV3. ORB-SLAM23.1. 源码下载3.2. 文件修改3.3. 扩大交换空间3.4. 编译1. 软件包依赖安装 以一个纯净的ubuntu20.04桌面版为例 1.首先设置软件源为清华源 2.安装必要依赖 sudo ap…...
第11节-PhotoShop基础课程-索套工具
文章目录 前言1.索套工具 选中后按Ctrl 可以移动2.加，减，交叉 shift alt 2.多边形索套工具 手动首尾相连 或者双击空地1.单击绘制直线选区2.双击结束绘制3.加，减，交叉4. delete可以删除节点 3.磁性索套工具1.沿着边缘自动吸附2.可…...
Json字符串内容比较-超实用版
背景 之前有类似接口diff对比，数据对比的测试需求，涉及到json格式的数据对比，调研了几个大神们分享的代码，选了一个最符合自己需求的研究了下。 说明 这个对比方法，支持JsonObject和JsonArray类型的数据对比&#x…...
Redis系列之客户端Redisson
概述 官方推荐的客户端，支持Redis单实例、Redis哨兵、Redis Cluster、Redis master-slave等各种部署架构。 GitHub， 功能： 分布式锁 分布式锁 使用Redisson提供的分布式锁的一个最常见场景，应用部署为多个节点，然…...
centos 端口被占用的快速排查方式
问题笔记 centos 端口被占用的快速排查方式 centos 端口被占用的快速排查方式 这里说一个我刚刚遇到的问题，解决步骤用来记录，方便以后自己查询。 nginx配置完index.html测试文件，发现一直显示的404页面。 我跑到服务器上想重启一下nginx …...
Java“牵手”淘宝商品列表数据，关键词搜索淘宝商品数据接口，淘宝API申请指南
淘宝商城是一个网上购物平台，售卖各类商品，包括服装、鞋类、家居用品、美妆产品、电子产品等。要获取淘宝商品列表和商品详情页面数据，您可以通过开放平台的接口或者直接访问淘宝商城的网页来获取商品详情信息。以下是两种常用方法的介绍&…...
无人机雷达与LiDAR协同监测土壤湿度技术解析
1. 无人机雷达与LiDAR协同监测土壤湿度的技术原理在精准农业领域，土壤湿度监测一直面临着植被遮挡带来的技术挑战。传统的地面传感器网络虽然精度较高，但存在部署成本高、维护困难等问题；而光学遥感又难以穿透茂密的作物冠层。无人机载雷达与…...
基于Agent架构的轻量级自托管部署工具Ship实战指南
1. 项目概述：一个为开发者而生的轻量级部署工具最近在折腾一个前后端分离的小项目，从本地开发到服务器部署，中间那套流程真是让人头大。代码提交、构建、测试、再到服务器上拉取、重启服务，一套组合拳下来，少说也得十几…...
Awesome-Robotics-3D：机器人3D视觉资源精选与高效利用指南
1. 项目概述：一个机器人学3D视觉的“藏宝图” 如果你正在机器人、自动驾驶或者三维感知领域摸爬滚打，并且时常为了找一个靠谱的开源实现、一篇奠基性的论文，或者一个高质量的数据集而翻遍GitHub、arXiv和各大实验室主页，那么你很可…...
Slurm集群GPU资源管理实战：如何用`--gres=gpu`参数正确调度你的GTX1080Ti？
Slurm集群GPU资源管理实战：如何用--gresgpu参数正确调度你的GTX1080Ti？ 在AI研究与数据科学领域，GPU资源的高效利用直接关系到模型训练与实验的成败。许多团队虽然配备了GTX1080Ti等高性能显卡，却常因Slurm集群调度不当导致资源闲…...
C语言核心知识体系总结
C语言核心知识体系总结本文旨在系统梳理C语言的基础与进阶知识点，帮助读者建立清晰的知识框架。内容涵盖：程序编译过程、数据类型与变量、运算符与表达式、控制结构、函数、指针、结构体与共用体、动态内存分配、文件操作等。适合复习巩固或查漏补缺。第…...
半导体技术评估：如何判断新技术从概念到产品的“露点”
1. 开篇：从“露点”看半导体行业的虚实迷雾 大家好，我是Don Scansen。在半导体行业摸爬滚打了二十多年，从设计、验证到失效分析，几乎把产业链的各个环节都趟了一遍。今天，我想借这个新开的专栏，和大家聊聊一…...
MimicFlow：可视化AI代码生成过程，弥合编程信任鸿沟
1. 项目概述：当AI写代码时，我们如何“看见”思考过程？如果你和我一样，深度使用过Cursor、GitHub Copilot或者任何基于大语言模型的AI编程助手，一定经历过这样的瞬间：你提出一个需求，AI助手瞬间生…...
WinDirStat插件开发终极指南：构建自定义磁盘管理功能
WinDirStat插件开发终极指南：构建自定义磁盘管理功能 【免费下载链接】windirstat WinDirStat is a disk usage statistics viewer and cleanup tool for Microsoft Windows 项目地址: https://gitcode.com/gh_mirrors/wi/windirstat 作为Windows平台最知名的…...
Go语言极简Web框架Meridian：依赖注入与清晰架构实践
1. 项目概述：一个“极简”的现代Web应用框架最近在GitHub上闲逛，又看到了一个名为rynfar/meridian的项目。点进去一看，简介写着“A modern web framework for building APIs and web applications in Go”。说实话，现在Go语言的We…...
Vex：VS Code向量数据库管理扩展，提升AI开发效率
1. 项目概述：Vex，一个为开发者设计的向量数据库管理利器如果你正在用 VS Code 开发 AI 应用，并且和向量数据库（比如 Milvus 或 ChromaDB）打交道，那你大概率经历过这样的场景：为了插入几条测试向…...