当前位置： 首页 > news >正文

flinkcdc 体验

news 2026/4/5 2:12:56

0 flink版本 踩雷

java代码操作 flink Table/SQL API 和 DataStream API 编写程序后，打成jar包丢到flink集群运行，报错首选需要考虑flink集群版本和 jar包中maven依赖的版本是否一致。
目前网上flink、flinkcdc相关博文绝大部分是基于flink1.13、1.14编写的，而我的flink集群是1.15！
而flink1.15由于只支持scala-2.12，所以maven依赖包名发生了改变

<!-- 1.15之前的版本 artifactId 会有一个用来区分不同scala版本的“_2.12”、“_2.11”后缀 -->
<dependency><groupId>org.apache.flink</groupId><artifactId>flink-streaming-java_2.12</artifactId><version>1.14.5</version>
</dependency><!-- 1.15版本的 artifactId 没有用来区分不同scala版本的“_2.12”后缀，原因也是1.15只支持scala-2.12 -->
<dependency><groupId>org.apache.flink</groupId><artifactId>flink-streaming-java</artifactId><version>1.15.2</version>
</dependency>

需要特别说明的是，在flink-connector-mysql-cdc模块的pom文件中，有一个flink-table-planner的依赖，这个依赖的 artifactId 不用更改，这个依赖在1.15版本中，artifactId 也是带 scala版本后缀的

<dependency><groupId>org.apache.flink</groupId><artifactId>flink-table-planner_2.12</artifactId><version>1.15.2</version></dependency>

我是文章1和文章2才知道踩的这个坑

如果你的flink集群是1.13 ，请参考这篇教程一文弄懂Flink CDC

如果你想开发完后将任务丢到flink集群上运行，请根据你的flink集群版本选择正确的maven依赖！！

相关文章：

flinkcdc 体验

0 flink版本 踩雷 java代码操作 flink Table/SQL API 和 DataStream API 编写程序后&#xff0c;打成jar包丢到flink集群运行&#xff0c;报错首选需要考虑flink集群版本和 jar包中maven依赖的版本是否一致。 目前网上flink、flinkcdc相关博文绝大部分是基于flink1.13、1.14编…...

编程日记 2023/10/12 4:51:09

Kafka知识补充

如何避免 Rebalance 最简单粗暴的就是 &#xff1a; 减少组成员数量发生变化 每个 Consumer 实例都会定期地向 Coordinator 发送心跳请求&#xff0c;表明它还存活着。如果某个 Consumer 实例不能及时地发送这些心跳请求&#xff0c;Coordinator 就会认为该 Consumer 已经“死…...

编程日记 2023/10/12 4:48:05

【MAC】升级 Mac os 后报错

背景 17 年买的 mac&#xff0c;发现很多软件都无法安装&#xff0c;于是升级 mac os 到 10.13&#xff0c;从官网下载 10.13 版本&#xff0c;之后升级&#xff0c;升级还算顺利。但使用 git 的时候发现出现问题了。 问题 使用 git 出现如下错误 xcrun: error: invalid ac…...

编程日记 2023/10/12 4:46:02

LeetCode(力扣)416. 分割等和子集Python

LeetCode416. 分割等和子集 题目链接代码 题目链接 https://leetcode.cn/problems/partition-equal-subset-sum/ 代码 class Solution:def canPartition(self, nums: List[int]) -> bool:sum 0dp [0]*10001for num in nums:sum numif sum % 2 1:return Falsetarget …...

编程日记 2023/10/12 4:42:58

Redis之缓存一致性

Redis之缓存一致性 1 缓存更新策略1.1 内存淘汰1.2 过期删除1.3 主动更新1.4 三种缓存更新策略的对比 2 更新缓存的两种方式3 缓存更新策略的实现方式3.1 先更新DB&#xff0c;后更新缓存3.2 先更新DB&#xff0c;后删除缓存3.3 先更新缓存&#xff0c;后更新DB3.4 先删除缓存&…...

编程日记 2023/10/12 4:41:57

LeetCode-199-二叉树的右视图

题目描述&#xff1a; 题目链接&#xff1a;LeetCode-199-二叉树的右视图 解题思路&#xff1a; 在 102 的基础之上进行改进&#xff0c;一维数组每次只保存 size1 时候的值 代码实现&#xff1a; class Solution {public List<Integer> rightSideView(TreeNode root) {i…...

编程日记 2023/10/12 4:40:56

二叉树的最近公共祖先

&#x1f388;个人主页:&#x1f388; :✨✨✨初阶牛✨✨✨ &#x1f43b;强烈推荐优质专栏: &#x1f354;&#x1f35f;&#x1f32f;C的世界(持续更新中) &#x1f43b;推荐专栏1: &#x1f354;&#x1f35f;&#x1f32f;C语言初阶 &#x1f43b;推荐专栏2: &#x1f354;…...

编程日记 2023/10/12 4:39:55

C++ 补充 反向迭代器的实现

阅前提要&#xff1a; 本文主要是对list和vector的实现的补充&#xff0c;以代码实现为主&#xff0c;注释为辅&#xff0c;如果对vector&#xff0c;list底层实现感兴趣的可以自行阅读&#xff0c;代码量有点大&#xff0c;请大家耐心查看&#xff0c;对理解语言很有帮助&…...

编程日记 2023/10/12 4:38:54

JVM第一讲：JVM相关知识体系详解+面试(P6熟练 P7精通)

JVM相关知识体系详解面试(P6熟练 P7精通) 面试时常常被面试官问到JVM相关的问题。本系列将给大家构建JVM核心知识点全局知识体系&#xff0c;本文是JVM第一讲&#xff0c;JVM相关知识体系详解和相关面试题梳理。 文章目录 JVM相关知识体系详解面试(P6熟练 P7精通)1、JVM学习建议…...

编程日记 2023/10/12 4:37:52

深度学习DAY3：FFNNLM前馈神经网络语言模型

1 神经网络语言模型NNLM的提出 文章&#xff1a;自然语言处理中的语言模型预训练方法&#xff08;ELMo、GPT和BERT&#xff09; https://www.cnblogs.com/robert-dlut/p/9824346.html 语言模型不需要人工标注语料&#xff08;属于自监督模型&#xff09;&#xff0c;所以语言…...

编程日记 2023/10/12 4:36:51

JavaSE学习值之--String类

&#x1f495;"不要同情自己&#xff0c;同情自己是卑劣懦夫的勾当&#xff01;"&#x1f495; 作者&#xff1a;Mylvzi 文章主要内容&#xff1a;JavaSE学习值之--String类 目录 前言&#xff1a; 一.String类 1.String类的属性 2.字符串的构造 注意&#xf…...

编程日记 2023/10/12 4:34:47

【LeetCode高频SQL50题-基础版】打卡第6天：第31~35题

文章目录 【LeetCode高频SQL50题-基础版】打卡第6天&#xff1a;第31~35题⛅前言员工的直属部门&#x1f512;题目&#x1f511;题解 判断三角形&#x1f512;题目&#x1f511;题解 连续出现的数字&#x1f512;题目&#x1f511;题解 指定日期的产品价格&#x1f512;题目&am…...

编程日记 2023/10/12 4:32:45

基于单片机的汽车智能仪表的设计

基于单片机的汽车智能仪表的设计 摘要&#xff1a;汽车的汽车系统。速度测量以及调速是我们这次的设计所要研究的对象&#xff0c;本次设计的基础核心的模块就是单片机&#xff0c;其应用的核心的控制单元就是stc89c52单片机&#xff0c;用到的测速模块是霍尔传感器&#xff0c…...

编程日记 2023/10/12 4:31:45

【Docker 内核详解】namespace 资源隔离（一）：进行 namespace API 操作的 4 种方式

namespace 资源隔离&#xff08;一&#xff09;&#xff1a;进行 namespace API 操作的 4 种方式 1.通过 clone() 在创建新进程的同时创建 namespace2.查看 /proc/[pid]/ns 文件3.通过 setns() 加入一个已经存在的 namespace4.通过 unshare() 在原先进程上进行 namespace 隔离5…...

编程日记 2023/10/12 4:30:43

【技术研究】环境可控型原子力显微镜超高真空度精密控制解决方案

摘要&#xff1a;针对原子力显微镜对真空度和气氛环境精密控制要求&#xff0c;本文提出了精密控制解决方案。解决方案基于闭环动态平衡法&#xff0c;在低真空控制时采用恒定进气流量并调节排气流量的方法&#xff0c;在高真空和超高真空控制时则采用恒定排气流量并调节进气流…...

编程日记 2023/10/12 4:29:43

【Vuex+ElementUI】Vuex中取值存值以及异步加载的使用

一、导言 1、引言 Vuex是一个用于Vue.js应用程序的状态管理模式和库。它建立在Vue.js的响应式系统之上&#xff0c;提供了一种集中管理应用程序状态的方式。使用Vuex&#xff0c;您可以将应用程序的状态存储在一个单一的位置&#xff08;即“存储”&#xff09;中&#xff0c;…...

编程日记 2023/10/12 4:28:42

python经典百题之简单加密数据

题目:某个公司采用公用电话传递数据&#xff0c;数据是四位的整数&#xff0c;在传递过程中是加密的&#xff0c;加密规则如下&#xff1a; 每位数字都加上5,然后用和除以10的余数代替该数字&#xff0c;再将第一位和第四位交换&#xff0c;第二位和第三位交换 程序分析 对于…...

编程日记 2023/10/12 4:27:41

登陆认证权限控制（1）——从session到token认证的变迁 session的问题分析 + CSRF攻击的认识

前言 登陆认证&#xff0c;权限控制是一个系统必不可少的部分&#xff0c;一个开放访问的系统能否在上线后稳定持续运行其实很大程度上取决于登陆认证和权限控制措施是否到位&#xff0c;不然可能系统刚刚上线就会夭折。 本篇博客回溯登陆认证的变迁历史&#xff0c;阐述sess…...

编程日记 2023/10/12 4:25:37

单点接地、多点接地、混合接地

有三种基本的信号接地方式:浮地、单点接地、多点接地。 浮地&#xff1a;目的是使电路或设备与公共地线可能引起环流的公共导线隔离起来&#xff0c;浮地还使不同电位的电路之间配合变得容易。缺点&#xff1a;容易出现静电积累引起强烈的静电放电。折中方案&#xff1a;接入泄…...

编程日记 2023/10/12 4:24:36

【C++初阶（一）】学习前言 命名空间与IO流

本专栏内容为&#xff1a;C学习专栏&#xff0c;分为初阶和进阶两部分。 通过本专栏的深入学习&#xff0c;你可以了解并掌握C。 &#x1f493;博主csdn个人主页&#xff1a;小小unicorn ⏩专栏分类&#xff1a;C &#x1f69a;代码仓库&#xff1a;小小unicorn的代码仓库&…...

编程日记 2023/10/12 4:23:35

OpenClaw多模型切换指南：Qwen3-4B与本地LLM混合调用

OpenClaw多模型切换指南&#xff1a;Qwen3-4B与本地LLM混合调用 1. 为什么需要多模型混合调用 去年冬天&#xff0c;当我第一次尝试用OpenClaw自动化处理技术文档时&#xff0c;发现一个尴尬的现象&#xff1a;用Qwen3-4B生成代码示例效果很好&#xff0c;但让它润色一段产品…...

编程新知 2026/4/5 0:54:43

计算机基础知识简介

欢迎来到我的软考中级——软件设计师备考合集。这里不只是一份简单的知识点堆砌&#xff0c;而是我在备考征途中&#xff0c;对庞杂知识体系进行深度梳理与内化的结晶。 面对浩瀚的考纲&#xff0c;从计算机组成原理的底层逻辑&#xff0c;到操作系统的进程调度&#xff1b;从数…...

编程新知 2026/4/4 23:49:38

【最新最权威】ArcGIS ArcMap中添加在线地图-天地图（地形、矢量、影像、全球境界）的方法

1 图源介绍地理信息公共服务平台&#xff08;天地图&#xff09;是县级以上自然资源主管部门向社会提供各类在线地理信息公共服务、推动地理信息数据开放共享的政府网站&#xff0c;由国家级节点、省级&#xff08;兵团&#xff09;节点、市县级节点组成。在底图服务方面&#…...

编程新知 2026/4/4 20:53:34

Buildroot与Qt5的X11VNC集成：解决EGLFS与XCB插件冲突的实践指南

1. 为什么需要X11VNC与Qt5集成&#xff1f; 在嵌入式开发中&#xff0c;远程调试图形界面是个常见需求。想象一下&#xff0c;你的设备可能放在工厂车间或者户外&#xff0c;每次修改代码后都要跑到设备前查看效果&#xff0c;这效率实在太低。X11VNC就像给你的设备装了个"…...

编程新知 2026/4/4 20:15:09

Qwen2.5-VL图文对话模型5分钟快速部署：vllm+chainlit一键搭建教程

Qwen2.5-VL图文对话模型5分钟快速部署&#xff1a;vllmchainlit一键搭建教程 1. 环境准备与快速部署 1.1 系统要求 推荐配置&#xff1a;Linux系统&#xff08;Ubuntu 20.04&#xff09;GPU&#xff1a;至少16GB显存&#xff08;如NVIDIA RTX 3090/A100&#xff09;内存&…...

编程新知 2026/4/4 18:56:23

硬件笔记——立创逻辑派开关电源案例解读

立创逻辑派开发板中有上图三个BUCK电路，使用SY8113B芯片将5V电压分别降压至3.3V、1.5V、1.0V。 SY8113B 是一款同步降压型稳压 IC，它将 PWM 控制模块、高端开关管与低端开关管集成在同一芯片上，以此最大限度降低开关转换损耗与导通损耗。凭借超低导通电阻Rds (on)的…...

编程新知 2026/4/4 18:40:18

[具身智能-218]：针对不同编程语言和应用场景，AI自动编程擅长与不擅长之处？

AI自动编程的能力在不同编程语言和应用场景下表现出显著差异。选择合适组合&#xff0c;能让AI成为强大的“加速器”&#xff0c;反之则可能带来风险。 核心原则是&#xff1a;AI对主流语言和标准化任务的支持最好&#xff0c;而在处理底层、高性能或复杂业务逻辑时则需要人工…...

编程新知 2026/4/4 18:21:55

ThinkPad散热控制新境界：TPFanCtrl2全方位应用指南

ThinkPad散热控制新境界&#xff1a;TPFanCtrl2全方位应用指南 【免费下载链接】TPFanCtrl2 ThinkPad Fan Control 2 (Dual Fan) for Windows 10 and 11 项目地址: https://gitcode.com/gh_mirrors/tp/TPFanCtrl2 一、核心价值解析&#xff1a;为何选择TPFanCtrl2 突破…...

编程新知 2026/4/4 18:03:51

Fecshop会员系统终极指南：从用户注册到权限管理的完整实现方案

Fecshop会员系统终极指南&#xff1a;从用户注册到权限管理的完整实现方案 【免费下载链接】yii2_fecshop Yii2_fecshop是一个基于Yii2框架的电商系统&#xff0c;适合用于搭建在线商城、B2C网站等。特点&#xff1a;功能丰富、易于扩展、支持多种支付方式。 项目地址: https…...

编程新知 2026/4/4 14:46:58

李开复：AI时代，文科生的春天真的来了

一个颠覆性的观察作为中国最早研究AI的专家&#xff0c;李开复最近在一次演讲中表达了一个观点&#xff1a;"我过去30年都在研究AI和技术。现在我想告诉大家&#xff1a;AI时代&#xff0c;最受欢迎的不会是更多的工程师&#xff0c;而是懂得如何与AI对话、能清楚表达需求…...

编程新知 2026/4/4 12:47:25