当前位置：首页 > news >正文

FlinkCDC 菜鸟教程-文章目录

news 2025/12/14 5:49:30

系列文章目录

背景篇

环境篇

准备一台已经安装了 Docker 的 Linux 或者 MacOS 电脑。
准备教程所需要的组件
版本对应关系
安装
环境检查

工具篇

flink
kibana

概念篇

Docker 介绍
Docker Compose 介绍
Kibana介绍

实践篇

演示: Mysql CDC 导入 Elasticsearch

启动服务
准备数据
在 Flink SQL CLI 中使用 Flink DDL 创建表
关联订单数据并且将其写入 Elasticsearch 中
环境清理

演示: postgres CDC 导入 Elasticsearch

启动 Flink 集群和 Flink SQL CLI
在 Flink SQL CLI 中使用 Flink DDL 创建表
将其写入 Elasticsearch 中
环境清理

演示: MongoDB CDC 导入 Elasticsearch

启动 Flink 集群和 Flink SQL CLI
在 Flink SQL CLI 中使用 Flink DDL 创建表
将其写入 Elasticsearch 中
环境清理

演示: Mysql CDC 导入 Kafka

在 MySQL 数据库中准备数据
启动 Flink 集群和 Flink SQL CLI
在 Flink SQL CLI 中使用 Flink DDL 创建表
kafka控制台相关命令
环境清理

遇到问题

版本兼容问题
docker-compose安装问题
容器启动失败问题
Flink SQL执行失败问题

FlinkCDC 菜鸟教程-文章目录

系列文章目录背景篇环境篇准备一台已经安装了 Docker 的 Linux 或者 MacOS 电脑。准备教程所需要的组件版本对应关系安装环境检查工具篇 flinkkibana 概念篇 Docker 介绍Docker Compose 介绍Kibana介绍实践篇演示: Mysql CDC 导入 Elasticsearch 启动服务准备…...

编程日记 2023/9/10 18:40:56

从零开始-与大语言模型对话学技术-gradio篇（4）

前言本文介绍「星火杯」认知大模型场景创新赛中的落选项目- AI命理分析系统，属于个人娱乐练手。总结提炼了往期文章精华并发掘出新的知识。包括本地部署版本和Web在线版本，两种打包方式基于半自动化使用.bat手动打包迁移python项目如何把 Gradio …...

编程日记 2023/9/10 18:39:55

OpenCV项目实战（1）— 如何去截取视频中的帧

前言：Hello大家好，我是小哥谈。针对一段视频，如何去截取视频中的帧呢？本节课就给大家介绍两种方式，一种方式是按一定间隔来截取视频帧，另一种方式是截取视频的所有帧。希望大家学习之后能够有所收获&#x…...

编程日记 2023/9/10 18:38:53

「程序员必须掌握的算法」动态规划「上篇」

动态规划详解动态规划 (Dynamic Programming) 是一种算法思想，用于解决一些复杂的问题。本文将介绍动态规划的分类、概念和经典例题讲解。动态规划的分类动态规划可以分为以下两种类型： 0/1背包问题：该问题是动态规划的一种基本类型。…...

编程日记 2023/9/10 18:37:51

什么是Linux

什么是Linux？ 不知道大家是什么时候开始接触Linux，我记得我是大三的时候，那时候通过国嵌、韦东山的教学视频，跟着搭bootloader，修改内核，制作根文件系统，一步步，视频真的很简单&…...

编程日记 2023/9/10 18:36:50

学习笔记|定时器|STC中断|定时器时间计算|STC32G单片机视频开发教程（冲哥）|第十一集：定时器的作用和意义

文章目录 1.定时器的作用和意义定时器中断定时器是定时器和计数器的统称。 2.STC32G单片机定时器使用原理2.1 先设置功能为定时器/计数器(本质都是加法计数器)2.2、在定时器模式下，设置不分频或者12分频∶Tips：选择不分频还是12分频2.3、定时器的工作模式…...

编程日记 2023/9/10 18:35:49

第28节-PhotoShop基础课程-图层操作

文章目录前言1.像素图层2.删除 Delete3.合并 Ctrl E4.盖印 Ctrl Shift Alt5.图层顺序-拖动就可以6.编组-Ctrl G 管理图层-分类存放7.锁定图层-背景图层8.不透明度9.查找图层 2.智能图层1.能保持图片放大缩小（Ctrl T）的时候不丢失分辨率2.和滤镜配合使…...

编程日记 2023/9/10 18:34:47

CGAL 闵可夫斯基和（Minkowski Sums）

文章目录一、简介二、实现代码三、实现效果参考资料一、简介假设给定两个集合 A , B ∈ R d A,B∈R^d A,B...

编程日记 2023/9/10 18:33:46

Layui快速入门之第二节布局容器(固定宽度与完整宽度)

目录一：固定宽度二： 完整宽度一：固定宽度将栅格放入一个带有 class"layui-container" 的特定容器中，以便在小屏幕以上的设备中固定宽度，让列可控(两侧有留白效果) <!--固定宽度(两侧有留白效果)--&…...

编程日记 2023/9/10 18:32:44

异地容灾系统和数据仓库中数据同步的设计软件的功能模型

（ 1）初始同步模块该模块主要是在表进行初始同步时使用的；它能够根据实际需要生成物化视图及其索引的创建语句，并完成表的初始同步。如果没有特别的要求，则调用普通初始同步子模块进行目的端表的初始同步&#xff…...

编程日记 2023/9/10 18:31:42

分布式调度 Elastic-job

分布式调度 Elastic-job 1.概述 1.1什么是任务调度我们可以思考一下下面业务场景的解决方案: 某电商平台需要每天上午10点，下午3点，晚上8点发放一批优惠券某银行系统需要在信用卡到期还款日的前三天进行短信提醒某财务系统需要在每天凌晨0:10分结算…...

编程日记 2023/9/10 18:30:40

1. 示例代码 1) status.h /* DataStructure 预定义常量和类型头文件 */#ifndef STATUS_H #define STATUS_H/* 函数结果状态码 */ #define TRUE 1 /* 返回值为真 */ #define FALSE 0 /* 返回值为假 */ #define RET_OK 0 /* 返回值正确 */ #define INFEASI…...

编程日记 2023/9/10 18:29:39

第三周晨考自测（3.0）

1.获取元素的偏移量 offsetLeft和offsetTop 分别获取的是元素元素左边的偏移量和上边的偏移量语法：元素对象.offsetLeft /元素对象.offsetTop 返回值：就是该元素对应的偏移量，是一个具体的数字 offsetLeft：该元素相对于参考…...

编程日记 2023/9/10 18:28:38

C++ 结构体

前文 C中的结构体是一种非常有用的数据类型，它允许我们将不同的变量组合在一起，形成一个自定义的数据结构。结构体在C中的应用非常广泛，它可以用来表示和管理各种实体、对象或数据的属性。比如，在一个学生管理系统中&#xff0c…...

编程日记 2023/9/10 18:27:37

如何使用聊天GPT自定义说明

推荐：使用 NSDT场景编辑器快速搭建3D应用场景 OpenAI ChatGPT正在席卷全球。一周又一周，更新不断提高您可以使用这种最先进的语言模型做什么的标准。在这里，我们深入研究了OpenAI最近在ChatGPT自定义指令上发布的公告。此功能最初以测试版…...

编程日记 2023/9/10 18:26:36

mac pyenv无法切换python版本问题

看是zsh还是bash echo $SHELLzsh 配置到～/.zshrc 文件 vim ~/.zshrcexport PYENV_ROOT"$HOME/.pyenv" command -v pyenv >/dev/null || export PATH"$PYENV_ROOT/bin:$PATH" 执行 source ~/.zshrc bash vim ~/.bashrc export PYENV_R…...

编程日记 2023/9/10 18:25:34

API接口接入电商平台案例，采集淘宝天猫拼多多1688京东LAZADA数据按关键字搜索商品示例

按关键字搜索商品数据API接口可以让用户轻松地在海量商品中找到自己需要的商品。这个接口包括多种搜索方式，例如利用关键字搜索商品名称、商品描述、商品分类、商家信息等。同时，还可以通过不同的排序方式进行筛选，例如销量排行、价格排行、评…...

编程日记 2023/9/10 18:24:33

持安-大连万达集团零信任项目入选中国信通院2023零信任优秀案例

2023年8月25日，以“链接云端，可信而安”为主题的“2023首届SecGo云和软件安全大会”在京隆重召开。会上，中国信息通信研究院重磅揭晓了“安全守卫者计划”优秀案例评选结果。零信任办公安全技术创新企业持安科技，与用户大连万达…...

编程日记 2023/9/10 18:23:31

python28种极坐标绘图函数总结

文章目录基础图误差线等高线polar场图polar统计图非结构坐标图 📊python35种绘图函数总结，3D、统计、流场，实用性拉满 matplotlib中的画图函数，大部分情况下只要声明坐标映射是polar，就都可以画出对应的极坐标图。但…...

编程日记 2023/9/10 18:22:30

C#编程基础(万字详解,这一篇就够了)

C#及其开发环境简介 C#概述 C#的编程功能 C#与.Net的关系 .Net C# C#的集成开发环境 Windows上编写C#程序 Linux/Mac OS上编写C#程序运行第一个HelloWorld程序 C#基本语法程序实例 C#基本语法 using关键字 class关键字注释成员变量成员函数实例化一个类…...

编程日记 2023/9/10 18:21:06

idea大量爆红问题解决

问题描述在学习和工作中，idea是程序员不可缺少的一个工具，但是突然在有些时候就会出现大量爆红的问题，发现无法跳转，无论是关机重启或者是替换root都无法解决就是如上所展示的问题，但是程序依然可以启动。问题解决…...

编程新知 2025/12/13 4:29:54

从深圳崛起的“机器之眼”：赴港乐动机器人的万亿赛道赶考路

进入2025年以来，尽管围绕人形机器人、具身智能等机器人赛道的质疑声不断，但全球市场热度依然高涨，入局者持续增加。以国内市场为例，天眼查专业版数据显示，截至5月底，我国现存在业、存续状态的机器人相关企…...

编程新知 2025/12/13 7:26:47

数据链路层的主要功能是什么

数据链路层（OSI模型第2层）的核心功能是在相邻网络节点（如交换机、主机）间提供可靠的数据帧传输服务，主要职责包括： 🔑 核心功能详解： 帧封装与解封装封装： 将网络层下发…...

编程新知 2025/6/16 23:36:50

【HTML-16】深入理解HTML中的块元素与行内元素

HTML元素根据其显示特性可以分为两大类：块元素(Block-level Elements)和行内元素(Inline Elements)。理解这两者的区别对于构建良好的网页布局至关重要。本文将全面解析这两种元素的特性、区别以及实际应用场景。 1. 块元素(Block-level Elements) 1.1 基本特性 …...

编程新知 2025/11/11 6:28:42

鱼香ros docker配置镜像报错：https://registry-1.docker.io/v2/

使用鱼香ros一件安装docker时的https://registry-1.docker.io/v2/问题一键安装指令 wget http://fishros.com/install -O fishros && . fishros出现问题：docker pull 失败网络不同，需要使用镜像源按照如下步骤操作 sudo vi /etc/docker/dae…...

编程新知 2025/9/5 21:18:15

论文笔记——相干体技术在裂缝预测中的应用研究

目录相关地震知识补充地震数据的认识地震几何属性相干体算法定义基本原理第一代相干体技术：基于互相关的相干体技术（Correlation）第二代相干体技术：基于相似的相干体技术（Semblance）基于多道相似的相干体…...

编程新知 2025/12/12 20:26:01

【VLNs篇】07：NavRL—在动态环境中学习安全飞行

项目内容论文标题NavRL: 在动态环境中学习安全飞行 (NavRL: Learning Safe Flight in Dynamic Environments)核心问题解决无人机在包含静态和动态障碍物的复杂环境中进行安全、高效自主导航的挑战，克服传统方法和现有强化学习方法的局限性。核心算法基于近端策略优化…...

编程新知 2025/12/9 1:05:05

基于IDIG-GAN的小样本电机轴承故障诊断

目录 🔍 核心问题一、IDIG-GAN模型原理 1. 整体架构 2. 核心创新点 (1) 梯度归一化（Gradient Normalization） (2) 判别器梯度间隙正则化（Discriminator Gradient Gap Regularization） (3) 自注意力机制（Self-Attention） 3. 完整损失函数二…...

编程新知 2025/12/12 10:03:57