当前位置： 首页 > news >正文

CDL基础原理

news 2026/5/22 3:13:06

一、CDL简介

CDL（全称Change Data Loader）是一个基于Kafka Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件，并推送到kafka，再由sink connector推送到大数据生态系统中。

CDL目前支持的数据源有MySQL、PostgreSQL、Oracle、Hudi、Kafka、ThirdParty-Kafka，目标端支持写入Kafka、Hudi、DWS以及ClickHouse。

二、CDL结构

CDL服务包含了两个重要的角色：CDLConnector 和 CDLService，CDLConnector是具体执行数据抓取任务的实例，包含了Source Connector 和 Sink Connector，CDLService是负责管理和创建任务的实例。
在这里插入图片描述
CDL服务中的CDLService是多主模式，任意一个CDLService都可以进行业务操作；CDLConnector是分布式模式，提供了高可靠和Rebalance的能力，创建任务时指定的task数量会在整个集群中的CDLConnector实例之间做均衡，保证每个实例上运行的task数量大致相同，如果某个CDLConnector实例异常或者节点宕机，该任务会在其它节点重新平衡task的数量。
在这里插入图片描述

三、CDL和其他组件的关系

CDL组件基于Kafka Connect框架，抓取的数据都是通过kafka的topic做中转，所以首先依赖kafka组件，其次CDL本身存储了任务的元数据信息和监控信息，这些数据都存储在数据库，因此也依赖DBService组件。

相关文章：

CDL基础原理

一、CDL简介 CDL（全称Change Data Loader）是一个基于Kafka Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件，并推送到kafka，再由sink connector推送到大数据生态系统中。 CDL目前支…...

编程日记 2023/8/30 16:26:46

WPF基础入门-Class7-WPF-MVVN框架

WPF基础入门 Class7-MVVN框架 使用框架可以省掉如Class6中的ViewModelBase.cs的OnPropertyChanged，亦方便命令传参 1、NuGet安装CommunityToolkit.Mvvm（原Mircrosoft.Toolkit.Mvvm）也可以安装MVVMLight等其他集成库 2、显示页面&#xff1…...

编程日记 2023/8/30 16:25:44

C语言练习题第三弹！！！绝对典中典！！！

目录 1.单身狗1 1.1 题目 1.2 分析推理 1.3 代码实现 2.单身狗2 2.1 题目 2.2 分析推理 2.3 代码实现 3.字符串左旋 3.1 题目 3.2 分析推理 3.3 代码实现 3.3.1 方法一 3.3.2 优化一 3.3.2.1 思路分析 3.3.2.2 strcpy函数和strncat函数 3.3.2.3 代码实现 3.3.…...

编程日记 2023/8/30 16:24:43

Jedis

Jedis 使用Java操作redis Jedis是redis官方推荐的Java连接开发工具&#xff01; 使用Java操作redis的中间件 测试 导入对应的依赖 <!-- https://mvnrepository.com/artifact/redis.clients/jedis --><dependency><groupId>redis.clients</groupId&g…...

编程日记 2023/8/30 16:23:41

Linux 使用TCP_INFO查询TCP连接的状态信息

Linux 上可以使用TCP_INFO查询TCP连接状态信息包括&#xff1a; 发送方拥塞窗口阈值、发送方缓冲区拥塞窗口、advmss&#xff08;Advertised MSS&#xff09;、通过 ACK 确认的累计字节数等等 struct tcp_info {__u8 tcpi_state;__u8 tcpi_ca_state;__u8 tcpi_retransmits;__…...

编程日记 2023/8/30 16:22:39

软件测试案例 ｜ 气象探测库存管理系统的集成测试计划

将经过单元测试的模块按照设计要求连接起来&#xff0c;组成规定的软件系统的过程被称为“集成”。集成测试也被称为组装测试、联合测试、子系统测试或部件测试等&#xff0c;其主要用于检查各个软件单元之间的接口是否正确。集成测试同时也是单元测试的逻辑扩展&#xff0c;即…...

编程日记 2023/8/30 16:21:38

vue点击按钮重新加载页面（vue第一次加载页面点击按钮出现页面刷新问题之后一切正常）

问题描述 所开发的vue项目每次跑起来之后就会出现点击按钮后重新加载整个页面的问题&#xff0c;但是只会在第一次点击的时候出现&#xff0c;后面就不会在出现加载整个页面的情况。 原因 在form表单中使用button按钮导致form表单进行了页面刷新。button默认的“type‘submi…...

编程日记 2023/8/30 16:20:37

软件工程(十一) 系统设计分类

我们知道需求规格说明书(SRS)落地之后, 就要开始着手系统设计了，看一下这个系统该如何来设计，并且如何实现。学习系统设计之前，需要先了解系统设计有哪些分类。 系统设计的分类如下 界面设计结构化设计面向对象设计（最重要）1、界面设计 界面设计也叫做人机界面设计，属于…...

编程日记 2023/8/30 16:19:35

数字转中文大写金额

有时候&#xff0c;我们需要显示中文大写金额&#xff0c;比如打印银行付款申请单等。 新建一个工程&#xff0c;加入一个标准模块在模块中加入如下代码&#xff0c;窗口中调用 AmountInChineseWords 函数即可。最大解析到百万亿&#xff0c;小数最多解析两位到分。 模块代码…...

编程日记 2023/8/30 16:18:33

Java——HashMap和HashTable的区别

Java——HashMap和HashTable的区别 Java HashMap和HashTable的区别1. 继承的父类2. 线程安全性3. null值问题4. 初始容量及扩容方式5. 遍历方式6. 计算hash值方式 Java HashMap和HashTable的区别 1. 继承的父类 都实现了Map、Cloneable&#xff08;可复制&#xff09;、Seria…...

编程日记 2023/8/30 16:17:30

Docker去除sudo权限

Docker去除sudo权限 使用docker命令时&#xff0c;每次都要sudo提权&#xff0c;否则就会报错提示无权限。 1.查看docker用户组及成员 sudo cat /etc/group | grep docker2.添加docker用户组 sudo groupadd docker3.添加用户到docker组 sudo gpasswd -a ${USER} docker4.增…...

编程日记 2023/8/30 16:16:28

【ROS系统】Ubuntu22.04系统中安装ROS2系统_ubuntu 安装ros2_GoesM

【ROS系统】Ubuntu22.04系统中安装ROS2系统_ubuntu 安装ros2_GoesM Excerpt ROS仿真、专为自动驾驶研发提供的系统平台_ubuntu 安装ros2 参考博客&#xff1a;ROS 安装详细教程 —— Ubuntu22.0.4 LTS 安装 Part 0. 准备 首先&#xff0c;我们需要一个Ubuntu系统。 Part 1. …...

编程日记 2023/8/30 16:15:26

MySQL8.0.22安装过程记录（个人笔记）

1.点击下载MySQL 2.解压到本地磁盘&#xff08;注意路径中不要有中文&#xff09; 3.在解压目录创建my.ini文件 文件内容为 [mysql] # 设置mysql客户端默认字符集 default-character-setutf8[mysqld] # 设置端口 port 3306 # 设计mysql的安装路径 basedirE:\01.app\05.Tool…...

编程日记 2023/8/30 16:14:25

Python中pip和conda的爱恨情仇

在使用pip和conda时&#xff0c;是否也有过以下的疑惑&#xff1f;&#xff1f;&#xff1f; 目前只总结了以下常见的几种混淆&#xff0c;如有学者还有其它疑惑&#xff0c;欢迎留言讨论&#xff0c;我会解答更新&#xff0c;帮助自己理清的同时&#xff0c;也帮助其他同样困…...

编程日记 2023/8/30 16:13:23

HTTPS协议原理

目录 前言 1.理解加密和解密 2.为什么要加密 3.常见的加密方式 3.1对称加密 3.2非对称加密 4.数据摘要和数据指纹 5. 数字签名 6.HTTPS的加密策略 6.1只使用对称加密 6.2使用非对称加密 6.2.1服务端使用非对称加密 6.2.2双方都使用非对称加密 6.3对称加密非对称加…...

编程日记 2023/8/30 16:12:21

C语言每日一练------Day(6)

本专栏为c语言练习专栏&#xff0c;适合刚刚学完c语言的初学者。本专栏每天会不定时更新&#xff0c;通过每天练习&#xff0c;进一步对c语言的重难点知识进行更深入的学习。 今日练习题关键字&#xff1a;整数转换 异或 &#x1f493;博主csdn个人主页&#xff1a;小小unicorn…...

编程日记 2023/8/30 16:11:20

springboot中使用ElasticSearch

引入依赖 修改我们的pom.xml&#xff0c;加入spring-boot-starter-data-elasticsearch <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency>编写配…...

编程日记 2023/8/30 16:10:19

十二、集合（2）

本章概要 添加元素组集合的打印列表 List 添加元素组 在 java.util 包中的 Arrays 和 Collections 类中都有很多实用的方法&#xff0c;可以在一个 Collection 中添加一组元素。 Arrays.asList() 方法接受一个数组或是逗号分隔的元素列表&#xff08;使用可变参数&#xff…...

编程日记 2023/8/30 16:09:17

【网络设备】交换机的概念、工作原理、功能以及以太网帧格式

个人主页&#xff1a;insist--个人主页​​​​​​ 本文专栏&#xff1a;网络基础——带你走进网络世界 本专栏会持续更新网络基础知识&#xff0c;希望大家多多支持&#xff0c;让我们一起探索这个神奇而广阔的网络世界。 目录 一、认识交换机 二、交换机的主要功能 1、数…...

编程日记 2023/8/30 16:08:16

研磨设计模式day11观察者模式

目录 场景 代码示例 定义 观察者模式的优缺点 本质 何时选用 简单变型-区别对待观察者 场景 我是一家报社&#xff0c;每当我发布一个新的报纸时&#xff0c;所有订阅我家报社的读者都可以接收到 代码示例 报纸对象 package day11观察者模式;import java.util.Observ…...

编程日记 2023/8/30 16:07:12

Heavy Fighter动画包：Unity战斗系统根运动与状态机深度解析

1. 这套动画包不是“拿来就能用”的资源&#xff0c;而是需要你亲手校准的战斗系统骨架我在2021年接手一个横版ARPG项目时&#xff0c;美术总监甩给我三套Mecanim动画包&#xff0c;其中一套就是Heavy Fighter Mecanim Animation Pack。当时我第一反应是“终于不用手调IK了”&a…...

编程新知 2026/5/22 2:44:53

WenShape文生3D模型：基于One-2-3-45框架的开源3D资产生成工具项目深度解析

WenShape文生3D模型&#xff1a;基于One-2-3-45框架的开源3D资产生成工具项目深度解析 项目简介 WenShape 是一个基于 One-2-3-45 技术框架开发的开源“文生3D”模型生成系统&#xff0c;旨在通过文本指令快速、高效地生成高质量3D模型资产。该项目由 unitagain 维护&#xff0…...

编程新知 2026/5/22 1:46:39

LangGraph与智能体：当AI学会了“思考图谱”，离真正干活还有多远？

你有没有发现&#xff1a;现在的AI聊天工具虽然能回答五花八门的问题&#xff0c;可一旦交给它稍微复杂点的任务——比如“订一张去上海的机票&#xff0c;顺便查查那边的天气&#xff0c;再帮我写份会议纪要”——它就手忙脚乱&#xff0c;要么忘记前面的信息&#xff0c;要么…...

编程新知 2026/5/22 1:44:23

受够了网盘限速？2026年更顺手的不限速同步盘选择

受够了网盘限速、下载慢、传大文件卡顿&#xff1f;如果你的核心诉求是“上传下载不被限速、同步稳定、多人协作更省心”&#xff0c;下面这4款网盘可以作为备选参考。本文以“传输体验 同步效率 安全合规 协作能力”做客观对比&#xff0c;方便你按需选择。 先看对比表&am…...

编程新知 2026/5/22 0:48:12

PostHog完整指南：5分钟搭建开源产品分析平台，免费监控用户行为

PostHog完整指南&#xff1a;5分钟搭建开源产品分析平台&#xff0c;免费监控用户行为 【免费下载链接】posthog.com Official docs, website, and handbook for PostHog. 项目地址: https://gitcode.com/GitHub_Trending/po/posthog.com PostHog是一款功能强大的开源产…...

编程新知 2026/5/22 0:39:12

Miro致力弥合AI潜力与组织现实之间的鸿沟

Miro在Canvas 26上将其AI平台建设成为现代AI生态系统的连接层 — 汇聚团队、智能体以及已经使用的工具&#xff0c;将个体AI生产率变为整个组织的转型 Miro是一个面向团队的人工智能&#xff08;AI&#xff09;创新工作空间。该公司宣布推出多项AI平台创新&#xff0c;强化了其…...

编程新知 2026/5/21 23:51:08

【深度解析】从 Antigravity 2.0 看 AI Agent 的产品化演进：动态子代理、项目工作区与多模型编排实战

摘要&#xff1a; Google Antigravity 2.0 的核心变化&#xff0c;不只是功能增加&#xff0c;而是把 AI Agent 从“对话工具”推进到“可编排的执行系统”。本文解析动态子代理、项目级工作区、后台任务与工具链设计&#xff0c;并给出基于 OpenAI 兼容接口的 Python 实战代码…...

编程新知 2026/5/21 23:22:40

树突状细胞相关细胞因子的功能及疾病关联

树突状细胞作为免疫系统中核心的抗原呈递细胞&#xff0c;其分泌的多种细胞因子&#xff08;IL-1α、IL-1β、IL-6、TNFα、IL-10&#xff09;在免疫反应的启动、调控及稳态维持中发挥着核心作用。这些细胞因子具有双重调控特性&#xff0c;既是机体抵御病原体入侵的重要屏障&a…...

编程新知 2026/5/21 21:52:56

摆脱论文困扰!盘点2026年普遍认可的的降AI率软件

轻松降低论文AI率在2026年已不再是天方夜谭。最新实测数据显示&#xff0c;2026年降AI率软件正以惊人的效率和精准度颠覆传统方法&#xff0c;覆盖AI痕迹消除、文本改写润色、降重优化、学术合规检测四大核心场景&#xff0c;真正实现高效降AI率&#xff0c;帮你告别论文焦虑。…...

编程新知 2026/5/21 21:15:30

AI大模型推理并行策略：DP、TP、PP、SP、EP的基本原理

在做大模型推理部署的时候，经常会碰到模型参数量太大，一块GPU的显存装不下，或者单块GPU的算力跟不上推理速度的情况，这时候就需要用并行策略来解决这些问题。 因为计算的流程不一样，推理和训练用到的并行策略在实现上也不一样。 这篇文章就是帮大家快速搞懂常见并行策略…...

编程新知 2026/5/21 19:42:26