当前位置：首页 > news >正文

Debezium系列之：实时从TDengine数据库采集数据到Kafka Topic

news 2026/2/8 19:59:50

Debezium系列之：实时从TDengine数据库采集数据到Kafka Topic

一、认识TDengine
二、TDengine Kafka Connector
三、什么是 Kafka Connect？
四、前置条件
五、安装 TDengine Connector 插件
六、启动 Kafka
七、验证 kafka Connect 是否启动成功
八、TDengine Source Connector 的使用
九、添加 Source Connector 配置文件
十、准备测试数据
十一、创建 Source Connector 实例
十二、查看 topic 数据
十三、unload 插件
十四、性能调优
十五、配置参考
- 通用配置
- TDengine Source Connector 特有的配置
十六、更多内容

一、认识TDengine

TDengine是一款高性能、高稳定性的开源时间序列数据库。它是由中国的PingCAP团队开发并开源的，旨在为大规模数据存储和实时分析提供解决方案。TDengine具有以下特点：

高性能：TDengine使用了多种优化技术，如数据压缩、索引优化和并行计算，以实现高性能的数据写入和查询。它能够处理大规模的数据，并且在毫秒级的响应时间内提供查询结果。
高稳定性：TDengine具有良好的容错和恢复机制，能够保证数据的持久性和可靠性。它支持数据的多副本备份和自动故障转移，以及数据一致性和完整性的检查。
时间序列支持：TDengine专注于时间序列数据的存储和分析，能够高效地处理时间序列数据的写入、查询和聚合操作。它支持多种数据类型和数据模型，如数字、文本、地理位置和时间等。
开源：TDengine是一个开源项目，遵循Apache 2.0许可证。用户可以自由地使用、修改和分发该软件，同时也可以参与到开发和改进过程中。
总之，TDengine是一款专注于时间序列数据存储和分析的高性能、高稳定性的开源数据库，适用于大规模数据存储和实时分析的场景。

二、TDengine Kafka Connector

Debezium系列之：实时从TDengine数据库采集数据到Kafka Topic

Debezium系列之：实时从TDengine数据库采集数据到Kafka Topic 一、认识TDengine二、TDengine Kafka Connector三、什么是 Kafka Connect？四、前置条件五、安装 TDengine Connector 插件六、启动 Kafka七、验证 kafka Connect 是否启动成功八、TDengine Source Connector 的使用…...

编程日记 2024/10/13 12:27:49

数据结构（一）顺序表

顺序表的概念及结构线性表线性表是具有相同特征的数据结构的集合物理结构不一定连续逻辑结构连续顺序表顺序表是线性表的一种，顺序表的底层是数组物理结构连续逻辑结构连续顺序表分类静态顺序表 struct SeqList {int a…...

编程日记 2024/10/13 12:23:45

如何在 Jupyter Notebook 执行和学习 SQL 语句（中）

1. 基础SQL操作创建数据库和表，插入数据： import sqlite3# 创建SQLite数据库并连接 conn sqlite3.connect(example.db) cursor conn.cursor()# 创建用户表 cursor.execute(CREATE TABLE IF NOT EXISTS users (id INTEGER PRIMARY KEY AUTOINCREMENT…...

编程日记 2024/10/13 12:20:42

AutosarMCAL开发——基于EB Wdg驱动

目录一、Wdg原理以及作用1.看门狗类型2.看门狗功能特点3.看门狗工作模式4.看门狗超时响应5.看门狗寄存器二、WDG模块EB配置（TC3X系列MCU）1.WDG通用配置：2.WDG设置：3.时钟资源分配4.配置STM IRQ中断5.配置触发执行动作&#xff1…...

编程日记 2024/10/13 12:18:40

Linux（1. 基本操作_命令）

目录关于超级用户root： root用户可以做什么？ 避免灾难： 格式约定： 浏览硬盘： 命令行补全和通配符： 命令行补全： 通配符： 常用基本命令： 查看目录和文件&#xff…...

编程日记 2024/10/13 12:17:39

难点：Linux 死机定位（进程虚拟地址空间耗尽）

死机定位（进程虚拟地址空间耗尽）一、死机现象内存富裕，但内存申请失败。死机时打印：怀疑是： 1、内存碎片原因导致。 2、进程虚拟地址空间耗尽导致。 3、进程资源限制导致。二、内存碎片分析 1、理论知识：如何分析内存碎片化情况使用 /proc/buddyinfo： /proc/…...

编程日记 2024/10/13 12:16:37

小米路由器刷机istoreOS，愉快上网

istoreOS与openwrt openwrt是一个开源的路由器系统，市场上所有小米路由器的内部系统都是基于openwrt进行二次开发形成的，做了硬件适配和功能上的阉割，不太好用。 istoreos是小宝团队基于openwrt制作的一个发行版，更适合中国宝宝体质。页面简约华丽，完全兼容开源openwrt的…...

编程日记 2024/10/13 12:15:36

微信小程序 - 01 - 一些补充和注意点（补充ing...）

目录一、节流二、在一个发请求的函数中，只有发生下拉动作，才执行关闭下拉代码最近在学微信小程序，把学习过程中的一些补充和注意点总结一下，内容会比较简单，因为只涉及基础知识，供个人参考一、节流情…...

编程日记 2024/10/13 12:11:21

微服务实战——登录(普通登录、社交登录、SSO单点登录)

登录 1.1. 用户密码 PostMapping("/login")public String login(UserLoginVo vo, RedirectAttributes redirectAttributes, HttpSession session){R r memberFeignService.login(vo);if(r.getCode() 0){MemberRespVo data r.getData("data", new Type…...

编程日记 2024/10/13 12:10:20

windows 安装 ElasticSearch

1、下载安装包下载地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.14.3-windows-x86_64.zip ElasticSearch 目录结构如下： 2、配置JDK环境 ES比较耗内存，建议虚拟机4G或以上内存，jvm1g以上的内存分…...

编程日记 2024/10/13 12:09:18

Oracle Linux 9 (CentOS Stream 9) 安装 node.js 20

Oracle Linux 的 node 默认版本为 16，运行dnf update也无法改变大版本，还需要进行额外操作1 查看支持的版本 sudo dnf module list nodejs输出如下 Last metadata expiration check: 3:37:22 ago on Fri 11 Oct 2024 09:08:18 PM JST. Oracle Linux 9 Ap…...

编程日记 2024/10/13 12:08:17

【Axure安装包与汉化包附带授权证书】

一、下载Axure安装包与汉化包附带授权证书 1.下载汉化包【快传】: 点击链接即可保存 2.解压安装包解压下载好的压缩包，能看到有lang也就是汉化包，AxureRP-Setup-RC.exe 也就是Axure9的安装程序，以及汉化说明和授权码。二、安装Axure9…...

编程日记 2024/10/13 12:05:14

SSH隧道验证的原理及实现例子

SSH 隧道验证原理详解 **SSH 隧道（SSH Tunneling）**是通过 SSH 协议将数据在客户端和服务器之间加密传输的一种技术。它可以在不安全的网络上创建一个安全的、加密的通道，用于传输各种数据，例如通过不安全的网络远程登录、传输文…...

编程日记 2024/10/13 12:04:13

[计算机视觉]chapter1

一、什么是计算机视觉计算机视觉就是用计算机编程，并设计算法来理解在这些图像中有什么。计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼…...

编程日记 2024/10/13 12:02:11

RTKLIB学习记录【postpos、execses_b、execses_r】

本文主要记录对RTKLIB源码中postpos、execses_b、execses_r 函数的源码解读，不涉及其中的天线、星历等文件读取的内容，且为个人理解，如果有误，欢迎交流讨论。一、postpos 函数部分 /rxn2rtkp函数 → postpos函数传递参数&#x…...

编程日记 2024/10/13 12:01:09

docker,docker-desktop,docker-compose download

docker docker-compose download 百度网盘获取离线包链接release-notes 参考dockerdocker-composewlspowershell...

编程日记 2024/10/13 12:00:09

C#_带参数的委托进入队列执行

我们经常会遇到一些函数多个地方调用，但是只能单独执行的就需要把它放到队列中执行。 1.创建对应该方法的委托（传参和回参类型需要一致）。 //委托： public delegate void CameraTaskDelegate(byte cs, ref byte[] buffer);//对应函数： public void CameraSettingRead(by…...

编程日记 2024/10/13 11:58:07

【OpenCV】（二）—— 图片读取展示和保存

上一小节中我们成功安装了opencv，我们这次学习使用opencv最基础的功能，读取和展示图片，首先准备一张用于实验的样例图片【cat.jpg】如下： 然后就是创建一个python项目并导入相关依赖 import cv2读取图片读取图片使用imread方法…...

编程日记 2024/10/13 11:57:06

【花卉识别系统】Python+卷积神经网络算法+人工智能+深度学习+图像识别+算法模型

一、介绍花朵识别系统。本系统采用Python作为主要编程语言，基于TensorFlow搭建ResNet50卷积神经网络算法模型，并基于前期收集到的5种常见的花朵数据集（向日葵、玫瑰、蒲公英、郁金香、菊花）进行处理后进行模型训练，最…...

编程日记 2024/10/13 11:56:05

k8s、prometheus、grafana数据采集和展示的链路流程

k8s集群中，容器级别的数据采集是由cAdvisor程序实现 cAdvisor # Container Advisor 容器顾问 cAdvisor程序是kubelet组件的一部分。每个节点，包括master节点，都有一个kubelet系统服务， kukelet负责管理pod和容…...

编程日记 2024/10/13 11:55:04

谷歌浏览器插件

项目中有时候会用到插件 sync-cookie-extension1.0.0：开发环境同步测试 cookie 至 localhost，便于本地请求服务携带 cookie 参考地址：https://juejin.cn/post/7139354571712757767 里面有源码下载下来，加在到扩展即可使用FeHelp…...

编程新知 2025/8/16 3:55:30

盘古信息PCB行业解决方案：以全域场景重构，激活智造新未来

一、破局：PCB行业的时代之问在数字经济蓬勃发展的浪潮中，PCB（印制电路板）作为 “电子产品之母”，其重要性愈发凸显。随着 5G、人工智能等新兴技术的加速渗透，PCB行业面临着前所未有的挑战与机遇。产品迭代…...

编程新知 2026/2/7 17:29:24

linux arm系统烧录

1、打开瑞芯微程序 2、按住linux arm 的 recover按键插入电源 3、当瑞芯微检测到有设备 4、松开recover按键 5、选择升级固件 6、点击固件选择本地刷机的linux arm 镜像 7、点击升级 （忘了有没有这步了估计有） 刷机程序和镜像就不提供了。要刷的时…...

编程新知 2026/2/6 20:07:35

【Java_EE】Spring MVC

目录 Spring Web MVC 编辑注解 RestController RequestMapping RequestParam RequestParam RequestBody PathVariable RequestPart 参数传递注意事项编辑参数重命名 RequestParam 编辑编辑传递集合 RequestParam 传递JSON数据编辑RequestBody …...

编程新知 2026/2/1 16:32:53

JDK 17 新特性

#JDK 17 新特性 /**************** 文本块 *****************/ python/scala中早就支持，不稀奇 String json “”" { “name”: “Java”, “version”: 17 } “”"; /**************** Switch 语句 -> 表达式 *****************/ 挺好的&#xff…...

编程新知 2026/1/29 5:34:29

有限自动机到正规文法转换器v1.0

1 项目简介这是一个功能强大的有限自动机（Finite Automaton, FA）到正规文法（Regular Grammar）转换器，它配备了一个直观且完整的图形用户界面，使用户能够轻松地进行操作和观察。该程序基于编译原理中的经典…...

编程新知 2026/1/31 13:13:32

Spring Cloud Gateway 中自定义验证码接口返回 404 的排查与解决

Spring Cloud Gateway 中自定义验证码接口返回 404 的排查与解决问题背景在一个基于 Spring Cloud Gateway WebFlux 构建的微服务项目中，新增了一个本地验证码接口 /code，使用函数式路由（RouterFunction）和 Hutool 的 Circle…...

编程新知 2026/1/31 6:38:50

CRMEB 中 PHP 短信扩展开发：涵盖一号通、阿里云、腾讯云、创蓝

目前已有一号通短信、阿里云短信、腾讯云短信扩展扩展入口文件文件目录 crmeb\services\sms\Sms.php 默认驱动类型为：一号通 namespace crmeb\services\sms;use crmeb\basic\BaseManager; use crmeb\services\AccessTokenServeService; use crmeb\services\sms\…...

编程新知 2025/10/5 5:38:24

NPOI Excel用OLE对象的形式插入文件附件以及插入图片

static void Main(string[] args) {XlsWithObjData();Console.WriteLine("输出完成"); }static void XlsWithObjData() {// 创建工作簿和单元格,只有HSSFWorkbook,XSSFWorkbook不可以HSSFWorkbook workbook new HSSFWorkbook();HSSFSheet sheet (HSSFSheet)workboo…...

编程新知 2025/10/6 2:06:51

【LeetCode】3309. 连接二进制表示可形成的最大数值（递归|回溯|位运算）

LeetCode 3309. 连接二进制表示可形成的最大数值（中等） 题目描述解题思路Java代码题目描述题目链接：LeetCode 3309. 连接二进制表示可形成的最大数值（中等） 给你一个长度为 3 的整数数组 nums。现以某种顺序连接…...

编程新知 2025/7/5 18:01:05

Debezium系列之：实时从TDengine数据库采集数据到Kafka Topic

一、认识TDengine

二、TDengine Kafka Connector

相关文章：