当前位置： 首页 > news >正文

【Flink】FlinkCDC获取mysql数据时间类型差8小时时区解决方案

news 2026/3/28 21:59:23

1、背景：

在我们使用FlinkCDC采集mysql数据的时候，日期类型是我们很常见的类型，但是FlinkCDC读取出来会和数据库的日期时间不一致，情况如下

FlinkCDC获取的数据中create_time字段1694597238000转换为时间戳2023-09-13 17:27:18

 而数据库中原始数据如下，并没有到下午5点，这就导致了FlinkCDC读出来的时间和数据库中实际的时间不一致的情况，与数据库对比可以发现,这里的时间戳与数据库时间刚好相差了 8 个小时,在实际生产中这种情况是不行的

2、 产生这种情况的原因是什么呢?

FlinkCDC底层为Debezium，而Debezium默认将MySQL中datetime类型转成UTC的时间戳,底层的 Debezium 并没有实现 serverTimeZone 的配置，时区是写死的无法更改，导致数据库中设置的UTC+8到了FlinkCDC读取出来相差了8个小时

3、如何解决呢

我们可以通过在自定义反序列化器中实现时区的修复，需要提前准备一个mysql，本案例版本为Mysql5.7，并且开启binlog，如何开启binlog过程如下面的博客

相关文章：

【Flink】FlinkCDC获取mysql数据时间类型差8小时时区解决方案

1、背景： 在我们使用FlinkCDC采集mysql数据的时候，日期类型是我们很常见的类型，但是FlinkCDC读取出来会和数据库的日期时间不一致，情况如下 FlinkCDC获取的数据中create_time字段1694597238000转换为时间戳2023-09-13 17:27:18 而数据库中原始数据如下，并没有到下午5点…...

编程日记 2023/9/14 22:01:45

Javas | DecimalFormat类、BigDecimal类、Random类

目录： 1.DecimalFormat类2.BigDecimal类3.Random类4.需求：编写程序，生成5个不重复的随机数 1.DecimalFormat类 DecimalFormat 是 NumberFormat 的一个具体子类，用于格式十进制数字。 /*** 关于数字的格式化*/ public class Decima…...

编程日记 2023/9/14 22:00:44

机器学习 实战系列 总目录

1、机器学习实战-系列教程1：线性回归入门教程（项目实战、原理解读、源码解读） 机器学习实战-系列教程1：线性回归入门教程（项目实战、原理解读、源码解读） 2、机器学习实战-系列教程2：手撕线性回…...

编程日记 2023/9/14 21:59:43

机器学习——贝叶斯（三种分布）/鸢尾花分类分界图/文本分类应用

0、前言： 机器学习中的贝叶斯的理论基础是数学当中的贝叶斯公式。这篇博客强调使用方法，至于理论未作深究。机器学习中三种类型的贝叶斯公式：高斯分布（多分类）、多项式分布（文本分类）、伯努利分…...

编程日记 2023/9/14 21:58:42

SOLIDWORKS Composer位置关键帧的使用

SOLIDWORKS Composer是专业的SOLIDWORKS及3D文件处理的动画制作软件，作为SOLIDWORKS 产品线下的一个明星存在。 SOLIDWORKS Composer几乎可以处理任何SOLIDWORKS的模型文件并将之转化成可以动作的机械动画，可以引用在企业的网站、产品说明书以及工作指导…...

编程日记 2023/9/14 21:57:41

PostgreSQL 流复制搭建与维护

文章目录 前言1. 配置环境1.1 环境介绍1.2 主库白名单1.3 主库参数配置 2. 流复制搭建2.1 备份恢复2.2 创建复制用户2.3 参数修改2.4 启动并检查2.5 同步流复制2.6 同步复制级别 3. 流复制监控3.1 角色判断3.2 主库查看流复制3.3 延迟监控3.4 备库查询复制信息 前言 PostgreSQ…...

编程日记 2023/9/14 21:55:40

【Redis】关于过期数据清除的一些策略

这里要讨论的为过期的数据是如何被清除的，也就是网上常常讨论的过期清除策略。 需要注意的是，redis除了会对过期的数据进行淘汰，也可以通过对内存大小进行限制，并对超出内存限制后进行数据淘汰。此时淘汰的数据未必是过期的&…...

编程日记 2023/9/14 21:54:39

动态SQL

Mybatis框架的动态SQL技术是一种根据特定条件动态拼装SQL语句的功能，它存在的意义是为了解决拼接SQL语句字符串时的痛点问题。 1、if if标签可通过test属性的表达式进行判断，若表达式的结果为true，则标签中的内容会执行；反之标签…...

编程日记 2023/9/14 21:53:38

uniapp:OCR识别身份证上传原图失败,问题解决

1、上传普通图片成功 2、上传>4M | >5M图片失败检查&#xff1a;1、uni.uploadFile自身没有文件大小限制。然而&#xff0c;这仍然取决于你的应用程序所在的平台和存储空间容量。 2、上传照片后不在fail&#xff0c;在sucess 提交照片-3 {"data": "<h…...

编程日记 2023/9/14 21:50:34

shell循环和函数

目录 1.for循环2.while循环3.until循环4.函数 1.for循环 for循环是固定循环&#xff0c;也就是在循环时就已经知道需要进行几次的循环&#xff0c;有事也把for循环成为计数循环。for的语法如下两种&#xff1a; 语法一 for 变量 in 值1 值2 值3 …(可以是一个文件等)do程序do…...

编程日记 2023/9/14 21:49:33

京东详情api

简要描述 根据商品id获取详情数据 请求URL http://xxx.xxx.xxx.xxx:xxxx/jd.get.item 请求方式 get 请求Query参数 参数名示例值必选类型说明itemid100016034386是string商品idtokenadmin.api是string权限token 成功返回示例 部分数据展示&#xff1a; {"data&qu…...

编程日记 2023/9/14 21:48:32

MySQL最新版8.1.0安装配置教程

目录 目录 前言 安装流程图 1&#xff0c;MySQL数据库是什么? 2&#xff0c;下载zip压缩包 3&#xff0c;解压到要安装的目录 4,添加环境变量 4.1,找到环境变量 4.2,进行环境变量的添加 5.新建mysql 配置文件 6、安装mysql服务 7、初始化数据文件 8、启动mysql …...

编程日记 2023/9/14 21:44:26

5G试题_1

1、 全息技术属于对5G三大类应用场景网络需求中的哪一种&#xff1f;&#xff08;A&#xff09; A. 增强移动宽带 B. 海量大连接 C. 低时延高可靠 D. 低时延大带宽 2、 在5G时代&#xff0c;不同领域的不同设备大量接入网络&#xff0c;其实引用传统的组网方式和服务提供形式也…...

编程日记 2023/9/14 21:43:25

正规股票配资网站的三个明显特点分析

随着股票市场的快速发展&#xff0c;越来越多的投资者开始考虑使用股票配资来增加自己的资金流动性和收益率。然而&#xff0c;在选择股票配资网站时&#xff0c;投资者往往难以辨别哪些网站是正规的&#xff0c;哪些网站存在风险。因此&#xff0c;以下将分析正规股票配资网站…...

编程日记 2023/9/14 21:42:24

质疑苹果5G信号造假成为闹剧，反而将运营商置于尴尬境地

在iPhone15发布会处于热点之际&#xff0c;一位号称通信专家的人士指责iPhone的5G信号造假&#xff0c;一度闹得沸沸扬扬&#xff0c;导致舆论一开始都是质疑苹果造假&#xff0c;然而在知乎却有更多专业人士指出这位专家不了解5G技术&#xff0c;这个问题或许反而出在运营商身…...

编程日记 2023/9/14 21:41:23

vue 预览zip

ZIP的数据从接口传递数据流过来。解析数据流&#xff0c;并将zip的目录绑定到tree中。 1.引入插件jszip&#xff1a; yarn add jszip 2.在需要引用的页面引用&#xff1a; import JSZip from jszip 3. 实现代码 api(option).then((res)>{ // 接口获取zip的数据流 l…...

编程日记 2023/9/14 21:40:22

人先自辱，而后人辱之

语出《孟 子.离娄上》“夫人必自街&#xff0c;而后人懈之;家必自毁&#xff0c;而后人毁之"。 自己不把自己当人看&#xff0c;别人肯定也不会。善待自己&#xff0c;接纳自己。 过去的不再留恋。 心平气和&#xff0c;气定神闲。 政治论述题&#xff0c;每一个题目&a…...

编程日记 2023/9/14 21:39:21

web端三维重建算法-colmap++

vismap vismap 是colmap 版本 &#xff08;1&#xff09; 支持superpoint superglue &#xff08;2&#xff09; 支持netvlad 图像检索 &#xff08;3&#xff09;支持特征点尺度定权 &#xff08;4&#xff09;支持二维码定位 &#xff08;5&#xff09;支持融合gps &#x…...

编程日记 2023/9/14 21:36:17

MyBatisPlus（二）基础Mapperr接口：增删改查

MyBatisPlus&#xff1a;基础Mapper接口&#xff1a;增删改查 插入一条数据 代码 Testpublic void insert() {User user new User();user.setId(6L);user.setName("张三");user.setAge(25);user.setEmail("zhangsanexample.com");userMapper.insert(use…...

编程日记 2023/9/14 21:35:17

基础项目实用案例

文章目录 倒计时动态生成表格发布留言密码框验证模态框拖拽 倒计时 function countDown(time) {var nowTime new Date();var inputTime new Date(time);var times (inputTime - nowTime) / 1000;var d parseInt(times / 60 / 60 / 24);d d < 10 ? 0 d : d;var h par…...

编程日记 2023/9/14 21:34:16

Ice终极指南：3步打造Mac菜单栏的清爽工作空间

Ice终极指南&#xff1a;3步打造Mac菜单栏的清爽工作空间 【免费下载链接】Ice Powerful menu bar manager for macOS 项目地址: https://gitcode.com/GitHub_Trending/ice/Ice Ice是一款专为macOS设计的强大菜单栏管理器&#xff0c;能够帮助用户有效整理和优化混乱的菜…...

编程新知 2026/3/28 21:58:00

Qwen3-ForcedAligner在开源项目中的贡献指南

Qwen3-ForcedAligner在开源项目中的贡献指南 1. 引言 如果你对语音识别和音频处理感兴趣&#xff0c;想要为开源项目做贡献&#xff0c;Qwen3-ForcedAligner是个绝佳的选择。这个项目专注于语音文本对齐技术&#xff0c;能够精确标注音频中每个词或字符的时间戳&#xff0c;对…...

编程新知 2026/3/28 21:25:47

使用Proteus进行电路仿真：为HunyuanVideo-Foley生成电子音效提供灵感

使用Proteus进行电路仿真&#xff1a;为HunyuanVideo-Foley生成电子音效提供灵感 1. 引言&#xff1a;当电路仿真遇上AI音效生成 想象一下&#xff0c;你正在为一款科幻游戏设计音效。传统的音效库已经用腻了&#xff0c;想要一些真正独特、带有"电路感"的声音效果…...

编程新知 2026/3/28 18:34:34

打破35岁魔咒！如何用一行代码开启你的“一人公司”商业模式？

引言 35岁，像是悬在程序员、职场人头顶的一把剑。 加班透支身体、裁员风险加剧、升职瓶颈难破、打工收入单一，想创业没资金、没团队、不敢冒风险，想做副业又没时间、没方法、难落地。 难道只能在焦虑里内耗，等着被职场淘汰？ 答案当然是不。如今靠技术做轻资产、低成本、…...

编程新知 2026/3/28 18:30:24

无人机组装调试仿真教学软件技术解析（架构+功能+落地）| 产品实测

在无人机职业教育领域&#xff0c;仿真教学软件的核心价值是“还原实操场景、降低落地成本、提升教学效率”&#xff0c;但目前多数同类软件普遍存在架构冗余、3D交互卡顿、功能与教学场景脱节、后台管理薄弱等痛点&#xff0c;难以满足院校规模化、标准化的组装调试教学需求。…...

编程新知 2026/3/28 18:00:15

DiskInfo硬盘检测工具：3步掌握硬盘健康状态的智能监测方案

DiskInfo硬盘检测工具&#xff1a;3步掌握硬盘健康状态的智能监测方案 【免费下载链接】DiskInfo DiskInfo based on CrystalDiskInfo 项目地址: https://gitcode.com/gh_mirrors/di/DiskInfo 在数字化时代&#xff0c;硬盘作为数据存储的核心载体&#xff0c;其健康状态…...

编程新知 2026/3/28 17:52:11

新手零基础入门：跟着快马生成的互动教程完成jdk17下载安装与第一个程序

作为一名Java初学者&#xff0c;第一次接触JDK安装可能会觉得有些迷茫。最近我在InsCode(快马)平台上尝试了一个JDK17安装教程项目&#xff0c;整个过程比我预想的要简单很多。下面就把我的学习笔记分享给大家&#xff0c;希望能帮助到同样刚入门的朋友。 JDK17下载步骤 首先需…...

编程新知 2026/3/28 17:33:56

AI驱动的像素级区域划分：Krita智能选区工具提升数字创作效率全指南

AI驱动的像素级区域划分&#xff1a;Krita智能选区工具提升数字创作效率全指南 【免费下载链接】krita-vision-tools Krita plugin which adds selection tools to mask objects with a single click, or by drawing a bounding box. 项目地址: https://gitcode.com/gh_mirro…...

编程新知 2026/3/28 15:55:05

OpenMP vs C++ 线程池：到底该用谁？

在 C 多线程并行编程中&#xff0c;OpenMP 和线程池是最常用的两种方案。很多开发者都会陷入困惑&#xff1a;同样是实现多线程加速&#xff0c;到底该选 OpenMP 还是 C 线程池&#xff1f;有人觉得 OpenMP 一行代码就能并行&#xff0c;简单高效&#xff1b;也有人偏爱线程池的…...

编程新知 2026/3/28 12:03:49

这是什么编码 - writeup by AI

这是什么编码 - writeup by AI &#x1f4cb; 题目信息项目内容题目名称这是什么编码来源平台BUGKU CTF题目类型Crypto (密码学)核心考点Base 家族编码识别、多层嵌套解码涉及编码Hex、Base32、Base64 &#x1f3af; 题目描述 给定的密文文件 encode.txt 中包含一串经过多重编码…...

编程新知 2026/3/28 11:39:33