当前位置： 首页 > news >正文

FlinkCDC实现主数据与各业务系统数据的一致性（瀚高、TIDB）

news 2026/4/27 11:49:56

         文章末尾附有flinkcdc对应瀚高数据库flink-cdc-connector代码下载地址

1、业务需求

        目前项目有主数据系统和N个业务系统，为保障“一数一源”，各业务系统表涉及到主数据系统的字段都需用主数据系统表中的字段进行实时覆盖，这里以某个业务系统的一张表举例说明：业务系统表TableB字段col_b3与主数据系统表TableA中col_a3不一致，需要用col_a3实时覆盖col_b3生成目标表TableB_new中间表，业务系统存储为国产瀚高数据库，中间库用TIDB。

2、需求分析

         业务系统已上线多年，存在历史数据和新数据，需要分两个阶段进行处理。

        第一阶段，历史数据通过TableA、TableB联合关联生成中间表TableC，其中TableC中的主数据字段已用主数据进行了更新，再将TableC实时同步到瀚高数据库中生成一个新的业务表TableB_new(TableC和TableB_new表结构一致)；

        第二阶段，历史数据处理结束后，业务系统直接割接到新表TableB_new，后期新的业务数据用TableB_new与主数据表TableA关联，实时生成中间表TableC，再用FlinkCDC，实时同步TableC数据覆盖TableB_new主数据字段。

3、具体实现

        第一阶段流程图，历史数据处理，由TableA和Tabl

相关文章：

FlinkCDC实现主数据与各业务系统数据的一致性（瀚高、TIDB）

文章末尾附有flinkcdc对应瀚高数据库flink-cdc-connector代码下载地址 1、业务需求 目前项目有主数据系统和N个业务系统，为保障“一数一源”，各业务系统表涉及到主数据系统的字段都需用主数据系统表中的字段进行实时覆盖，这里以某个业务系统的一张表举例说明：业务系统表Ta…...

编程日记 2023/11/24 7:55:53

JSP：Servlet

Servlet处理请求过程 B/S请求响应模型 Servlet介绍 JSP是Servlet的一个成功应用，其子集。 JSP页面负责前台用户界面，JavaBean负责后台数据处理，一般的Web应用采用JSPJavaBean就可以设计得很好了。 JSPServletJavaBean是MVC Servlet的核心…...

编程日记 2023/11/24 7:54:52

react中的state

没想到hooks中也有state这一说法 看下面的两个案例 1、无state变化不会执行父子函数 2、有state更改执行父子函数...

编程日记 2023/11/24 7:53:51

VR全景航拍要注意什么，航拍图片如何处理

引言: VR全景航拍技术是当前摄影和航拍领域的新潮流。它采用虚拟现实技术，通过360度全景镜头捕捉画面，可以为观众提供身临其境的视觉体验。在宣传展示中，利用VR全景航拍技术可以为品牌宣传带来更加生动、震撼的视觉效果。 一、航拍注意事项 …...

编程日记 2023/11/24 7:51:48

Spark---集群搭建

Standalone集群搭建与Spark on Yarn配置 1、Standalone Standalone集群是Spark自带的资源调度框架，支持分布式搭建，这里建议搭建Standalone节点数为3台，1台master节点，2台worker节点，这虚拟机中每台节点的内存至少给…...

编程日记 2023/11/24 7:50:46

Linux上通过SSL/TLS和start tls连接到LDAP服务器

一，大致流程。 1.首先在Linux上搭建一个LDAP服务器 2.在LDAP服务器上安装CA证书，服务器证书，因为SSL/TLS，start tls都属于机密通信，需要客户端和服务器都存在一个相同的证书认证双方的身份。3.安装phpldapadmin工具&am…...

编程日记 2023/11/24 7:49:46

【华为OD题库-034】字符串化繁为简-java

题目 给定一个输入字符串，字符串只可能由英文字母(a ~ z、A ~ Z)和左右小括号()组成。当字符里存在小括号时，小括号是成对的，可以有一个或多个小括号对，小括号对不会嵌套，小括号对内可以包含1个或多个英文字母也可以不…...

编程日记 2023/11/24 7:48:45

斯坦福大学引入FlashFFTConv来优化机器学习中长序列的FFT卷积

斯坦福大学的FlashFFTConv优化了扩展序列的快速傅里叶变换(FFT)卷积。该方法引入Monarch分解，在FLOP和I/O成本之间取得平衡，提高模型质量和效率。并且优于PyTorch和FlashAttention-v2。它可以处理更长的序列，并在人工智能应用程序中打开新的可…...

编程日记 2023/11/24 7:47:44

信息系统项目管理师-干系人管理论文提纲

快速导航 1.信息系统项目管理师-项目整合管理 2.信息系统项目管理师-项目范围管理 3.信息系统项目管理师-项目进度管理 4.信息系统项目管理师-项目成本管理 5.信息系统项目管理师-项目质量管理 6.信息系统项目管理师-项目资源管理 7.信息系统项目管理师-项目沟通管理 8.信息系…...

编程日记 2023/11/24 7:46:43

Windmill：最快的自托管开源工作流引擎

我们对 Windmill 进行了基准测试，认为它是 Airflow、Prefect 甚至 Temporal 中最快的自托管通用工作流引擎。对于 Airflow，有速度快了 10 倍！ 工作流引擎编排工作人员的有向无环图 (DAG) 中定义的作业，同时尊重依赖性。 主要优点…...

编程日记 2023/11/24 7:45:42

线性代数 - 几何原理

目录 序言向量的定义线性组合、张成空间与向量基线性变换和矩阵线性复合变换与矩阵乘法三维空间的线性变换行列式矩阵的秩和逆矩阵维度变换点乘叉乘基变换特征值和特征向量抽象向量空间 序言 欢迎阅读这篇关于线性代数的文章。在这里，我们将从一个全新的角度去探索线…...

编程日记 2023/11/24 7:44:41

火电厂电气部分设计

摘要 本文首先根据任务书上所给系统与线路及所有负荷的参数，分析负荷发展趋势。从负荷增长方面阐明了建站的必要性，然后通过对拟建变电站的概括以及出线方向来考虑，并通过对负荷资料的分析，安全，经济及可靠性方面考虑…...

编程日记 2023/11/24 7:43:40

界面组件DevExpress Reporting v23.1 - Web报表设计器功能升级

DevExpress Reporting是.NET Framework下功能完善的报表平台，它附带了易于使用的Visual Studio报表设计器和丰富的报表控件集，包括数据透视表、图表，因此您可以构建无与伦比、信息清晰的报表 界面组件DevExpress Reporting v23.1已经发布一段…...

编程日记 2023/11/24 7:42:39

小程序Canvas 2D问题解决，如安卓drawImage不执行、动态高度设置、高度1365(或4096)限制等

我的最新版小程序想在绘制时使用自定义字体，需要将旧版canvas升级到2d新版，发现了许多问题，下面记录一下并提供解决思路，仅供参考，欢迎提供新思路。 一、开发工具和安卓上drawImage不执行，绘制出来是空白&…...

编程日记 2023/11/24 7:41:38

人工智能对网络安全的影响越来越大

如果问当前IT行业最热门的话题是什么，很少有人会回答除了人工智能（AI）之外的任何话题。 在不到 12 个月的时间里，人工智能已经从一项只有 IT 专业人员才能理解的技术发展成为从小学生到作家、程序员和艺术家的每个人都使用的工具…...

编程日记 2023/11/24 7:40:36

JavaEE(SpringMVC)期末复习

文章目录 JavaEE期末复习一、单选题： JavaEE期末复习 一、单选题： 1.Spring的核⼼技术是（ A ）？ A依赖注入 B.JdbcTmplate C.声明式事务 D.资源访问 Spring的核心技术包括依赖注入（Dependency Injection&am…...

编程日记 2023/11/24 7:39:36

微服务保护 Sentinel

1.初识Sentinel 文章目录 1.初识Sentinel1.1.雪崩问题及解决方案1.1.1.雪崩问题1.1.2.超时处理1.1.3.仓壁模式1.1.4.断路器1.1.5.限流1.1.6.总结 1.2.服务保护技术对比1.3.Sentinel介绍和安装1.3.1.初识Sentinel1.3.2.安装Sentinel 1.4.微服务整合Sentinel 2.流量控制2.1.簇点链…...

编程日记 2023/11/24 7:38:35

【无标题】文本超过一行隐藏，鼠标经过显示提示框

创建一个组件专门用来出来文字的 <template><div class"tooltip-wrap"><el-tooltipref"tlp":content"text"effect"dark":disabled"!tooltipFlag":placement"placement"popper-class"tooltip…...

编程日记 2023/11/24 7:37:32

成为独立开发者有多难

首先自我介绍&#xff1a;我是一名前端开发工程师&#xff0c;7年的前端开发经验。CSDN 九段刀客_js,vue,ReactNative-CSDN博客,80多万的访问量&#xff0c;1万多的粉丝。 相信80%的程序员的终极梦想都是成为一名独立开发者&#xff0c;不用找工作有自己的产品可以有睡后收入。…...

编程日记 2023/11/24 7:36:31

C++ 正则表达式使用

C 11 以后有了正则表达式,对于处理字符串还是很方便的.由于我也再学习.所以下面的内容有可能描述的不准确,这些都是我自己代码中使用的,或者demo测试的. 首先使用正则表达式先要添加头文件 #include <regex> 然后编写自己的正则表达式: 例如我想匹配字符串中表示数字…...

编程日记 2023/11/24 7:35:30

不止于起飞降落：用ROS话题和MAVROS深度操控你的PX4仿真无人机

不止于起飞降落&#xff1a;用ROS话题和MAVROS深度操控PX4仿真无人机 当你第一次看到Gazebo里的无人机成功起飞时&#xff0c;那种成就感就像看着自己组装的航模冲上蓝天。但很快你会发现&#xff0c;反复输入commander takeoff和commander land就像只会用开关控制电灯——我们…...

编程新知 2026/4/27 11:48:34

UDS诊断实战：手把手教你用CANoe/CANalyzer发送0x23服务读取ECU内存（附报文解析）

UDS诊断实战&#xff1a;用CANoe/CANalyzer发送0x23服务读取ECU内存的完整指南 在汽车电子诊断领域&#xff0c;UDS协议已经成为行业标准&#xff0c;而0x23服务&#xff08;ReadMemoryByAddress&#xff09;则是诊断工程师日常工作中最常用的功能之一。想象一下&#xff0c;当…...

编程新知 2026/4/27 10:37:25

Angular-drag-and-drop-lists 与其他拖拽库对比分析：何时选择HTML5原生拖拽

Angular-drag-and-drop-lists 与其他拖拽库对比分析&#xff1a;何时选择HTML5原生拖拽 【免费下载链接】angular-drag-and-drop-lists Angular directives for sorting nested lists using the HTML5 Drag & Drop API 项目地址: https://gitcode.com/gh_mirrors/an/angu…...

编程新知 2026/4/27 9:54:06

InstructPix2Pix实战：三步搞定‘给他戴上眼镜’等图片编辑

InstructPix2Pix实战&#xff1a;三步搞定‘给他戴上眼镜’等图片编辑 1. 认识这位AI修图师 想象一下&#xff1a;你有一张完美的照片&#xff0c;只是主角忘了戴眼镜。传统方法需要打开Photoshop&#xff0c;小心翼翼地选择工具、调整图层&#xff0c;稍有不慎就会破坏原图。…...

编程新知 2026/4/27 5:25:02

剪映专业版教程：制作旋转音乐碟片效果

前言 今天教大家一个旋转音乐碟片效果。这种效果模拟黑胶唱片或CD在播放器中旋转的场景&#xff0c;配合歌曲播放、歌词显示和复古贴纸&#xff0c;适合音乐分享、怀旧金曲、情感短片等场景。 效果预览&#xff1a;碟片从上往下滑入播放器凹槽&#xff0c;开始旋转播放歌曲&a…...

编程新知 2026/4/27 4:23:49

树模型在回归任务中的应用与优化实践

1. 树模型在回归任务中的核心价值树模型在回归问题中的应用远比很多人想象的更加广泛。我处理过的工业界案例中&#xff0c;超过60%的表格数据回归问题最终都采用了树模型或其集成方法作为baseline。与线性回归等传统方法相比&#xff0c;树模型最显著的优势在于它能自动捕捉变…...

编程新知 2026/4/27 3:09:07

基于安卓平台的公交实时拥挤度查询系统

博主介绍&#xff1a;✌ 专注于Java,python,✌关注✌私信我✌具体的问题&#xff0c;我会尽力帮助你。一、研究目的本研究旨在设计并实现一种基于安卓平台的公交实时拥挤度查询系统以解决城市公共交通领域存在的信息不对称与资源分配效率低下问题。随着城市化进程加速及移动互联…...

编程新知 2026/4/27 1:51:03

基于Vision Transformer的垃圾图像分类模型：原理、实现与性能分析

基于Vision Transformer的垃圾图像分类模型：原理、实现与性能分析 摘要 随着全球城市化进程加速和人口持续增长，生活垃圾产量急剧攀升，传统人工分类方式已难以满足高效、准确处理废弃物的需求。据世界银行预测，全球废物产量将在2050年前达到34亿吨，超过43%的固体废物通过…...

编程新知 2026/4/27 0:10:43

CS2竞技视野盲区如何突破？Osiris跨平台游戏增强工具的技术革命

CS2竞技视野盲区如何突破&#xff1f;Osiris跨平台游戏增强工具的技术革命 【免费下载链接】Osiris Cross-platform game hack for Counter-Strike 2 with Panorama-based GUI. 项目地址: https://gitcode.com/gh_mirrors/os/Osiris 你是否曾在CS2的激烈对战中&#xff…...

编程新知 2026/4/26 23:52:25

Python调用国产大模型API实战：从DeepSeek到智谱GLM

Python调用国产大模型API实战&#xff1a;从DeepSeek到智谱GLM导语&#xff1a;2026年4月&#xff0c;国产大模型迎来爆发期。DeepSeek V4、美团LongCat-2.0、智谱GLM-5.1同日发布。本文手把手教你用Python调用这些国产大模型API&#xff0c;成本只有OpenAI的1/5。一、为什么选…...

编程新知 2026/4/26 23:36:43