【Apache Paimon】-- 15 -- 利用 paimon-flink-action 同步 postgresql 表数据
利用 Paimon Schema Evolution 核心特性同步变更的 postgresql 表结构和数据
1、背景信息
在Paimon 诞生以前，若 mysql/pg 等数据源的表结构发生变化时，我们有几种处理方式
- （1）人工消息通知，然后手动同步到数据仓库中
- （2）使用 flink 消费 DDL binlog ，然后自动更新 Hive 的外部表和内部表 schema
那现在，有了 Paimon ，我们可以利用其特性，自动识别并同步 DDL 这些变化
2、软件版本
2.1、基础环境
Mac OS 10.15.6
Apache Hive 3.1.3
Apache Hadoop 3.1.0
Apache Flink 1.19.1
Apache Paimon 0.9.0
debezium 1.9.8(依赖 kafka 3.2.0)
Postgresql 14
mysql 8.0
2.2、flink 运行依赖第三方包
flink-connector-postgres-cdc-3.1.1.jar
flink-cdc-base-3.1相关文章：
【Apache Paimon】-- 15 -- 利用 paimon-flink-action 同步 postgresql 表数据
利用 Paimon Schema Evolution 核心特性同步变更的 postgresql 表结构和数据 1、背景信息 在Paimon 诞生以前，若 mysql/pg 等数据源的表结构发生变化时，我们有几种处理方式 （1）人工消息通知，然后手动同步到数据仓库中（2）使用 flink 消费 DDL binlog ，然后自动更新 Hi…...
PostgreSql-COALESCE函数、NULLIF函数、NVL函数使用
COALESCE函数 COALESCE函数是返回参数中的第一个非null的值，它要求参数中至少有一个是非null的; select coalesce(1,null,2),coalesce(null,2,1),coalesce(null,null,null); NULLIF(ex1,ex2)函数 如果ex1与ex2相等则返回Null，不相等返回第一个表达式的值…...
springboot+vue导入ruoyi项目的框架
一、介绍 RuoYi-Vue版本，采用了前后端分离的单体架构设计软件环境：JDK、Mysql、Redis、Maven、Node技术选型: Spring Boot、Spring Security、MyBatis、Jwt、Vue3、Element-Plus官方地址: https://gitee.com/y_project/RuoYi-Vue 官方推荐的版本如下&a…...
金蛇祈福，鸿运开年！广州白云皮具城2025开市大吉！
锣鼓一响，黄金万两！2月6日大年初九，广州白云皮具城举行盛大的醒狮开市仪式！象征吉祥如意的醒狮，将好运、财运传递给全体商户和八方来客。 醒狮点睛 金鼓一响黄金万两，十头醒狮登台，董事总经理刘…...
DeepSeek本地化部署
文章目录 前言一、主机配置二、工具下载Ollama下载安装退出Ollama下载DeepSeek R1模型下载安装ChatBox实现可视化交互ChatBox设置模型 前言 最近的国产大模型DeepSeek横空出事，笔者也关注了下。网页版的免费而且推理速度很快，重量级的是它把自己详细的推…...
MoviePy，利用Python自动剪辑tiktok视频
Python剪辑视频是非常强大的，而且能流水线批量操作，可以使用MoviePy库实现。 最近看到一个Github项目，作者利用Python写了一个自动生成tiktok视频的脚本，受到热捧。 现在像抖音、tiktok上有很多流水线生产的视频，不少…...
ubuntu20.04+RTX4060Ti大模型环境安装
装显卡驱动 这里是重点，因为我是跑深度学习的，要用CUDA，所以必须得装官方的驱动，Ubuntu的附件驱动可能不太行. 进入官网https://www.nvidia.cn/geforce/drivers/，选择类型，最新版本下载。 挨个运行&#…...
2024～2025学年佛山市普通高中教学质量检测（一）【高三数学】
一、选择题 本题共8小题，每小题5分，共40分。在每小题给出的四个选项中。只有一项是符合题目要求的。 1、若 5 z 2 i 1 \frac{5}{z}2i1 z52i1，则 z z z A. 1-2i B. 12i C. 2-i D. 2i2、已知集合 A { x ∣ 1 < x < a } A\left\{…...
管理etcd的存储空间配额
如何管理etcd的存储空间配额 - 防止集群存储耗尽指南 本文基于etcd v3.4官方文档编写 为什么需要空间配额？ 在分布式系统中，etcd作为可靠的键值存储，很容易成为系统瓶颈。当遇到以下情况时： 应用程序频繁写入大量数据未及时清理…...
备战蓝桥杯-洛谷
今天打算写一些洛谷上面的题目 P10904 [蓝桥杯 2024 省 C] 挖矿 https://www.luogu.com.cn/problem/P10904 看了大佬写的题解才写出来这道题的：题解：P10904 [蓝桥杯 2024 省 C] 挖矿 - 洛谷专栏 思路： 这是一道贪心的题目，用…...
在线免费 HTML 预览导出为图片，并且支持水平切割
在线体验 作用：可以直接预览 html 的页面效果，导出为图片，支持指定切割的数量，等高水平切割。 https://houbb.github.io/tools/html-preview.html 创作背景 有时候希望给一段 html 导出为长度，或者水平切分ÿ…...
洛谷题目： P2996 [USACO10NOV] Visiting Cows G 题解
题目传送门： P2996 [USACO10NOV] Visiting Cows G - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 前言： 本题的核心问题是在一棵由奶牛（节点）和道路（边）构成的树状结构中，根据 “不能同时拜…...
告别手动操作！用Ansible user模块高效管理 Linux账户
在企业运维环境中，服务器的用户管理是一项基础但非常重要的任务。比如，当有新员工加入时，我们需要在多台服务器上为他们创建账户并分配合适的权限。而当员工离职或岗位发生变化时，我们也需要迅速禁用或删除他们的账户，…...
java 8 在 idea 无法创建 java spring boot 项目的 变通解决办法
java 8 在 idea 无法创建 java spring boot 项目的 变通解决办法 spring boot 3 官方强制 要用 java 17 ，但是 不想安装java 17的 ，但是又想 使用 spring boot ，可以这样 ： 在这个网站 https://start.aliyun.com/ 选择 你相对…...
javaEE初阶————多线程初阶(3)
大家新年快乐呀，今天是第三期啦，大家前几期的内容掌握的怎么样啦？ 1，线程死锁 1.1 构成死锁的场景 a）一个线程一把锁 这个在java中是不会发生的，因为我们之前讲的可重入机制，在其他语言中可…...
eggnog后kegg结果提取和注释
首先进入KEGG BRITE: KEGG Orthology (KO) 下载json文件 用python处理一下 import json import re import osos.chdir("C:/Users/fordata/Downloads/") with open("ko00001.json","r") as f:fj f.read()kojson json.loads(fj)with open(&qu…...
shell脚本控制——处理信号
Linux利用信号与系统中的进程进行通信。你可以通过对脚本进行编程，使其在收到特定信号时执行某些命令，从而控制shell脚本的操作。 1.重温Linux信号 Linux系统和应用程序可以产生超过30个信号。下表列出了在shell脚本编程时会遇到的最常见的Linux系统信…...
Doris更新某一列数据完整教程
在Doris，要更新数据，并不像mysql等关系型数据库那样方便，可以用update set来直接更新某个列。在Doris只能进行有限的更新，官方文档如下： UPDATE - Apache Doris 1、使用Doris自带的Update功能 描述 该语句是为进行对数据进行更新的操作，UPDATE 语句目前仅支持 UNIQUE…...
VIVADO生成DCP和EDF指南
VIVADO生成DCP和EDF 文章目录 VIVADO生成DCP和EDF前言一、DCP封装二、EDF封装 前言 详细步骤就不贴图了，网上一大堆 在Vivado中，常用的三种封装形式有三种： ● IP ● edif ● dcp 在下文之前，先看几个概念 out_of_context&…...
Python中字节顺序、大小与对齐方式：深入理解计算机内存的底层奥秘
在计算机科学的世界里，理解数据的存储方式是每个程序员必备的技能。无论是处理网络通信、文件读写，还是进行底层系统编程，字节顺序（Endianness）、数据大小（Size）和对齐方式（Alignmen…...
远程收款好用服务商
在数字化支付日益普及的今天，远程收款成为许多商家和创业者的重要需求。然而，由于各种风控限制，微信支付、支付宝等主流支付平台在异地收款时常常出现异常提示或风险拦截，给用户带来了不少困扰。本文将对比分析几家提供远程收款服…...
为什么越来越多的STM32项目转向HAL库？从寄存器封装层次看开发效率提升
为什么STM32开发者纷纷拥抱HAL库？深度解析现代嵌入式开发效率革命 在嵌入式开发领域，STM32系列单片机凭借其出色的性能和丰富的生态，已成为工程师们的首选平台。然而，随着产品迭代速度的不断加快，开发效率成为衡量技术…...
HFSS19 实战解析：SMA接头馈电的微带分支滤波器仿真
1. SMA接头与微带分支滤波器设计基础 作为一名射频工程师，设计紧凑型滤波器是日常工作的重要部分。这次我们要用HFSS19仿真一个SMA接头馈电的微带分支带通滤波器。先说说为什么选择这个组合：SMA接头是射频电路中最常见的连接器之一，工作频率可…...
AnimateDiff保姆级教学：负面提示词详解，轻松提升视频画质
AnimateDiff保姆级教学：负面提示词详解，轻松提升视频画质 你是否遇到过这样的困扰：用AnimateDiff生成的视频创意很棒，但画面总有些小瑕疵？比如人物皮肤上不自然的纹理、背景里莫名其妙的噪点，或是某些区域…...
用STM32F411和CLion从零搭建三轮全向小车：PID调参、VOFA+上位机调试全记录
用STM32F411和CLion从零搭建三轮全向小车：PID调参、VOFA上位机调试全记录 第一次接触全向轮机器人时，我被它灵活的运动方式深深吸引——不同于传统轮式机器人，它能实现任意方向的平移和旋转。这种独特的移动能力在狭小空间作业、仓储物流等领…...
Ostrakon-VL-8B开发资源：GitHub优秀开源项目与工具推荐
Ostrakon-VL-8B开发资源：GitHub优秀开源项目与工具推荐 如果你正在研究Ostrakon-VL-8B这个多模态大模型，想用它做点实际的东西，比如开发个智能点餐助手或者商品识别工具，那你来对地方了。自己从头开始搞，从环境搭建到…...
Blender 5.0 插件生态实战指南：从建模到渲染的流程效率革命
1. Blender 5.0插件生态的核心价值 如果你用过Blender，一定遇到过这样的场景：建模时反复手动倒角、UV展开时对着乱七八糟的贴图发呆、渲染时发现场景灯光怎么调都不自然。这些问题在Blender 5.0的插件生态中都能找到优雅的解决方案。 我做了10年三维设计…...
3分钟零基础入门：GPU加速MediaPipe TouchDesigner插件完整指南
3分钟零基础入门：GPU加速MediaPipe TouchDesigner插件完整指南 【免费下载链接】mediapipe-touchdesigner GPU Accelerated MediaPipe Plugin for TouchDesigner 项目地址: https://gitcode.com/gh_mirrors/me/mediapipe-touchdesigner 你是否曾想过在TouchD…...
Qwen3-32B快速问答体验：128K长文本处理，效果实测
Qwen3-32B快速问答体验：128K长文本处理，效果实测 1. 为什么选择Qwen3-32B进行长文本处理 在当今信息爆炸的时代，处理长文本内容已成为许多企业和研究机构的刚需。Qwen3-32B作为一款320亿参数的大型语言模型，其128K的超长上下文处…...
别再让WIFI信号‘水土不服’！Android 13高通平台国家码配置保姆级教程
Android 13高通平台WIFI国家码配置实战指南 当你的设备跨越国界，WIFI信号却开始"水土不服"——连接不稳定、速度骤降甚至完全无法使用。这背后往往不是硬件问题，而是国家码配置这个隐形门槛在作祟。作为深耕Android系统开发多年的技术专家&am…...