Apache Doris Flink Connector 24.0.0 版本正式发布
亲爱的社区伙伴们，Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Flink 1.20 的支持，并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。此外，整库同步所依赖的 FlinkCDC，也需升级至 3.1.x 版本，以便更好的应用。
下载地址：https://github.com/apache/doris-flink-connector/releases/tag/24.0.0
行为变更
- 将整库同步所依赖的 FlinkCDC 版本升级至 FlinkCDC 3.1.x。由于 FlinkCDC 3.1 及后续版本已捐赠给 Apache 基金会，并与 FlinkCDC 2.4 版本不兼容，因此在升级 Doris Flink Connector 时，已运行的整库同步作业无法从之前的状态重启，需要在将 Flink CDC 升级到 3.1 版本后进行一次无状态重启。具体可参考 Apache Flink CDC 3.1.0 发布公告 兼容性章节。
- 考虑到上述不兼容性以及与其他 Connector（如 Spark 和 Kafka）版本的一致性，我们将 Connector 版本号更改为 24.x 系列。具体可参考： [DISCUSS] About the next version change of Connector
新增功能
- 支持 Flink 1.20
- 支持 DB2 的数据库同步
- CDC SchemaChange 支持使用 JSQLParser 框架解析 DDL
- 支持 Stream Load GZ 压缩导入
- 支持通过 Arrow Flight SQL 读取 Doris 中数据
改进提升
- 升级 FlinkCDC 版本到 3.1.1
- 支持 DB2/Postgres/SQLServer 进行数据同步的 JDBC 参数设置
- 优化攒批写入模式
- 优化部分 CDC 同步的逻辑
- MySQL 整库同步支持 Integer 类型
Bug 修复
- 修复 Map 子类型为 Date/Datetime 类型时的读取序列化问题
- 修复 FlinkSQL 投影下推的 Bug
- 修复 MongoDB 同步 Decimal 类型的问题
- 兼容 Doris 修复 arrow 读取 timestamp 类型的问题
- CDC 整库同步修复 delete 事件不生效的问题
- 修复 Schema Change 默认值空时转换逻辑错误的问题
致谢
在此向参与版本设计、开发、测试、讨论的社区贡献者们表示感谢，他们分别是：
@bingquanzhao
@DongLiang-0
@JasonLeeCoding
@JNSimba@MaoMiMao
@qg-lin@tmc9031
@vinlee19
相关文章：
Apache Doris Flink Connector 24.0.0 版本正式发布
亲爱的社区伙伴们，Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Flink 1.20 的支持，并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。此外，整库同步所依赖的 FlinkCDC，也需升级…...
语音控制小夜灯的实现方案介绍
语音控制小夜灯的实现方案组成部分 语音控制小夜灯的实现方案主要包括硬件组装和软件编程两个部分。 硬件组装涉及将语音声控模块、灯泡、USB连接线等组件正确连接。首先，使用螺丝刀和螺丝将四个隔离柱固定在底板四个拐角处，同时将语音声控模…...
万龙觉醒免费辅助：VMOS云手机辅助巴克尔阵容搭配攻略！
《万龙觉醒》是一款策略类手游，选择合适的英雄阵容搭配能够极大提升战斗效果。而借助VMOS云手机的辅助功能，玩家可以更加轻松地管理游戏进程，优化操作体验。以下是VMOS云手机的三大核心功能，帮助你更好地掌控《万龙觉醒》战局。 V…...
【English】长难句翻译
这里写目录标题 技巧知识点1. 定语从句 和 状从区别2. 定从 修饰词3. who 和 whom 区别4. 除了定从、状从，还有啥？5. 怎么在长难句快速定位到主谓宾而不被各种从句中的动词影响判断6. 没有,的那种一大堆从句连起来的长难句怎么办7. 时态怎么放在翻译里总结技巧 知识点 1. 定语…...
npm login 或者 npm publish 超时timeout
场景：空闲时间想自己尝试下npm发布包，毕竟这东西可以不用，但不能不会 步骤很简单 1.npm login 2.npm publish 这里有个坑。。。因为想发布到npm上，所以这里的镜像源要换回https://registry.npmjs.org，不能使用淘宝镜像…...
Python的openpyxl使用記錄（包含合併單元格，圖片下載和圖片插入，設置邊框，設置背景顏色）
背景 因為公司最近要求我做一份自動化導出報告，內容有點多，為了省事，我選用了python，後面估計要自建在線辦公系統，這個後續再講 需要的庫 openpyxl 和Pandas 開始 Execl導入 from openpyxl import load_workbook …...
基于springboot+vue实现的在线商城系统
系统主要功能： （1）商品管理模块：实现了商品的基本信息录入、图片上传、状态管理等相关功能。 （2）商品分类模块：实现了分类的增删改查、分类层级管理、商品分类的关联等功能。 （3&…...
fastjson漏洞--以运维角度进行修复
文章目录 前言一、漏洞详情二、修复过程1.通过脚本方式修复1.1.脚本修复原理1.2.脚本演示1.3.执行脚本 2. 手动升级包2.1.修复步骤2.2.遇到的问题 前言 该漏洞是三个月前由安全团队扫描出来的，主要影响是: FastJSON是阿里巴巴的开源JSON解析库，它可以解…...
82页精品PPT | 构建数字化工厂的智能制造-数字化智能制造
新模式、新技术 、新制造的挑战 中国制造业正处于转型升级的关键时期，面临着多方面的挑战。创新能力不足导致产品同质化严重，缺乏核心竞争力；质量管理水平参差不齐，影响着产品的可靠性和安全性；品牌价值不高ÿ…...
Python的10个日期和时间操作的实用技巧
在Python中，处理日期和时间是一项常见且重要的任务。datetime模块提供了丰富的功能来执行这些操作。以下是10个日期和时间操作的实用技巧及其代码演示： 1. 获取当前日期和时间 from datetime import datetimenow datetime.now() print(f"当前日期…...
关于大模型在产品开发中所面临的问题，利用大模型技术解决很简单！
“ 具体问题具体分析，大模型技术没有统一的解决方案 ” 有人说2024年是大模型应用的元年，而大模型在未来的发展潜力毋庸置疑，这也就意味着人工智能技术是下一个风口，因此各种各样基于大模型技术的创业公司如雨后春笋般涌现。 从…...
SpringBoot2：请求处理原理分析-利用内容协商功能实现接口的两种数据格式（JSON、XML）
文章目录 一、功能说明二、案例实现1、基于请求头实现2、基于请求参数实现 一、功能说明 我们知道，用ResponseBody注解标注的接口，默认返回给页面的是json数据。 其实，也可以返回xml结构的数据给页面。 这一篇就来实现一下这个小功能。 二、…...
BUUCTF 之Basic 1(BUU LFI COURSE 1)
1、启动靶场，会生成一个URL地址，打开给的URL地址，会看到一个如下界面 可以看到是一个PHP文件，非常的简单，就几行代码，判断一下是否有一个GET的参数，并且是file名字，如果是并且加载&a…...
Android 蓝牙三方和动态权限三方
记录一下最近用到的简单的框架 蓝牙 FastBle：Android BLE通信库的介绍与高级用法 - 简书 https://github.com/Jasonchenlijian/FastBle 动态权限: GitHub - googlesamples/easypermissions: Simplify Android M system permissions 位置权限举例,arrayOf中多个…...
点餐|基于java的电子点餐系统小程序(源码+数据库+文档)
电子点餐系统|小程序|在线点餐 目录 基于java的电子点餐系统小程序 一、前言 二、系统设计 三、系统功能设计 系统功能实现 前台： 后台： 四、数据库设计 五、核心代码 六、论文参考 七、最新计算机毕设选题推荐 八、源码获取： …...
18、Gemini-Pentest-v1
难度 中 （个人认为是高） 目标 root权限 一个flag 靶机启动环境为VMware kali 192.168.152.56 靶机 192.168.152.64 信息收集 突破点大概就是web端了 web测试 访问主页直接就是目录遍历 不过进去后是一个正常的网页 简单的试了几个弱口令无果继续信息…...
MIT6.824 课程-MapReduce
MapReduce：在大型集群上简化数据处理 概要 MapReduce是一种编程模型，它是一种用于处理和生成大型数据集的实现。用户通过指定一个用来处理键值对(Key/Value)的map函数来生成一个中间键值对集合。然后，再指定一个reduce函数， 它用…...
7个 C# 高阶用法详解：从基础到实战
C# 高阶用法详解：从基础到实战 在实际开发中，C# 提供了很多高级特性和设计模式，帮助我们写出更加简洁、灵活和高效的代码。本篇将深入探讨 C# 中的高阶用法，通过丰富的示例，带你掌握这些工具的精髓。 1. LINQ&#x…...
[数据集][目标检测]乱堆物料检测数据集VOC+YOLO格式1143张1类别
数据集格式：Pascal VOC格式YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：1143 标注数量(xml文件个数)：1143 标注数量(txt文件个数)：1143 标注…...
【SQL】百题计划：SQL对于空值的比较判断。
[SQL]百题计划 方法： 使用 <> (!) 和 IS NULL [Accepted] 想法 有的人也许会非常直观地想到如下解法。 SELECT name FROM customer WHERE referee_Id <> 2;然而，这个查询只会返回一个结果：Zach，尽管事实上有 4 个…...
Linux应用开发之网络套接字编程(实例篇)
服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …...
P3 QT项目----记事本（3.8）
3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...
ffmpeg（四）：滤镜命令
FFmpeg 的滤镜命令是用于音视频处理中的强大工具，可以完成剪裁、缩放、加水印、调色、合成、旋转、模糊、叠加字幕等复杂的操作。其核心语法格式一般如下： ffmpeg -i input.mp4 -vf "滤镜参数" output.mp4或者带音频滤镜： ffmpeg…...
Cinnamon修改面板小工具图标
Cinnamon开始菜单-CSDN博客 设置模块都是做好的，比GNOME简单得多！ 在 applet.js 里增加 const Settings imports.ui.settings;this.settings new Settings.AppletSettings(this, HTYMenusonichy, instance_id); this.settings.bind(menu-icon, menu…...
DeepSeek 技术赋能无人农场协同作业：用 AI 重构农田管理 “神经网”
目录 一、引言二、DeepSeek 技术大揭秘2.1 核心架构解析2.2 关键技术剖析 三、智能农业无人农场协同作业现状3.1 发展现状概述3.2 协同作业模式介绍 四、DeepSeek 的 “农场奇妙游”4.1 数据处理与分析4.2 作物生长监测与预测4.3 病虫害防治4.4 农机协同作业调度 五、实际案例大…...
使用Matplotlib创建炫酷的3D散点图：数据可视化的新维度
文章目录 基础实现代码代码解析进阶技巧1. 自定义点的大小和颜色2. 添加图例和样式美化3. 真实数据应用示例实用技巧与注意事项完整示例（带样式）应用场景在数据科学和可视化领域，三维图形能为我们提供更丰富的数据洞察。本文将手把手教你如何使用Python的Matplotlib库创建引…...
SiFli 52把Imagie图片，Font字体资源放在指定位置，编译成指定img.bin和font.bin的问题
分区配置 (ptab.json) img 属性介绍： img 属性指定分区存放的 image 名称，指定的 image 名称必须是当前工程生成的 binary 。 如果 binary 有多个文件，则以 proj_name:binary_name 格式指定文件名， proj_name 为工程 名&…...
Python基于历史模拟方法实现投资组合风险管理的VaR与ES模型项目实战
说明：这是一个机器学习实战项目（附带数据代码文档），如需数据代码文档可以直接到文章最后关注获取。 1.项目背景 在金融市场日益复杂和波动加剧的背景下，风险管理成为金融机构和个人投资者关注的核心议题之一。VaR&…...
LangChain知识库管理后端接口：数据库操作详解—— 构建本地知识库系统的基础《二》
这段 Python 代码是一个完整的 知识库数据库操作模块，用于对本地知识库系统中的知识库进行增删改查（CRUD）操作。它基于 SQLAlchemy ORM 框架 和一个自定义的装饰器 with_session 实现数据库会话管理。 📘 一、整体功能概述 该模块…...
【无标题】路径问题的革命性重构：基于二维拓扑收缩色动力学模型的零点隧穿理论
路径问题的革命性重构：基于二维拓扑收缩色动力学模型的零点隧穿理论 一、传统路径模型的根本缺陷 在经典正方形路径问题中（图1）： mermaid graph LR A((A)) --- B((B)) B --- C((C)) C --- D((D)) D --- A A -.- C[无直接路径] B -…...