Flink非对齐checkpoint原理（Flink Unaligned Checkpoint）
Flink非对齐checkpoint原理（Flink Unaligned Checkpoint）
为什么提出Unaligned Checkpoint（UC）？
因为反压严重时会导致Checkpoint失败，可能导致如下问题
- 恢复时间长-服务效率低
- 非幂等和非事务会导致数据重复
- 持续反压导致任务加入死循环（可能导致数据丢失，例如超过kafka的过期时间无法重置offset）
UC的原理
UC有两个阶段（UC主要是快速超越buffer data）
-
第一阶段：UC同步阶段（任意一个barrier加入缓冲区即开始UC，barrier 直接超越所有input和outputBuffer（算子暂停处理数据））
- barrier超越
- 对buffer进行引用
- 调用算子snapshot state
- 引用state
-
第二阶段：异步阶段（等待所有input channel的barrier都到达）
- 写算子的state（同步阶段引用的state）
- 同步阶段引用的input&output buffer
- 写其它inputChannel Barrier之前的buffer（如下图中蓝色f和G）
- 汇报给jobmanager
UC已进行的优化
Task原理
Task处理逻辑如下，线程可能卡在结果输出影响UC
优化一
优化：判断有空闲output buffer再处理数据
需要多个buffer时还是会卡住，比如flatmap操作
优化二
优化：使用OverDraft Buffer透支Buffer，一旦透支buffer则不能处理数据（1.16已有透支Buffer功能）
其它优化
优化：Legacy Source（Legacy Source 是 Flink 中的一种数据源，它是在 Flink 1.0 版本中引入的，并在后续版本中被视为过时的来源）兼容UC
小结
- 等待空闲Buffer+引入透支overdraft Buffer解决卡顿问题
- Legacy source兼容等待空闲Buffer逻辑
UC风险
- 序列化不兼容，无法重启
- 算子连接变化UC无法恢复
- Data Buffer会写大量小文件，导致DataNode压力过大
- 使用Task共享文件（execution.checkpointing.channel-state.number-of-tasks-share-file）
- 会出现死锁或内存泄漏
UC&AC对比
优化：在AC超时自动切换到UC（1.11版本开始）
配置方法（1.11以后版本）
execution.checkpointing.aligned-checkpoint.timeout: 10m
execution.checkpointing.unaligned-checkpoint.enabled: true
参考文档
https://www.bilibili.com/video/BV1tR4y1y7gQ/?spm_id_from=…search-card.all.click&vd_source=a52a4a5afaf8d47cb48d828c7e22e5f1
相关文章：
Flink非对齐checkpoint原理（Flink Unaligned Checkpoint）
Flink非对齐checkpoint原理（Flink Unaligned Checkpoint） 为什么提出Unaligned Checkpoint（UC）？ 因为反压严重时会导致Checkpoint失败，可能导致如下问题 恢复时间长-服务效率低非幂等和非事务会导致数据…...
Linux crontab命令：循环执行定时任务（详解）
crontab 命令的基本格式如下： [rootlocalhost ~]# crontab [选项] [file] file 指的是命令文件的名字，表示将 file 作为 crontab 的任务列表文件并载入 crontab，若在命令行中未指定文件名，则此命令将接受标准输入（键盘…...
Linux系统jenkins+newman+postman持续集成环境搭建
1、首先安装nodejs 下载nodejs压缩包，下载地址：nodejs官网下载 建议不用下载最新的，我这里用的是推荐的v12.18版本 下载和解压命令 wget https://nodejs.org/dist/v12.18.3/node-v12.18.3-linux-x64.tar.xz解压安装包（记得没有z&…...
flutter：Future、Stream、RxDart
Future 在Flutter中，Future是Dart语言中的一个类，用于表示异步操作的结果。与Future相关的的重要关键字包括async和await。 async：这个关键字用于在方法或函数声明前添加，以指示该方法为异步方法。在异步方法中，执行…...
Jenkins安装、配置、自动化构建前（nodejs）后端（maven）项目
文章目录 0、Jenkins卸载安装1、Jenkins配置2、后台启动脚本startup.sh3、后台关闭脚本stop.sh4、实时数据启动脚本startup.sh5、实时数据关闭脚本stop.sh6、jenkins制定完任务后，点击立即构建，控制台报错（...无法生成父级目录）7、…...
【网络基础进阶之路】设计网络划分的实战详解
PS：本要求基于华为的eNSP模拟软件进行 具体要求： 完成步骤： 1、对192.168.1.0/24进行子网划分 2、对每一个路由器进行IP的配置 3、开始静态路由的书写，在写之前，我们可以先对每一个路由器写一条通向右边的缺省路由&…...
艺术二维码 API 申请及使用
艺术二维码是一种创新的技术产品，它将二维码与美观的背景图像相结合，创造出既实用又美观的作品。它们不仅具有传统二维码的功能性，能被智能设备快速扫描识别，还加入了艺术元素，增强了视觉吸引力和品牌识别度。其中&…...
JVM GC ROOT分析
GC root原理：通过对枚举GCroot对象做引用可达性分析，即从GC root对象开始，向下搜索，形成的路径称之为 引用链。如果一个对象到GC roots对象没有任何引用，没有形成引用链，那么该对象等待GC回收，换而言之，如果减少内存泄漏，也就是切断引用链,常见的GCRoot对象如下： 1、…...
记一道有趣的sql题
有一张运单表：dwd_biz_waybill_td，该表的主键是way_bill_id，并且有如下字段： way_bill_id（运单表主键），shiping_date（下单日期，时间格式为yyyy-MM-dd）&#…...
C高级【day2】
思维导图： 递归实现，输入一个数，输出这个数的每一位： #include<myhead.h>//递归函数 void fun(int num){//num没值不再递归if(0 num){return;}//输出数的最后一位printf("%d\t", num%10);//递归fun(num/10);}…...
认识Webpack插件Plugin；CleanWebpackPlugin插件；HtmlWebpackPlugin；DefinePlugin；Mode模式
目录 1_认识插件Plugin2_CleanWebpackPlugin3_HtmlWebpackPlugin4_DefinePlugin4.1_介绍4.2_DefinePlugin的使用 5_Mode模式 1_认识插件Plugin Webpack的另一个核心是Plugin，官方有这样一段对Plugin的描述： While loaders are used to transform certai…...
Redis 6.0的新特性：多线程、客户端缓存与安全
2020年5月份，6.0版本。 面向网络处理的多IO线程可以提高网络请求处理的速度，而客户端缓存可以让应用直接在客户端本地读取数据，这两个特性可以提升Redis的性能。 细粒度权限控制让Redis可以按照命令粒度控制不同用户的访问权限，…...
【雕爷学编程】MicroPython动手做（37）——驱动LCD与图文显示3
MixPY——让爱(AI)触手可及 MixPY布局 主控芯片：K210（64位双核带硬件FPU和卷积加速器的 RISC-V CPU） 显示屏：LCD_2.8寸 320*240分辨率，支持电阻触摸 摄像头：OV2640，200W像素 扬声器&#…...
自然语言处理从入门到应用——LangChain：提示（Prompts）-[提示模板：序列化提示信息]
分类目录：《自然语言处理从入门到应用》总目录 将提示信息存储为文件而不是Python代码通常更好。这样可以方便共享、存储和版本控制提示信息。本文介绍了如何在LangChain中进行提示信息的序列化，包括不同类型的提示信息和不同的序列化选项。 在高层次上…...
【LinearAlgebra】Chapter 12 - Linear Algebra in Probability Statistics
文章目录 Chapter 12 - Linear Algebra in Probability & StatisticsVariance (around athe mean) 方差（接近均值）Continuous Probability Distributions 连续概率分布Mean and Variance of p ( x ) p(x) p(x) p ( x ) p(x) p(x) 的均值和方差Norm…...
webshell详解
Webshell详解 一、 Webshell 介绍二 、 基础常见webshell案例 一、 Webshell 介绍 概念 webshell就是以asp、php、jsp或者cgi等网页文件形式存在的一种命令执行环境，也可以将其称做为一种网页后门。黑客在入侵了一个网站后，通常会将asp或php后门文件与…...
数据结构 | 搜索和排序——搜索
目录 一、顺序搜索 二、分析顺序搜索算法 三、二分搜索 四、分析二分搜索算法 五、散列 5.1 散列函数 5.2 处理冲突 5.3 实现映射抽象数据类型 搜索是指从元素集合中找到某个特定元素的算法过程。搜索过程通常返回True或False，分别表示元素是否存在。有时&a…...
【python】对象
对象 初识对象成员方法类和对象构造方法其它内置方法封装继承类型注释多态综合案例二级目录三级目录 初识对象 设计表格-生产表格-填写表格 对应于程序中：设计类-创建对象-对象属性赋值 class Student:nameNonegenderNone # 基于类创建对象 stu_1Student() stu_2S…...
k8s概念-污点与容忍
k8s 集群中可能管理着非常庞大的服务器，这些服务器可能是各种各样不同类型的，比如机房、地理位置、配置等，有些是计算型节点，有些是存储型节点，此时我们希望能更好的将 pod 调度到与之需求更匹配的节点上。 此时就需要…...
“从零开始学习Spring Boot：构建高效、可扩展的Java应用程序“
标题：从零开始学习Spring Boot：构建高效、可扩展的Java应用程序 简介： Spring Boot是一种用于简化Java应用程序开发的开源框架，它提供了一种快速、高效的方式来构建可扩展的应用程序。本文将介绍如何从零开始学习Spring Boot&…...
Android Wi-Fi 连接失败日志分析
1. Android wifi 关键日志总结 (1) Wi-Fi 断开 (CTRL-EVENT-DISCONNECTED reason3) 日志相关部分： 06-05 10:48:40.987 943 943 I wpa_supplicant: wlan0: CTRL-EVENT-DISCONNECTED bssid44:9b:c1:57:a8:90 reason3 locally_generated1解析： CTR…...
Python：操作 Excel 折叠
💖亲爱的技术爱好者们，热烈欢迎来到 Kant2048 的博客！我是 Thomas Kant，很开心能在CSDN上与你们相遇～💖 本博客的精华专栏： 【自动化测试】 【测试经验】 【人工智能】 【Python】 Python 操作 Excel 系列 读取单元格数据按行写入设置行高和列宽自动调整行高和列宽水平…...
PPT|230页| 制造集团企业供应链端到端的数字化解决方案：从需求到结算的全链路业务闭环构建
制造业采购供应链管理是企业运营的核心环节，供应链协同管理在供应链上下游企业之间建立紧密的合作关系，通过信息共享、资源整合、业务协同等方式，实现供应链的全面管理和优化，提高供应链的效率和透明度，降低供应链的成…...
解决Ubuntu22.04 VMware失败的问题 ubuntu入门之二十八
现象1 打开VMware失败 Ubuntu升级之后打开VMware上报需要安装vmmon和vmnet，点击确认后如下提示 最终上报fail 解决方法 内核升级导致，需要在新内核下重新下载编译安装 查看版本 $ vmware -v VMware Workstation 17.5.1 build-23298084$ lsb_release…...
STM32标准库-DMA直接存储器存取
文章目录 一、DMA1.1简介1.2存储器映像1.3DMA框图1.4DMA基本结构1.5DMA请求1.6数据宽度与对齐1.7数据转运DMA1.8ADC扫描模式DMA 二、数据转运DMA2.1接线图2.2代码2.3相关API 一、DMA 1.1简介 DMA（Direct Memory Access）直接存储器存取 DMA可以提供外设…...
【项目实战】通过多模态+LangGraph实现PPT生成助手
PPT自动生成系统 基于LangGraph的PPT自动生成系统，可以将Markdown文档自动转换为PPT演示文稿。 功能特点 Markdown解析：自动解析Markdown文档结构PPT模板分析：分析PPT模板的布局和风格智能布局决策：匹配内容与合适的PPT布局自动…...
unix/linux，sudo，其发展历程详细时间线、由来、历史背景
sudo 的诞生和演化，本身就是一部 Unix/Linux 系统管理哲学变迁的微缩史。来，让我们拨开时间的迷雾，一同探寻 sudo 那波澜壮阔（也颇为实用主义）的发展历程。 历史背景：su的时代与困境 ( 20 世纪 70 年代 - 80 年代初) 在 sudo 出现之前，Unix 系统管理员和需要特权操作的…...
力扣-35.搜索插入位置
题目描述 给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。 请必须使用时间复杂度为 O(log n) 的算法。 class Solution {public int searchInsert(int[] nums, …...
Redis的发布订阅模式与专业的 MQ（如 Kafka, RabbitMQ）相比，优缺点是什么？适用于哪些场景？
Redis 的发布订阅（Pub/Sub）模式与专业的 MQ（Message Queue）如 Kafka、RabbitMQ 进行比较，核心的权衡点在于：简单与速度 vs. 可靠与功能。 下面我们详细展开对比。 Redis Pub/Sub 的核心特点 它是一个发后…...
技术栈RabbitMq的介绍和使用
目录 1. 什么是消息队列？2. 消息队列的优点3. RabbitMQ 消息队列概述4. RabbitMQ 安装5. Exchange 四种类型5.1 direct 精准匹配5.2 fanout 广播5.3 topic 正则匹配 6. RabbitMQ 队列模式6.1 简单队列模式6.2 工作队列模式6.3 发布/订阅模式6.4 路由模式6.5 主题模式…...