Flink非对齐checkpoint原理（Flink Unaligned Checkpoint）
Flink非对齐checkpoint原理（Flink Unaligned Checkpoint）
为什么提出Unaligned Checkpoint（UC）？
因为反压严重时会导致Checkpoint失败，可能导致如下问题
- 恢复时间长-服务效率低
- 非幂等和非事务会导致数据重复
- 持续反压导致任务加入死循环（可能导致数据丢失，例如超过kafka的过期时间无法重置offset）
UC的原理
UC有两个阶段（UC主要是快速超越buffer data）
-
第一阶段：UC同步阶段（任意一个barrier加入缓冲区即开始UC，barrier 直接超越所有input和outputBuffer（算子暂停处理数据））
- barrier超越
- 对buffer进行引用
- 调用算子snapshot state
- 引用state
-
第二阶段：异步阶段（等待所有input channel的barrier都到达）
- 写算子的state（同步阶段引用的state）
- 同步阶段引用的input&output buffer
- 写其它inputChannel Barrier之前的buffer（如下图中蓝色f和G）
- 汇报给jobmanager
UC已进行的优化
Task原理
Task处理逻辑如下，线程可能卡在结果输出影响UC
优化一
优化：判断有空闲output buffer再处理数据
需要多个buffer时还是会卡住，比如flatmap操作
优化二
优化：使用OverDraft Buffer透支Buffer，一旦透支buffer则不能处理数据（1.16已有透支Buffer功能）
其它优化
优化：Legacy Source（Legacy Source 是 Flink 中的一种数据源，它是在 Flink 1.0 版本中引入的，并在后续版本中被视为过时的来源）兼容UC
小结
- 等待空闲Buffer+引入透支overdraft Buffer解决卡顿问题
- Legacy source兼容等待空闲Buffer逻辑
UC风险
- 序列化不兼容，无法重启
- 算子连接变化UC无法恢复
- Data Buffer会写大量小文件，导致DataNode压力过大
- 使用Task共享文件（execution.checkpointing.channel-state.number-of-tasks-share-file）
- 会出现死锁或内存泄漏
UC&AC对比
优化：在AC超时自动切换到UC（1.11版本开始）
配置方法（1.11以后版本）
execution.checkpointing.aligned-checkpoint.timeout: 10m
execution.checkpointing.unaligned-checkpoint.enabled: true
参考文档
https://www.bilibili.com/video/BV1tR4y1y7gQ/?spm_id_from=…search-card.all.click&vd_source=a52a4a5afaf8d47cb48d828c7e22e5f1
相关文章：
Flink非对齐checkpoint原理（Flink Unaligned Checkpoint）
Flink非对齐checkpoint原理（Flink Unaligned Checkpoint） 为什么提出Unaligned Checkpoint（UC）？ 因为反压严重时会导致Checkpoint失败，可能导致如下问题 恢复时间长-服务效率低非幂等和非事务会导致数据…...
Linux crontab命令：循环执行定时任务（详解）
crontab 命令的基本格式如下： [rootlocalhost ~]# crontab [选项] [file] file 指的是命令文件的名字，表示将 file 作为 crontab 的任务列表文件并载入 crontab，若在命令行中未指定文件名，则此命令将接受标准输入（键盘…...
Linux系统jenkins+newman+postman持续集成环境搭建
1、首先安装nodejs 下载nodejs压缩包，下载地址：nodejs官网下载 建议不用下载最新的，我这里用的是推荐的v12.18版本 下载和解压命令 wget https://nodejs.org/dist/v12.18.3/node-v12.18.3-linux-x64.tar.xz解压安装包（记得没有z&…...
flutter：Future、Stream、RxDart
Future 在Flutter中，Future是Dart语言中的一个类，用于表示异步操作的结果。与Future相关的的重要关键字包括async和await。 async：这个关键字用于在方法或函数声明前添加，以指示该方法为异步方法。在异步方法中，执行…...
Jenkins安装、配置、自动化构建前（nodejs）后端（maven）项目
文章目录 0、Jenkins卸载安装1、Jenkins配置2、后台启动脚本startup.sh3、后台关闭脚本stop.sh4、实时数据启动脚本startup.sh5、实时数据关闭脚本stop.sh6、jenkins制定完任务后，点击立即构建，控制台报错（...无法生成父级目录）7、…...
【网络基础进阶之路】设计网络划分的实战详解
PS：本要求基于华为的eNSP模拟软件进行 具体要求： 完成步骤： 1、对192.168.1.0/24进行子网划分 2、对每一个路由器进行IP的配置 3、开始静态路由的书写，在写之前，我们可以先对每一个路由器写一条通向右边的缺省路由&…...
艺术二维码 API 申请及使用
艺术二维码是一种创新的技术产品，它将二维码与美观的背景图像相结合，创造出既实用又美观的作品。它们不仅具有传统二维码的功能性，能被智能设备快速扫描识别，还加入了艺术元素，增强了视觉吸引力和品牌识别度。其中&…...
JVM GC ROOT分析
GC root原理：通过对枚举GCroot对象做引用可达性分析，即从GC root对象开始，向下搜索，形成的路径称之为 引用链。如果一个对象到GC roots对象没有任何引用，没有形成引用链，那么该对象等待GC回收，换而言之，如果减少内存泄漏，也就是切断引用链,常见的GCRoot对象如下： 1、…...
记一道有趣的sql题
有一张运单表：dwd_biz_waybill_td，该表的主键是way_bill_id，并且有如下字段： way_bill_id（运单表主键），shiping_date（下单日期，时间格式为yyyy-MM-dd）&#…...
C高级【day2】
思维导图： 递归实现，输入一个数，输出这个数的每一位： #include<myhead.h>//递归函数 void fun(int num){//num没值不再递归if(0 num){return;}//输出数的最后一位printf("%d\t", num%10);//递归fun(num/10);}…...
认识Webpack插件Plugin；CleanWebpackPlugin插件；HtmlWebpackPlugin；DefinePlugin；Mode模式
目录 1_认识插件Plugin2_CleanWebpackPlugin3_HtmlWebpackPlugin4_DefinePlugin4.1_介绍4.2_DefinePlugin的使用 5_Mode模式 1_认识插件Plugin Webpack的另一个核心是Plugin，官方有这样一段对Plugin的描述： While loaders are used to transform certai…...
Redis 6.0的新特性：多线程、客户端缓存与安全
2020年5月份，6.0版本。 面向网络处理的多IO线程可以提高网络请求处理的速度，而客户端缓存可以让应用直接在客户端本地读取数据，这两个特性可以提升Redis的性能。 细粒度权限控制让Redis可以按照命令粒度控制不同用户的访问权限，…...
【雕爷学编程】MicroPython动手做（37）——驱动LCD与图文显示3
MixPY——让爱(AI)触手可及 MixPY布局 主控芯片：K210（64位双核带硬件FPU和卷积加速器的 RISC-V CPU） 显示屏：LCD_2.8寸 320*240分辨率，支持电阻触摸 摄像头：OV2640，200W像素 扬声器&#…...
自然语言处理从入门到应用——LangChain：提示（Prompts）-[提示模板：序列化提示信息]
分类目录：《自然语言处理从入门到应用》总目录 将提示信息存储为文件而不是Python代码通常更好。这样可以方便共享、存储和版本控制提示信息。本文介绍了如何在LangChain中进行提示信息的序列化，包括不同类型的提示信息和不同的序列化选项。 在高层次上…...
【LinearAlgebra】Chapter 12 - Linear Algebra in Probability Statistics
文章目录 Chapter 12 - Linear Algebra in Probability & StatisticsVariance (around athe mean) 方差（接近均值）Continuous Probability Distributions 连续概率分布Mean and Variance of p ( x ) p(x) p(x) p ( x ) p(x) p(x) 的均值和方差Norm…...
webshell详解
Webshell详解 一、 Webshell 介绍二 、 基础常见webshell案例 一、 Webshell 介绍 概念 webshell就是以asp、php、jsp或者cgi等网页文件形式存在的一种命令执行环境，也可以将其称做为一种网页后门。黑客在入侵了一个网站后，通常会将asp或php后门文件与…...
数据结构 | 搜索和排序——搜索
目录 一、顺序搜索 二、分析顺序搜索算法 三、二分搜索 四、分析二分搜索算法 五、散列 5.1 散列函数 5.2 处理冲突 5.3 实现映射抽象数据类型 搜索是指从元素集合中找到某个特定元素的算法过程。搜索过程通常返回True或False，分别表示元素是否存在。有时&a…...
【python】对象
对象 初识对象成员方法类和对象构造方法其它内置方法封装继承类型注释多态综合案例二级目录三级目录 初识对象 设计表格-生产表格-填写表格 对应于程序中：设计类-创建对象-对象属性赋值 class Student:nameNonegenderNone # 基于类创建对象 stu_1Student() stu_2S…...
k8s概念-污点与容忍
k8s 集群中可能管理着非常庞大的服务器，这些服务器可能是各种各样不同类型的，比如机房、地理位置、配置等，有些是计算型节点，有些是存储型节点，此时我们希望能更好的将 pod 调度到与之需求更匹配的节点上。 此时就需要…...
“从零开始学习Spring Boot：构建高效、可扩展的Java应用程序“
标题：从零开始学习Spring Boot：构建高效、可扩展的Java应用程序 简介： Spring Boot是一种用于简化Java应用程序开发的开源框架，它提供了一种快速、高效的方式来构建可扩展的应用程序。本文将介绍如何从零开始学习Spring Boot&…...
接口测试中缓存处理策略
在接口测试中，缓存处理策略是一个关键环节，直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性，避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明： 一、缓存处理的核…...
进程地址空间（比特课总结）
一、进程地址空间 1. 环境变量 1 ）⽤户级环境变量与系统级环境变量 全局属性：环境变量具有全局属性，会被⼦进程继承。例如当bash启动⼦进程时，环 境变量会⾃动传递给⼦进程。 本地变量限制：本地变量只在当前进程(ba…...
黑马Mybatis
Mybatis 表现层：页面展示 业务层：逻辑处理 持久层：持久数据化保存 在这里插入图片描述 Mybatis快速入门 
深入理解JavaScript设计模式之单例模式
目录 什么是单例模式为什么需要单例模式常见应用场景包括 单例模式实现透明单例模式实现不透明单例模式用代理实现单例模式javaScript中的单例模式使用命名空间使用闭包封装私有变量 惰性单例通用的惰性单例 结语 什么是单例模式 单例模式（Singleton Pattern&#…...
（二）原型模式
原型的功能是将一个已经存在的对象作为源目标，其余对象都是通过这个源目标创建。发挥复制的作用就是原型模式的核心思想。 一、源型模式的定义 原型模式是指第二次创建对象可以通过复制已经存在的原型对象来实现，忽略对象创建过程中的其它细节。 📌 核心特点： 避免重复初…...
如何更改默认 Crontab 编辑器 ？
在 Linux 领域中，crontab 是您可能经常遇到的一个术语。这个实用程序在类 unix 操作系统上可用，用于调度在预定义时间和间隔自动执行的任务。这对管理员和高级用户非常有益，允许他们自动执行各种系统任务。 编辑 Crontab 文件通常使用文本编…...
LRU 缓存机制详解与实现（Java版） + 力扣解决
📌 LRU 缓存机制详解与实现（Java版） 一、📖 问题背景 在日常开发中，我们经常会使用 缓存（Cache） 来提升性能。但由于内存有限，缓存不可能无限增长，于是需要策略决定&am…...
计算机基础知识解析：从应用到架构的全面拆解
目录 前言 1、 计算机的应用领域：无处不在的数字助手 2、 计算机的进化史：从算盘到量子计算 3、计算机的分类：不止 “台式机和笔记本” 4、计算机的组件：硬件与软件的协同 4.1 硬件：五大核心部件 4.2 软件&#…...
如何应对敏捷转型中的团队阻力
应对敏捷转型中的团队阻力需要明确沟通敏捷转型目的、提升团队参与感、提供充分的培训与支持、逐步推进敏捷实践、建立清晰的奖励和反馈机制。其中，明确沟通敏捷转型目的尤为关键，团队成员只有清晰理解转型背后的原因和利益，才能降低对变化的…...
Java后端检查空条件查询
通过抛出运行异常：throw new RuntimeException("请输入查询条件！");BranchWarehouseServiceImpl.java // 查询试剂交易（入库/出库）记录Overridepublic List<BranchWarehouseTransactions> queryForReagent(Branch…...