Flink非对齐checkpoint原理（Flink Unaligned Checkpoint）
Flink非对齐checkpoint原理（Flink Unaligned Checkpoint）
为什么提出Unaligned Checkpoint（UC）？
因为反压严重时会导致Checkpoint失败，可能导致如下问题
- 恢复时间长-服务效率低
- 非幂等和非事务会导致数据重复
- 持续反压导致任务加入死循环（可能导致数据丢失，例如超过kafka的过期时间无法重置offset）
UC的原理
UC有两个阶段（UC主要是快速超越buffer data）
-
第一阶段：UC同步阶段（任意一个barrier加入缓冲区即开始UC，barrier 直接超越所有input和outputBuffer（算子暂停处理数据））
- barrier超越
- 对buffer进行引用
- 调用算子snapshot state
- 引用state
-
第二阶段：异步阶段（等待所有input channel的barrier都到达）
- 写算子的state（同步阶段引用的state）
- 同步阶段引用的input&output buffer
- 写其它inputChannel Barrier之前的buffer（如下图中蓝色f和G）
- 汇报给jobmanager
UC已进行的优化
Task原理
Task处理逻辑如下，线程可能卡在结果输出影响UC
优化一
优化：判断有空闲output buffer再处理数据
需要多个buffer时还是会卡住，比如flatmap操作
优化二
优化：使用OverDraft Buffer透支Buffer，一旦透支buffer则不能处理数据（1.16已有透支Buffer功能）
其它优化
优化：Legacy Source（Legacy Source 是 Flink 中的一种数据源，它是在 Flink 1.0 版本中引入的，并在后续版本中被视为过时的来源）兼容UC
小结
- 等待空闲Buffer+引入透支overdraft Buffer解决卡顿问题
- Legacy source兼容等待空闲Buffer逻辑
UC风险
- 序列化不兼容，无法重启
- 算子连接变化UC无法恢复
- Data Buffer会写大量小文件，导致DataNode压力过大
- 使用Task共享文件（execution.checkpointing.channel-state.number-of-tasks-share-file）
- 会出现死锁或内存泄漏
UC&AC对比
优化：在AC超时自动切换到UC（1.11版本开始）
配置方法（1.11以后版本）
execution.checkpointing.aligned-checkpoint.timeout: 10m
execution.checkpointing.unaligned-checkpoint.enabled: true
参考文档
https://www.bilibili.com/video/BV1tR4y1y7gQ/?spm_id_from=…search-card.all.click&vd_source=a52a4a5afaf8d47cb48d828c7e22e5f1
相关文章：
Flink非对齐checkpoint原理（Flink Unaligned Checkpoint）
Flink非对齐checkpoint原理（Flink Unaligned Checkpoint） 为什么提出Unaligned Checkpoint（UC）？ 因为反压严重时会导致Checkpoint失败，可能导致如下问题 恢复时间长-服务效率低非幂等和非事务会导致数据…...
Linux crontab命令：循环执行定时任务（详解）
crontab 命令的基本格式如下： [rootlocalhost ~]# crontab [选项] [file] file 指的是命令文件的名字，表示将 file 作为 crontab 的任务列表文件并载入 crontab，若在命令行中未指定文件名，则此命令将接受标准输入（键盘…...
Linux系统jenkins+newman+postman持续集成环境搭建
1、首先安装nodejs 下载nodejs压缩包，下载地址：nodejs官网下载 建议不用下载最新的，我这里用的是推荐的v12.18版本 下载和解压命令 wget https://nodejs.org/dist/v12.18.3/node-v12.18.3-linux-x64.tar.xz解压安装包（记得没有z&…...
flutter：Future、Stream、RxDart
Future 在Flutter中，Future是Dart语言中的一个类，用于表示异步操作的结果。与Future相关的的重要关键字包括async和await。 async：这个关键字用于在方法或函数声明前添加，以指示该方法为异步方法。在异步方法中，执行…...
Jenkins安装、配置、自动化构建前（nodejs）后端（maven）项目
文章目录 0、Jenkins卸载安装1、Jenkins配置2、后台启动脚本startup.sh3、后台关闭脚本stop.sh4、实时数据启动脚本startup.sh5、实时数据关闭脚本stop.sh6、jenkins制定完任务后，点击立即构建，控制台报错（...无法生成父级目录）7、…...
【网络基础进阶之路】设计网络划分的实战详解
PS：本要求基于华为的eNSP模拟软件进行 具体要求： 完成步骤： 1、对192.168.1.0/24进行子网划分 2、对每一个路由器进行IP的配置 3、开始静态路由的书写，在写之前，我们可以先对每一个路由器写一条通向右边的缺省路由&…...
艺术二维码 API 申请及使用
艺术二维码是一种创新的技术产品，它将二维码与美观的背景图像相结合，创造出既实用又美观的作品。它们不仅具有传统二维码的功能性，能被智能设备快速扫描识别，还加入了艺术元素，增强了视觉吸引力和品牌识别度。其中&…...
JVM GC ROOT分析
GC root原理：通过对枚举GCroot对象做引用可达性分析，即从GC root对象开始，向下搜索，形成的路径称之为 引用链。如果一个对象到GC roots对象没有任何引用，没有形成引用链，那么该对象等待GC回收，换而言之，如果减少内存泄漏，也就是切断引用链,常见的GCRoot对象如下： 1、…...
记一道有趣的sql题
有一张运单表：dwd_biz_waybill_td，该表的主键是way_bill_id，并且有如下字段： way_bill_id（运单表主键），shiping_date（下单日期，时间格式为yyyy-MM-dd）&#…...
C高级【day2】
思维导图： 递归实现，输入一个数，输出这个数的每一位： #include<myhead.h>//递归函数 void fun(int num){//num没值不再递归if(0 num){return;}//输出数的最后一位printf("%d\t", num%10);//递归fun(num/10);}…...
认识Webpack插件Plugin；CleanWebpackPlugin插件；HtmlWebpackPlugin；DefinePlugin；Mode模式
目录 1_认识插件Plugin2_CleanWebpackPlugin3_HtmlWebpackPlugin4_DefinePlugin4.1_介绍4.2_DefinePlugin的使用 5_Mode模式 1_认识插件Plugin Webpack的另一个核心是Plugin，官方有这样一段对Plugin的描述： While loaders are used to transform certai…...
Redis 6.0的新特性：多线程、客户端缓存与安全
2020年5月份，6.0版本。 面向网络处理的多IO线程可以提高网络请求处理的速度，而客户端缓存可以让应用直接在客户端本地读取数据，这两个特性可以提升Redis的性能。 细粒度权限控制让Redis可以按照命令粒度控制不同用户的访问权限，…...
【雕爷学编程】MicroPython动手做（37）——驱动LCD与图文显示3
MixPY——让爱(AI)触手可及 MixPY布局 主控芯片：K210（64位双核带硬件FPU和卷积加速器的 RISC-V CPU） 显示屏：LCD_2.8寸 320*240分辨率，支持电阻触摸 摄像头：OV2640，200W像素 扬声器&#…...
自然语言处理从入门到应用——LangChain：提示（Prompts）-[提示模板：序列化提示信息]
分类目录：《自然语言处理从入门到应用》总目录 将提示信息存储为文件而不是Python代码通常更好。这样可以方便共享、存储和版本控制提示信息。本文介绍了如何在LangChain中进行提示信息的序列化，包括不同类型的提示信息和不同的序列化选项。 在高层次上…...
【LinearAlgebra】Chapter 12 - Linear Algebra in Probability Statistics
文章目录 Chapter 12 - Linear Algebra in Probability & StatisticsVariance (around athe mean) 方差（接近均值）Continuous Probability Distributions 连续概率分布Mean and Variance of p ( x ) p(x) p(x) p ( x ) p(x) p(x) 的均值和方差Norm…...
webshell详解
Webshell详解 一、 Webshell 介绍二 、 基础常见webshell案例 一、 Webshell 介绍 概念 webshell就是以asp、php、jsp或者cgi等网页文件形式存在的一种命令执行环境，也可以将其称做为一种网页后门。黑客在入侵了一个网站后，通常会将asp或php后门文件与…...
数据结构 | 搜索和排序——搜索
目录 一、顺序搜索 二、分析顺序搜索算法 三、二分搜索 四、分析二分搜索算法 五、散列 5.1 散列函数 5.2 处理冲突 5.3 实现映射抽象数据类型 搜索是指从元素集合中找到某个特定元素的算法过程。搜索过程通常返回True或False，分别表示元素是否存在。有时&a…...
【python】对象
对象 初识对象成员方法类和对象构造方法其它内置方法封装继承类型注释多态综合案例二级目录三级目录 初识对象 设计表格-生产表格-填写表格 对应于程序中：设计类-创建对象-对象属性赋值 class Student:nameNonegenderNone # 基于类创建对象 stu_1Student() stu_2S…...
k8s概念-污点与容忍
k8s 集群中可能管理着非常庞大的服务器，这些服务器可能是各种各样不同类型的，比如机房、地理位置、配置等，有些是计算型节点，有些是存储型节点，此时我们希望能更好的将 pod 调度到与之需求更匹配的节点上。 此时就需要…...
“从零开始学习Spring Boot：构建高效、可扩展的Java应用程序“
标题：从零开始学习Spring Boot：构建高效、可扩展的Java应用程序 简介： Spring Boot是一种用于简化Java应用程序开发的开源框架，它提供了一种快速、高效的方式来构建可扩展的应用程序。本文将介绍如何从零开始学习Spring Boot&…...
【Linux】shell脚本忽略错误继续执行
在 shell 脚本中，可以使用 set -e 命令来设置脚本在遇到错误时退出执行。如果你希望脚本忽略错误并继续执行，可以在脚本开头添加 set e 命令来取消该设置。 举例1 #!/bin/bash# 取消 set -e 的设置 set e# 执行命令，并忽略错误 rm somefile…...
微信小程序之bind和catch
这两个呢，都是绑定事件用的，具体使用有些小区别。 官方文档： 事件冒泡处理不同 bind：绑定的事件会向上冒泡，即触发当前组件的事件后，还会继续触发父组件的相同事件。例如，有一个子视图绑定了b…...
大话软工笔记—需求分析概述
需求分析，就是要对需求调研收集到的资料信息逐个地进行拆分、研究，从大量的不确定“需求”中确定出哪些需求最终要转换为确定的“功能需求”。 需求分析的作用非常重要，后续设计的依据主要来自于需求分析的成果，包括: 项目的目的…...
从WWDC看苹果产品发展的规律
WWDC 是苹果公司一年一度面向全球开发者的盛会，其主题演讲展现了苹果在产品设计、技术路线、用户体验和生态系统构建上的核心理念与演进脉络。我们借助 ChatGPT Deep Research 工具，对过去十年 WWDC 主题演讲内容进行了系统化分析，形成了这份…...
linux arm系统烧录
1、打开瑞芯微程序 2、按住linux arm 的 recover按键 插入电源 3、当瑞芯微检测到有设备 4、松开recover按键 5、选择升级固件 6、点击固件选择本地刷机的linux arm 镜像 7、点击升级 （忘了有没有这步了 估计有） 刷机程序 和 镜像 就不提供了。要刷的时…...
Qt Http Server模块功能及架构
Qt Http Server 是 Qt 6.0 中引入的一个新模块，它提供了一个轻量级的 HTTP 服务器实现，主要用于构建基于 HTTP 的应用程序和服务。 功能介绍： 主要功能 HTTP服务器功能： 支持 HTTP/1.1 协议 简单的请求/响应处理模型 支持 GET…...
ETLCloud可能遇到的问题有哪些？常见坑位解析
数据集成平台ETLCloud，主要用于支持数据的抽取（Extract）、转换（Transform）和加载（Load）过程。提供了一个简洁直观的界面，以便用户可以在不同的数据源之间轻松地进行数据迁移和转换。…...
Spring Boot面试题精选汇总
🤟致敬读者 🟩感谢阅读🟦笑口常开🟪生日快乐⬛早点睡觉 📘博主相关 🟧博主信息🟨博客首页🟫专栏推荐🟥活动信息 文章目录 Spring Boot面试题精选汇总⚙️ **一、核心概…...
WordPress插件：AI多语言写作与智能配图、免费AI模型、SEO文章生成
厌倦手动写WordPress文章？AI自动生成，效率提升10倍！ 支持多语言、自动配图、定时发布，让内容创作更轻松！ AI内容生成 → 不想每天写文章？AI一键生成高质量内容！多语言支持 → 跨境电商必备&am…...
Rust 异步编程
Rust 异步编程 引言 Rust 是一种系统编程语言，以其高性能、安全性以及零成本抽象而著称。在多核处理器成为主流的今天，异步编程成为了一种提高应用性能、优化资源利用的有效手段。本文将深入探讨 Rust 异步编程的核心概念、常用库以及最佳实践。 异步编程基础 什么是异步…...