当前位置： 首页 > news >正文

Flink源码解析二之执行计划⽣成

news 2026/4/5 6:09:04

JobManager Leader 选举

首先flink会依据配置获取RecoveryMode,RecoveryMode一共两两种:STANDALONE和ZOOKEEPER。

  • 如果用户配置的是STANDALONE,会直接去配置中获取JobManager的地址
  • 如果用户配置的是ZOOKEEPER,flink会首先尝试连接zookeeper,利用zookeeper的leadder选举服务发现leader节点的地址和当前的sessionid

客户端JobGraph的提交

  • 启动JobClientActor用来和JobManager交互
  • 启动LeaderRetrievalService获取JobManager的地址
  • 上传用户 jar包
  • 提交SubmitJob命令,等待程序执行
     

JobManager执行计划生成

JobManager启动逻辑

  • 配置Akka并生成ActorSystem
  • 初始化ZooKeeperLeaderRetrievalService,JobManager在启动的时候会以LeaderRetrievalListener的身份将自己注
  • 册进来,该service负责监听最新的leader信息,当发生改变时通知即所有 listener【所有的JobManager】
  • 启动ResourceManager

执行计划ExecutionGraph的生成

flink的运行时执行计划为ExecutionGraph,ExecutionGraph 时应之前的JobGraph,一个ExecutionGraph包含多个ExecutionJobVertex节点,JobGraph的JobVertex,每ExecutionJobVertex 节点的并发子task对应一个ExecutionVertex,InputChannelDeploymentDescriptorn,具体如下图所示:
 

相关文章：

Flink源码解析二之执行计划⽣成

JobManager Leader 选举 首先flink会依据配置获取RecoveryMode,RecoveryMode一共两两种:STANDALONE和ZOOKEEPER。 如果用户配置的是STANDALONE,会直接去配置中获取JobManager的地址如果用户配置的是ZOOKEEPER,flink会首先尝试连接zookeeper,利用zookeeper的leadder选举服务发现…...

编程日记 2023/11/6 9:36:57

MySQL遍历所有表所有字段查找字符数据

MySQL遍历所有表所有字段查找字符数据 工作中有一些数据查找，但是在那个库那个表那个字段中并不明确，特别是敏感字符查找，如果数据量并不大，我们可以采用遍历整个库、表中字符来查找相关数据来解决该问题。 我们可以写一个存储过…...

编程日记 2023/11/6 9:35:56

Java中的异常处理机制是怎样的？

Java中的异常处理机制主要包括以下几个部分： 异常类（Exception Class）：Java中的异常类继承自java.lang.Throwable，主要分为两大类：Error和Exception。Error表示程序无法处理的严重问题，如系统崩…...

编程日记 2023/11/6 9:34:55

高教社杯数模竞赛特辑论文篇-2023年A题：定日镜场的优化设计（附获奖论文及MATLAB代码实现）

目录 摘 要 一、 问题重述 1.1 问题背景 1.2 问题重述 二、 模型假设 三、 符号说明...

编程日记 2023/11/6 9:33:54

c语言实现http下载功能，显示进度条和下载速率

#include <stdio.h>//printf #include <string.h>//字符串处理 #include <sys/socket.h>//套接字 #include <arpa/inet.h>//ip地址处理 #include <fcntl.h>//open系统调用 #include <unistd.h>//write系统调用 #include <netdb.h>//…...

编程日记 2023/11/6 9:32:53

Educational Codeforces Round 157 (Rated for Div. 2) D. XOR Construction (思维题)

题目 给定长为n-1(n<2e5)的整数序列a&#xff0c;第i个数a[i](0<a[i]<2n) 构造一个长为n的整数序列b&#xff0c;满足&#xff1a; 1. 0到n-1在b数组中每个数恰好出现一次 2. 对于&#xff0c; 题目保证一定有解&#xff0c;有多组时可以输出任意一组 思路来源 …...

编程日记 2023/11/6 9:31:52

【unity实战】实现类似英雄联盟的buff系统

文章目录 先来看看最终效果前言开始BUFF系统加几个BUFF测试1. 逐层消失&#xff0c;升级不重置剩余时间的BUFF2. 一次性全部消失&#xff0c;升级重置剩余时间的BUFF3. 永久BUFF&#xff0c;类似被动BUFF4. 负面BUFF&#xff0c;根据当前BUFF等级计算每秒收到伤害值&#xff0c…...

编程日记 2023/11/6 9:30:50

【C语言基础教程】函数指针与指针大小

文章目录 前言一、函数指针1.1 函数指针的概念1.2 三个示例代码示例1: 使用函数指针调用不同的函数示例 2: 使用函数指针实现回调函数示例 3: 使用函数指针数组 二、指针的大小2.1 前述2.2 指针大小如何决定&#xff1f;两方面理解 总结 前言 在C语言中&#xff0c;指针是一项…...

编程日记 2023/11/6 9:29:49

Web前端—网页制作（以“学成在线”为例）

版本说明 当前版本号[20231105]。 版本修改说明20231105初版 目录 文章目录 版本说明目录day07-学成在线01-项目目录02-版心居中03-布局思路04-header区域-整体布局HTML结构CSS样式 05-header区域-logo06-header区域-导航HTML结构CSS样式 07-header区域-搜索布局HTML结构CSS…...

编程日记 2023/11/6 9:28:48

Hive【Hive（八）自定义函数】

自定义函数用的最多的是单行函数&#xff0c;所以这里只介绍自定义单行函数。 Coding 导入依赖 <dependency><groupId>org.apache.hive</groupId><artifactId>hive-exec</artifactId><version>3.1.3</version></dependency>…...

编程日记 2023/11/6 9:26:46

linux远程桌面管理工具xrdp

一、概述 我们知道&#xff0c;我们日常通过vnc来远程管理linux图形界面&#xff0c;今天分享一工具Xrdp&#xff0c;它是一个开源工具&#xff0c;允许用户通过Windows RDP访问Linux远程桌面。 除了Windows RDP之外&#xff0c;xrdp工具还接受来自其他RDP客户端的连接&#xf…...

编程日记 2023/11/6 9:25:44

100天精通Python（可视化篇）——第106天：Pyecharts绘制多种炫酷桑基图参数说明+代码实战

文章目录 专栏导读一、桑基图介绍1. 桑基图是什么？2. 桑基图应用场景？二、桑基图配置选项1. 导包2. add函数3. 分层设置三、桑基图基础1. 普通桑基图2. 修改标签位置3. 修改节点布局方向4、月度开支桑基图书籍推荐专栏导读 🔥🔥本文已收录于《100天精通Python从入门到就…...

编程日记 2023/11/6 9:24:43

什么是OTP认证？OTP认证服务器有哪些应用场景？

OTP是一次性密码&#xff0c;即只能使用一次的密码。它基于专门的算法&#xff0c;每隔60秒生成一个不可预测的随机数字组合。这种密码的有效期仅在一次会话或交易过程中&#xff0c;因此不容易受到重放攻击。在计算器系统或其他数字设备上&#xff0c;OTP是一种只能使用一次的…...

编程日记 2023/11/6 9:22:40

shell_73.Linux使用新 shell 启动脚本

每次启动新 shell&#xff0c;bash shell 都会运行.bashrc 文件。①对此进行验证&#xff0c;可以使用这种方法&#xff1a;在 主目录下的.bashrc 文件中加入一条简单的 echo 语句&#xff0c;然后启动一个新 shell。 $ cat $HOME/.bashrc # .bashrc # Source global definiti…...

编程日记 2023/11/6 9:21:39

【领域驱动设计】聚合

从战术设计上&#xff0c;DDD 最值得借鉴的就是聚合根 什么是聚合 将实体和值对象在一致性边界之内组合聚合 这里的一致性包括 1、业务概念的完整性 2、业务规则的一致性&#xff1a;多个实体需要在一次操作中保持某种一致性&#xff08;修改 A&#xff0c;同步必须修改 B&a…...

编程日记 2023/11/6 9:20:37

WiFi模块在智能家居中的应用与优化

智能家居技术的迅速发展已经改变了我们对家庭的定义。WiFi模块作为智能设备连接的核心&#xff0c;扮演着连接和控制智能家居生态系统的关键角色。本文将深入研究WiFi模块在智能家居中的应用&#xff0c;同时探讨如何通过优化来提升其性能和用户体验。 1. 智能家居中WiFi模块的…...

编程日记 2023/11/6 9:19:36

LeetCode75——Day27

文章目录 一、题目二、题解 一、题目 933. Number of Recent Calls You have a RecentCounter class which counts the number of recent requests within a certain time frame. Implement the RecentCounter class: RecentCounter() Initializes the counter with zero r…...

编程日记 2023/11/6 9:18:34

P6462补刀

灵光一现,突然就做出来了 正好写一下思路过程 一开始寻思是个数论的问题,貌似需要用到扩展欧几里得,不管那么多,直接写上,接着不断缝缝补补修修改改,此处省略一小时.... 做不出来....好难受 星期天,无聊,做个题.. 突然,不对啊 这个题实际上不就是我当前打还是不打的一个选…...

编程日记 2023/11/6 9:17:33

Python教程---Python交互界面

当我们通过命令行来输入Python&#xff0c;所进入到的界面就是Python的交互界面 结构&#xff1a; 版本和版权声明&#xff1a; Python 3.6.5 (v3.6.5:f59c0932b4, Mar 28 2018, 16:07:46) [MSC v.1900 32 bit (Intel)] on win32 Type "help", "copyright"…...

编程日记 2023/11/6 9:16:32

基于计算机视觉的身份证识别系统 计算机竞赛

0 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 基于机器视觉的身份证识别系统 该项目较为新颖&#xff0c;适合作为竞赛课题方向&#xff0c;学长非常推荐&#xff01; &#x1f9ff; 更多资料, 项目分享&#xff1a; https://gitee.com/dancheng-sen…...

编程日记 2023/11/6 9:14:28

Wan2.2-I2V-A14B部署指南：Docker容器化封装与K8s集群部署思路

Wan2.2-I2V-A14B部署指南&#xff1a;Docker容器化封装与K8s集群部署思路 1. 镜像概述与核心特性 Wan2.2-I2V-A14B是一款专为文生视频任务优化的私有部署镜像&#xff0c;基于RTX 4090D 24GB显存环境深度调优。这个镜像最大的特点是开箱即用&#xff0c;内置了完整的运行环境…...

编程新知 2026/4/5 6:03:54

OpenClaw定时任务：千问3.5-9B驱动的自动化日报生成

OpenClaw定时任务&#xff1a;千问3.5-9B驱动的自动化日报生成 1. 为什么需要自动化日报 每天早上9点&#xff0c;我的邮箱总会准时收到一封来自OpenClaw的日报邮件。这封邮件不仅汇总了前一天的代码提交记录、服务器监控数据&#xff0c;还附带了千问3.5-9B模型生成的简要分…...

编程新知 2026/4/5 5:55:40

“同事被炼化”引热议！有人觉得恐怖，有人觉得为时尚早，有人要给 AI 喂屎反击…

4 月 3 日&#xff0c;「同事被炼化了」冲上微博热搜。所谓“炼化”并非玄幻情节&#xff0c;而是 AI 克隆员工现象&#xff0c;引发不少职场人共鸣与恐慌。起因是 GitHub 上一个叫 colleague-skill 的开源项目火了&#xff1a;上传同事的聊天记录、工作文档、代码邮件&#xf…...

编程新知 2026/4/5 4:54:29

海思SS524/SS522系列SDK编译实战：从零构建DVR开发环境

1. 海思SS524/SS522芯片与DVR开发入门 第一次接触海思SS524/SS522系列芯片时&#xff0c;我被它强大的视频处理能力震撼到了。这颗芯片简直就是为DVR产品量身定制的&#xff0c;特别是当你需要处理多路高清视频流时&#xff0c;它的优势就更加明显。SS524和SS522虽然型号不同&a…...

编程新知 2026/4/5 4:44:19

CVPR 2023 TKSA注意力机制实战：手把手教你用PyTorch实现Top-K稀疏注意力模块

CVPR 2023 TKSA注意力机制实战&#xff1a;手把手教你用PyTorch实现Top-K稀疏注意力模块 在计算机视觉领域&#xff0c;注意力机制已经成为提升模型性能的关键组件。然而&#xff0c;传统注意力机制的计算开销和内存消耗常常成为制约模型效率的瓶颈。CVPR 2023提出的Top-K稀疏注…...

编程新知 2026/4/5 2:52:56

CCF算法大赛C题详解：如何将整数m转换为n进制并输出特定多项式格式（附Python代码逐行分析）

CCF算法大赛C题详解&#xff1a;从进制转换到多项式格式化的完整指南 在编程竞赛中&#xff0c;处理数字的进制转换和特定格式输出是常见的基础题型。CCF算法大赛的这道题目巧妙地将这两个概念结合在一起&#xff0c;要求参赛者不仅实现进制转换&#xff0c;还要按照严格的规则…...

编程新知 2026/4/5 2:16:15

别再死磕Transformer了！用Python复现SimpleTM：一个轻量级的时间序列预测新思路

用Python复现SimpleTM&#xff1a;轻量级时间序列预测的实战指南 当Transformer架构在时间序列预测领域大行其道时&#xff0c;威斯康星大学团队在ICLR 2025提出的SimpleTM模型却以教科书级的信号处理思路&#xff0c;实现了"轻量级击败重量级"的逆袭。本文将带您深入…...

编程新知 2026/4/5 1:59:58

基于单片机双向可控硅控制交流电导通脚

一、系统功介绍 基于单片机双向可控硅控制交流电导通脚的设计&#xff0c;是通过单片机精确控制双向可控硅的触发时机&#xff0c;实现交流电的导通与断开&#xff0c;广泛应用于交流调压、调光、电机调速及无触点开关等场景。 以下从核心原理、硬件设计、软件实现、应用场景及…...

编程新知 2026/4/5 1:49:41

OpenClaw+千问3.5-9B写作辅助：中英文技术文档自动互译

OpenClaw千问3.5-9B写作辅助&#xff1a;中英文技术文档自动互译 1. 为什么需要自动化文档翻译 作为技术文档工程师&#xff0c;我每周都要处理大量中英文技术文档的互译工作。传统工作流需要反复在翻译软件、术语表和Markdown编辑器间切换&#xff0c;不仅效率低下&#xff…...

编程新知 2026/4/5 0:34:19

2025届最火的十大AI写作神器实际效果

Ai论文网站排名&#xff08;开题报告、文献综述、降aigc率、降重综合对比&#xff09; TOP1. 千笔AI TOP2. aipasspaper TOP3. 清北论文 TOP4. 豆包 TOP5. kimi TOP6. deepseek 降低AIGC也就是人工智能生成内容的痕迹&#xff0c;其关键要点在于&#xff0c;减少模式化表…...

编程新知 2026/4/5 0:19:59