当前位置： 首页 > news >正文

Flink-----Yarn应用模式作业提交流程

news 2026/4/1 5:55:06

Yarn应用模式作业提交流程

在Yarn当中又分为Session，PerJob，Application，建议和推荐使用独立集群的，其中就包含PerJob 和Application，但是1.17版本的Flink已将PerJob标记为过时，并且Application可以解决PerJob的一些痛点，减轻客户端的一些压力，所以需要重点了解Yarn应用模式的作业提交流程
在这里呢，我图里面把客户端给省略了，因为客户端在这里其实就相当于说什么也不干了，那我们第一步，当我们执行一个 run-application 这种提交方式之后，我们就直接提交向Yarn的ResourceManager发起请求了，之后呢会选择一个节点NodeManager启动一个容器，容器里面运行所谓的ApplicationMaster，这个其实就是咱们的JobManager，JobManager里面有三个核心组件，第一个组件是Dispatcher 分发器，对应会启动资源管理器，就是Flink内部的ResourceManager，再之后，分发器会去启动JobMaster，启动起来之后(注意跟前面Standalone模式下的的区别)，最原始的逻辑流图(StreamGraph)是在这边JobMaster生成的，因为咱们应用模式会将客户端原先做的解析，生成图，转成作业图这些操作都省略了，现在交给JobManager里面的JobMaster来做，所以它会解析用户代码生成逻辑流图(StreamGraph)就是最原始的图，再之后会进一步进行算子链的优化生成作业图(JobGraph)，再进一步会将作业图展开生成最核心的执行流图(ExecutionGraph)，再之后就和Standalone一样了，

相关文章：

Flink-----Yarn应用模式作业提交流程

Yarn应用模式作业提交流程 在Yarn当中又分为Session，PerJob，Application，建议和推荐使用独立集群的，其中就包含PerJob 和Application，但是1.17版本的Flink已将PerJob标记为过时，并且Application可以解决PerJob的一些痛点，减轻客户端的一些压力，所以需要重点了解Yarn应…...

编程日记 2023/8/16 9:26:01

Python学习笔记_基础篇(五)_数据类型之字典

一.基本数据类型 整数：int 字符串：str(注：\t等于一个tab键) 布尔值： bool 列表：list 列表用[] 元祖：tuple 元祖用（） 字典：dict 注：所有的数据类型都存在想对…...

编程日记 2023/8/16 9:25:00

【第三阶段】kotlin语言的安全调用操作符

？. fun main() {var name:String?"kotlin" //name是一个可空类型，发出广播，调用的地方必须补救措施namenullvar r name?.capitalize() //?. 如果namenull，那么?.的将不执行，就不会引发空指针异常prin…...

编程日记 2023/8/16 9:23:57

机器学习重要内容：特征工程之特征抽取

目录 1、简介 2、⭐为什么需要特征工程 3、特征抽取 3.1、简介 3.2、特征提取主要内容 3.3、字典特征提取 3.4、"one-hot"编码 3.5、文本特征提取 3.5.1、英文文本 3.5.2、结巴分词 3.5.3、中文文本 3.5.4、Tf-idf ⭐所属专栏：人工智能 文中提…...

编程日记 2023/8/16 9:22:56

Logic 2逻辑分析器捉到的CAN帧

代码开发环境 逻辑分析仪环境 MCU芯片环境&#xff1a;RH850/U2A16 逻辑分析器(LA)抓到的CAN帧 <完>...

编程日记 2023/8/16 9:21:54

手机的发展历史

目录 一.人类的通信方式变化 二.手机对人类通信的影响 三.手机的发展过程 四.手机对现代人的影响 一.人类的通信方式变化 人类通信方式的变化是一个非常广泛和复杂的话题&#xff0c;随着技术的进步和社会的发展&#xff0c;人类通信方式发生了许多重大的变化。下面是一些主…...

编程日记 2023/8/16 9:20:53

为什么要分库分表？

不急于上手实战 ShardingSphere 框架&#xff0c;先来复习下分库分表的基础概念&#xff0c;技术名词大多晦涩难懂&#xff0c;不要死记硬背理解最重要&#xff0c;当你捅破那层窗户纸&#xff0c;发现其实它也就那么回事。 什么是分库分表 分库分表是在海量数据下&#xff0…...

编程日记 2023/8/16 9:19:52

Unity游戏源码分享-中国象棋Unity5.6版本

Unity游戏源码分享-中国象棋Unity5.6版本 项目地址&#xff1a; https://download.csdn.net/download/Highning0007/88215699...

编程日记 2023/8/16 9:18:51

打造专属花店展示小程序

在当今社会&#xff0c;微信小程序已经成为了各行各业拓展客户资源的利器&#xff0c;而花店行业也不例外。通过打造一个独特的花店小程序&#xff0c;你可以为你的花店带来更多的曝光和客户资源。那么&#xff0c;如何制作一个专属的花店小程序呢&#xff1f;下面我们就来一步…...

编程日记 2023/8/16 9:17:49

SpringBoot整合、SpringBoot与异步任务

目录 一、背景描述二、简单使用方法三、原理五、使用自定义线程池1、默认使用2、如何使用自定义线程池 六、Async失效情况1、同一个类中&#xff0c;一个方法调用 Async标注的方法 一、背景描述 java 的代码是同步顺序执行&#xff0c;当我们需要执行异步操作时我们通常会去创…...

编程日记 2023/8/16 9:16:48

复习1-2天【80天学习完《深入理解计算机系统》】第六天

专注 效率 记忆 预习 笔记 复习 做题 欢迎观看我的博客&#xff0c;如有问题交流&#xff0c;欢迎评论区留言&#xff0c;一定尽快回复&#xff01;&#xff08;大家可以去看我的专栏&#xff0c;是所有文章的目录&#xff09; 　 文章字体风格&#xff1a; 红色文字表示&#…...

编程日记 2023/8/16 9:15:46

62、华为昇腾开发板Atlas 200I DK A2配置mmpose的hrnet模型推理python/c++

基本思想&#xff1a;适配mmpose模型&#xff0c;记录一下流水帐&#xff0c;环境配置和模型来自&#xff0c;请查看参考链接。 链接: https://pan.baidu.com/s/1IkiwuZf1anyKX1sZkYmD1g?pwdi51s 提取码: i51s 一、转模型 (base) rootdavinci-mini:~/sxj731533730# atc --mo…...

编程日记 2023/8/16 9:14:44

【数据结构】双链表

大家好&#xff01;今天我们来学习数据结构中的双链表。&#xff08;我们这里讲解的是带头&#xff08;哨兵位&#xff09;双向循环链表哦~&#xff09; 目录 1.双链表的概念 2. 双链表的逻辑结构 3. 双链表的定义 4. 双链表的接口实现 4.1 动态申请一个新结点 4.2 双链表…...

编程日记 2023/8/16 9:13:42

android设置竖屏仍然跟随屏幕旋转怎么办

如题所问&#xff0c;我最近遇到一个bug&#xff0c;就是设置了摇感&#xff0c;然后有用户反馈说设置了手机下拉的系统设置-屏幕旋转-关闭。然后屏幕还是会旋转的问题。 首先&#xff0c;我们先从如何设置横竖屏了解下好了 设置横屏和竖屏的方法&#xff1a; 方法一&#x…...

编程日记 2023/8/16 9:12:41

java spring cloud 企业电子招标采购系统源码:营造全面规范安全的电子招投标环境，促进招投标市场健康可持续发展 tbms

​ 项目说明 随着公司的快速发展&#xff0c;企业人员和经营规模不断壮大&#xff0c;公司对内部招采管理的提升提出了更高的要求。在企业里建立一个公平、公开、公正的采购环境&#xff0c;最大限度控制采购成本至关重要。符合国家电子招投标法律法规及相关规范&#xff0c;以…...

编程日记 2023/8/16 9:11:39

【Java】2021 RoboCom 机器人开发者大赛-高职组（初赛）题解

7-1 机器人打招呼 机器人小白要来 RoboCom 参赛了&#xff0c;在赛场中遇到人要打个招呼。请你帮它设置好打招呼的这句话&#xff1a;“ni ye lai can jia RoboCom a?”。 输入格式&#xff1a; 本题没有输入。 输出格式&#xff1a; 在一行中输出 ni ye lai can jia Robo…...

编程日记 2023/8/16 9:10:38

汽车制造业上下游协作时 外发数据如何防泄露？

数据文件是制造业企业的核心竞争力&#xff0c;一旦发生数据外泄&#xff0c;就会给企业造成经济损失&#xff0c;严重的&#xff0c;可能会带来知识产权剽窃损害、名誉伤害等。汽车制造业&#xff0c;会涉及到重要的汽车设计图纸&#xff0c;像小米发送汽车设计图纸外泄事件并…...

编程日记 2023/8/16 9:09:37

H13-922题库 HCIP-GaussDB-OLAP V1.5

**H13-922 V1.5 GaussDB(DWS) OLAP题库 华为认证GaussDB OLAP数据库高级工程师HCIP-GaussDB-OLAP V1.0自2019年10月18日起&#xff0c;正式在中国区发布。当前版本V1.5 考试前提&#xff1a; 掌握基本的数据库基础知识、掌握数据仓库运维的基础知识、掌握基本Linux运维知识、…...

编程日记 2023/8/16 9:08:36

美团视觉GPU推理服务部署架构优化实战

&#x1f337;&#x1f341; 博主 libin9iOak带您 Go to New World.✨&#x1f341; &#x1f984; 个人主页——libin9iOak的博客&#x1f390; &#x1f433; 《面试题大全》 文章图文并茂&#x1f995;生动形象&#x1f996;简单易学&#xff01;欢迎大家来踩踩~&#x1f33…...

编程日记 2023/8/16 9:07:35

什么是前端框架？怎么学习？ - 易智编译EaseEditing

前端框架是一种用于开发Web应用程序界面的工具集合&#xff0c;它提供了一系列预定义的代码和结构&#xff0c;以简化开发过程并提高效率。 前端框架通常包括HTML、CSS和JavaScript的库和工具&#xff0c;用于构建交互式、动态和响应式的用户界面。 学习前端框架可以让您更高效…...

编程日记 2023/8/16 9:06:33

UV固化三防漆好用吗？光固化速度与设备要求

UV固化三防漆好用吗&#xff1f;光固化速度与设备要求高效快速的固化优势 UV固化三防漆&#xff08;也称紫外光固化保形涂层&#xff09;是一种专为印刷电路板&#xff08;PCB&#xff09;设计的保护材料&#xff0c;通过紫外光照射触发光引发剂瞬间聚合&#xff0c;实现快速固…...

编程新知 2026/4/1 3:14:55

RK3568上Qt5.12.8编译eglfs报错？手把手教你解决fbdev_window.h缺失问题

RK3568 Qt5.12.8编译eglfs报错全解析&#xff1a;从fbdev_window.h缺失到完整解决方案 在嵌入式开发领域&#xff0c;RK3568作为Rockchip推出的高性能处理器&#xff0c;结合Qt框架的图形界面开发能力&#xff0c;为工业控制、智能终端等场景提供了强大的解决方案。然而&#…...

编程新知 2026/4/1 2:46:24

Cadence Virtuoso实战：从反相器原理图到GDS版图，手把手搞定你的第一个CMOS Layout

Cadence Virtuoso实战&#xff1a;从反相器原理图到GDS版图全流程解析 在集成电路设计领域&#xff0c;从原理图到物理版图的实现是一个充满挑战又极具成就感的过程。对于初入行的工程师或微电子专业学生来说&#xff0c;掌握Cadence Virtuoso工具链的完整工作流程&#xff0c;…...

编程新知 2026/4/1 0:28:03

埃拉托斯特尼筛法（埃氏筛）完整解析

一、算法用途 快速找出 2 ~ n 之间的所有素数。 暴力判断每个数：O(nn​) 埃氏筛：O(nloglogn)，接近线性，极快。 二、核心思想 先假设所有数都是素数。 从最小素数 2 开始，把它的所有倍数标记为合数。 取下一个没被标记的数（一定是素数），继续标记它的倍数。 最后没被标记…...

编程新知 2026/3/31 22:56:37

IP被封禁？5招快速恢复访问权限

使用网站或平台时&#xff0c;如果你突然遇到“Your IP has been banned&#xff08;您的IP已被封禁&#xff09;”的提示&#xff0c;通常意味着该平台已经限制了你当前网络的访问权限。很多人第一反应是账号出问题&#xff0c;但实际上&#xff0c;IP封禁针对的是网络环境&am…...

编程新知 2026/3/31 22:56:37

springboot+vue基于web的社区养老服务系统的设计系统

目录同行可拿货,招校园代理 ,本人源头供货商系统功能模块分析服务预约模块社区互动模块后台管理模块技术实现要点项目技术支持源码获取详细视频演示 &#xff1a;文章底部获取博主联系方式&#xff01;同行可合作同行可拿货,招校园代理 ,本人源头供货商 系统功能模块分析 用户…...

编程新知 2026/3/31 20:38:06

Cursor 2.2的Visual Editor实战：如何像改Figma一样，5分钟重构一个Vue/React页面布局

Cursor 2.2的Visual Editor实战&#xff1a;如何像改Figma一样&#xff0c;5分钟重构一个Vue/React页面布局 重构老旧前端页面就像给老房子翻新——既要保留主体结构&#xff0c;又要让外观焕然一新。传统方式下&#xff0c;我们不得不在代码编辑器与浏览器之间反复切换&#x…...

编程新知 2026/3/31 20:34:01

不止是拆网卡：以联想ThinkCentre M7131z为例，聊聊老旧一体机的升级改造可能性

联想ThinkCentre M7131z改造指南&#xff1a;从拆网卡到全面性能升级 老旧商用一体机往往被贴上"性能瓶颈"的标签&#xff0c;但联想ThinkCentre M7131z系列却隐藏着令人惊喜的改造潜力。这台发布于2015年前后的商用一体机&#xff0c;凭借其模块化设计和充足的内部空…...

编程新知 2026/3/31 18:42:16

让通用 URL 准确落到目标 Page Builder：SAP Fiori 页面管理中的重定向实践

在很多 SAP Fiori 项目里，大家更容易把注意力放在 SAPUI5 组件、OData 服务、Launchpad 编排，或者 Fiori Elements 的元数据驱动开发上，却很少有人愿意花时间审视一条看似普通的访问路径。当系统进入页面管理阶段，尤其是管理员通过 Page Administration UI 去打开、维护、跳…...

编程新知 2026/3/31 18:40:11

Qwen3-14B私有化效果闭环：从部署→使用→反馈→迭代的完整链路

Qwen3-14B私有化效果闭环&#xff1a;从部署→使用→反馈→迭代的完整链路 1. 开箱即用的私有化部署方案 Qwen3-14B作为通义千问系列的最新大语言模型&#xff0c;在14B参数规模下展现出惊人的理解与生成能力。但对于企业用户而言&#xff0c;如何在自有环境中实现稳定、高效…...

编程新知 2026/3/31 18:17:55