当前位置： 首页 > news >正文

Flink-----Yarn应用模式作业提交流程

news 2026/5/23 4:21:23

Yarn应用模式作业提交流程

在Yarn当中又分为Session，PerJob，Application，建议和推荐使用独立集群的，其中就包含PerJob 和Application，但是1.17版本的Flink已将PerJob标记为过时，并且Application可以解决PerJob的一些痛点，减轻客户端的一些压力，所以需要重点了解Yarn应用模式的作业提交流程
在这里呢，我图里面把客户端给省略了，因为客户端在这里其实就相当于说什么也不干了，那我们第一步，当我们执行一个 run-application 这种提交方式之后，我们就直接提交向Yarn的ResourceManager发起请求了，之后呢会选择一个节点NodeManager启动一个容器，容器里面运行所谓的ApplicationMaster，这个其实就是咱们的JobManager，JobManager里面有三个核心组件，第一个组件是Dispatcher 分发器，对应会启动资源管理器，就是Flink内部的ResourceManager，再之后，分发器会去启动JobMaster，启动起来之后(注意跟前面Standalone模式下的的区别)，最原始的逻辑流图(StreamGraph)是在这边JobMaster生成的，因为咱们应用模式会将客户端原先做的解析，生成图，转成作业图这些操作都省略了，现在交给JobManager里面的JobMaster来做，所以它会解析用户代码生成逻辑流图(StreamGraph)就是最原始的图，再之后会进一步进行算子链的优化生成作业图(JobGraph)，再进一步会将作业图展开生成最核心的执行流图(ExecutionGraph)，再之后就和Standalone一样了，

相关文章：

Flink-----Yarn应用模式作业提交流程

Yarn应用模式作业提交流程 在Yarn当中又分为Session，PerJob，Application，建议和推荐使用独立集群的，其中就包含PerJob 和Application，但是1.17版本的Flink已将PerJob标记为过时，并且Application可以解决PerJob的一些痛点，减轻客户端的一些压力，所以需要重点了解Yarn应…...

编程日记 2023/8/16 9:26:01

Python学习笔记_基础篇(五)_数据类型之字典

一.基本数据类型 整数：int 字符串：str(注：\t等于一个tab键) 布尔值： bool 列表：list 列表用[] 元祖：tuple 元祖用（） 字典：dict 注：所有的数据类型都存在想对…...

编程日记 2023/8/16 9:25:00

【第三阶段】kotlin语言的安全调用操作符

？. fun main() {var name:String?"kotlin" //name是一个可空类型，发出广播，调用的地方必须补救措施namenullvar r name?.capitalize() //?. 如果namenull，那么?.的将不执行，就不会引发空指针异常prin…...

编程日记 2023/8/16 9:23:57

机器学习重要内容：特征工程之特征抽取

目录 1、简介 2、⭐为什么需要特征工程 3、特征抽取 3.1、简介 3.2、特征提取主要内容 3.3、字典特征提取 3.4、"one-hot"编码 3.5、文本特征提取 3.5.1、英文文本 3.5.2、结巴分词 3.5.3、中文文本 3.5.4、Tf-idf ⭐所属专栏：人工智能 文中提…...

编程日记 2023/8/16 9:22:56

Logic 2逻辑分析器捉到的CAN帧

代码开发环境 逻辑分析仪环境 MCU芯片环境&#xff1a;RH850/U2A16 逻辑分析器(LA)抓到的CAN帧 <完>...

编程日记 2023/8/16 9:21:54

手机的发展历史

目录 一.人类的通信方式变化 二.手机对人类通信的影响 三.手机的发展过程 四.手机对现代人的影响 一.人类的通信方式变化 人类通信方式的变化是一个非常广泛和复杂的话题&#xff0c;随着技术的进步和社会的发展&#xff0c;人类通信方式发生了许多重大的变化。下面是一些主…...

编程日记 2023/8/16 9:20:53

为什么要分库分表？

不急于上手实战 ShardingSphere 框架&#xff0c;先来复习下分库分表的基础概念&#xff0c;技术名词大多晦涩难懂&#xff0c;不要死记硬背理解最重要&#xff0c;当你捅破那层窗户纸&#xff0c;发现其实它也就那么回事。 什么是分库分表 分库分表是在海量数据下&#xff0…...

编程日记 2023/8/16 9:19:52

Unity游戏源码分享-中国象棋Unity5.6版本

Unity游戏源码分享-中国象棋Unity5.6版本 项目地址&#xff1a; https://download.csdn.net/download/Highning0007/88215699...

编程日记 2023/8/16 9:18:51

打造专属花店展示小程序

在当今社会&#xff0c;微信小程序已经成为了各行各业拓展客户资源的利器&#xff0c;而花店行业也不例外。通过打造一个独特的花店小程序&#xff0c;你可以为你的花店带来更多的曝光和客户资源。那么&#xff0c;如何制作一个专属的花店小程序呢&#xff1f;下面我们就来一步…...

编程日记 2023/8/16 9:17:49

SpringBoot整合、SpringBoot与异步任务

目录 一、背景描述二、简单使用方法三、原理五、使用自定义线程池1、默认使用2、如何使用自定义线程池 六、Async失效情况1、同一个类中&#xff0c;一个方法调用 Async标注的方法 一、背景描述 java 的代码是同步顺序执行&#xff0c;当我们需要执行异步操作时我们通常会去创…...

编程日记 2023/8/16 9:16:48

复习1-2天【80天学习完《深入理解计算机系统》】第六天

专注 效率 记忆 预习 笔记 复习 做题 欢迎观看我的博客&#xff0c;如有问题交流&#xff0c;欢迎评论区留言&#xff0c;一定尽快回复&#xff01;&#xff08;大家可以去看我的专栏&#xff0c;是所有文章的目录&#xff09; 　 文章字体风格&#xff1a; 红色文字表示&#…...

编程日记 2023/8/16 9:15:46

62、华为昇腾开发板Atlas 200I DK A2配置mmpose的hrnet模型推理python/c++

基本思想&#xff1a;适配mmpose模型&#xff0c;记录一下流水帐&#xff0c;环境配置和模型来自&#xff0c;请查看参考链接。 链接: https://pan.baidu.com/s/1IkiwuZf1anyKX1sZkYmD1g?pwdi51s 提取码: i51s 一、转模型 (base) rootdavinci-mini:~/sxj731533730# atc --mo…...

编程日记 2023/8/16 9:14:44

【数据结构】双链表

大家好&#xff01;今天我们来学习数据结构中的双链表。&#xff08;我们这里讲解的是带头&#xff08;哨兵位&#xff09;双向循环链表哦~&#xff09; 目录 1.双链表的概念 2. 双链表的逻辑结构 3. 双链表的定义 4. 双链表的接口实现 4.1 动态申请一个新结点 4.2 双链表…...

编程日记 2023/8/16 9:13:42

android设置竖屏仍然跟随屏幕旋转怎么办

如题所问&#xff0c;我最近遇到一个bug&#xff0c;就是设置了摇感&#xff0c;然后有用户反馈说设置了手机下拉的系统设置-屏幕旋转-关闭。然后屏幕还是会旋转的问题。 首先&#xff0c;我们先从如何设置横竖屏了解下好了 设置横屏和竖屏的方法&#xff1a; 方法一&#x…...

编程日记 2023/8/16 9:12:41

java spring cloud 企业电子招标采购系统源码:营造全面规范安全的电子招投标环境，促进招投标市场健康可持续发展 tbms

​ 项目说明 随着公司的快速发展&#xff0c;企业人员和经营规模不断壮大&#xff0c;公司对内部招采管理的提升提出了更高的要求。在企业里建立一个公平、公开、公正的采购环境&#xff0c;最大限度控制采购成本至关重要。符合国家电子招投标法律法规及相关规范&#xff0c;以…...

编程日记 2023/8/16 9:11:39

【Java】2021 RoboCom 机器人开发者大赛-高职组（初赛）题解

7-1 机器人打招呼 机器人小白要来 RoboCom 参赛了&#xff0c;在赛场中遇到人要打个招呼。请你帮它设置好打招呼的这句话&#xff1a;“ni ye lai can jia RoboCom a?”。 输入格式&#xff1a; 本题没有输入。 输出格式&#xff1a; 在一行中输出 ni ye lai can jia Robo…...

编程日记 2023/8/16 9:10:38

汽车制造业上下游协作时 外发数据如何防泄露？

数据文件是制造业企业的核心竞争力&#xff0c;一旦发生数据外泄&#xff0c;就会给企业造成经济损失&#xff0c;严重的&#xff0c;可能会带来知识产权剽窃损害、名誉伤害等。汽车制造业&#xff0c;会涉及到重要的汽车设计图纸&#xff0c;像小米发送汽车设计图纸外泄事件并…...

编程日记 2023/8/16 9:09:37

H13-922题库 HCIP-GaussDB-OLAP V1.5

**H13-922 V1.5 GaussDB(DWS) OLAP题库 华为认证GaussDB OLAP数据库高级工程师HCIP-GaussDB-OLAP V1.0自2019年10月18日起&#xff0c;正式在中国区发布。当前版本V1.5 考试前提&#xff1a; 掌握基本的数据库基础知识、掌握数据仓库运维的基础知识、掌握基本Linux运维知识、…...

编程日记 2023/8/16 9:08:36

美团视觉GPU推理服务部署架构优化实战

&#x1f337;&#x1f341; 博主 libin9iOak带您 Go to New World.✨&#x1f341; &#x1f984; 个人主页——libin9iOak的博客&#x1f390; &#x1f433; 《面试题大全》 文章图文并茂&#x1f995;生动形象&#x1f996;简单易学&#xff01;欢迎大家来踩踩~&#x1f33…...

编程日记 2023/8/16 9:07:35

什么是前端框架？怎么学习？ - 易智编译EaseEditing

前端框架是一种用于开发Web应用程序界面的工具集合&#xff0c;它提供了一系列预定义的代码和结构&#xff0c;以简化开发过程并提高效率。 前端框架通常包括HTML、CSS和JavaScript的库和工具&#xff0c;用于构建交互式、动态和响应式的用户界面。 学习前端框架可以让您更高效…...

编程日记 2023/8/16 9:06:33

CH340串口调试进阶：手把手教你搭建RS422转TTL双机通信测试环境

CH340串口调试进阶&#xff1a;手把手教你搭建RS422转TTL双机通信测试环境 在工业自动化、物联网设备开发中&#xff0c;稳定可靠的串行通信是设备间数据交互的基石。当传输距离超过几米&#xff0c;或环境存在电磁干扰时&#xff0c;传统的TTL电平通信就会暴露出抗干扰能力弱、…...

编程新知 2026/5/23 2:47:51

SAR ADC工作原理、设计挑战与工程实践全解析

1. 项目概述&#xff1a;从“快枪手”到“精算师”的转换艺术在模拟信号与数字世界之间架起桥梁&#xff0c;是ADC&#xff08;模数转换器&#xff09;的核心使命。而在众多ADC架构中&#xff0c;SAR ADC&#xff08;逐次逼近寄存器型模数转换器&#xff09;因其独特的“二分搜…...

编程新知 2026/5/23 2:08:42

2026年，写给所有还在迷茫的技术人：你的坚持终将闪耀

站在2026年的节点回望&#xff0c;整个互联网行业的寒潮似乎还没完全退去&#xff0c;AI大模型重构业务逻辑的浪潮又拍在了每个技术人的岸边。尤其是对千万软件测试从业者来说&#xff0c;这种迷茫感来得更加具体&#xff1a;手工测试岗位不断被自动化脚本挤压&#xff0c;纯功…...

编程新知 2026/5/23 1:18:03

5分钟上手京东自动抢购工具：Python脚本让限量商品轻松到手

5分钟上手京东自动抢购工具&#xff1a;Python脚本让限量商品轻松到手 【免费下载链接】autobuy-jd 使用python语言的京东平台抢购脚本 项目地址: https://gitcode.com/gh_mirrors/au/autobuy-jd 还在为抢不到心仪商品而烦恼吗&#xff1f;Autobuy-JD京东自动抢购工具为…...

编程新知 2026/5/23 1:18:03

Vue大屏自适应解决方案：如何应对多分辨率设备下的数据可视化挑战

Vue大屏自适应解决方案&#xff1a;如何应对多分辨率设备下的数据可视化挑战 【免费下载链接】v-scale-screen Vue large screen adaptive component vue大屏自适应组件 项目地址: https://gitcode.com/gh_mirrors/vs/v-scale-screen 在数字化转型浪潮中&#xff0c;企业…...

编程新知 2026/5/22 22:07:44

Tokenizer与Embedding

Transformers 系列文章目录 第一章 Transformers 简介 第二章 Transformers 模型推理&#xff1b; 第三章 Tokenizer 与 Embedding 文章目录Transformers 系列文章目录前言Tokenizer与Embedding一、Tokenizer&#xff08;分词器&#xff09;和Embedding&#xff08;词嵌入&a…...

编程新知 2026/5/22 22:03:41

Unity UGUI Mask与3D对象Stencil裁剪失效的根因解析

1. 这不是“Stencil失效”&#xff0c;而是 Unity 渲染管线里一场被忽略的层级静默冲突 你有没有试过在 UGUI ScrollView 里放一个带 Mask 的滚动区域&#xff0c;再把一个 3D 模型&#xff08;比如一个带透明材质的粒子特效、或者一个半透的 UI 面板&#xff09;叠在它上面&am…...

编程新知 2026/5/22 21:38:52

AI智能切片不是‘一键分割’就完事：批量口播视频的工程化切片陷阱与工具选型

Hook你是否试过把一小时口播音频丢进某款‘AI切片工具’&#xff0c;结果导出37条视频——其中12条开头卡在‘呃…’上&#xff0c;8条结尾截断在半句话里&#xff0c;还有5条字幕和画面完全不同步&#xff1f;更糟的是&#xff0c;换一批素材&#xff0c;模型表现又不稳定。这…...

编程新知 2026/5/22 20:21:15

Veo生成模糊/断帧/色偏？立刻停用默认设置！20年视频架构师紧急发布的5项必改Veo 2K/4K硬核配置

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;Veo 2K/4K视频生成质量崩塌的根源诊断 当Veo模型在2K或4K分辨率下输出视频时&#xff0c;高频细节严重丢失、运动伪影显著增强、纹理结构模糊化&#xff0c;这一现象并非单纯算力不足所致&#xff0c;而…...

编程新知 2026/5/22 20:02:27

告别应用层延时！在迅为RK3568开发板上，将RS485收发切换彻底交给Linux内核驱动

告别应用层延时&#xff01;在迅为RK3568开发板上将RS485收发切换彻底交给Linux内核驱动 工业自动化领域对通信实时性的要求近乎苛刻&#xff0c;当RS485总线上挂载的多个设备响应时间参差不齐时&#xff0c;应用层手动控制的收发切换就像用机械表校准原子钟——看似可行实则漏…...

编程新知 2026/5/22 18:50:48