spark3.0源码分析-driver-executor心跳机制
前言
driver和executor心跳机制分为两种机制：
1、executor发送心跳机制
2、driver接受心跳机制
至于为何要分为两种，原因是在分布式场景中，服务的稳定性是无法保障的，例如executor宕机后无法发送心跳，故driver端需要有executor心跳超时机制，同样如果是driver端宕机或者GC导致executor无法成功发送心跳，那么executor也有自己的超时结束进程的机制
1、executor心跳机制
executor向driver发送心跳的间隔默认[spark.executor.heartbeatInterval]：10s
心跳异常次数超过默认阈值[spark.executor.heartbeat.maxFailures]：60次
当超过阈值后executor会自杀，意味着executor会重试发送大约10分钟的心跳，但大部分不会发送到10分钟
因为driver在120s内没有接收到executor的请求后就会主动杀死executor进程[dirver心跳机制]，所以10分钟的场景适用于driver端挂掉的情况下executor自杀，退出错误码为56。
executor自动退出码：56
例如下图：生产中executor连接超时日志
2、driver心跳机制
driver对executor心跳的检测机制：当driver端检测到executor最后一次心跳时间距今超过了[spark.network.timeout]120s，则启动一个线程杀死executor进程[杀死的过程是请求集群管理器进行处理]
此时executor被杀死后的退出码应该是：143
生产中driver日志：
相关文章：
spark3.0源码分析-driver-executor心跳机制
前言 driver和executor心跳机制分为两种机制： 1、executor发送心跳机制 2、driver接受心跳机制 至于为何要分为两种，原因是在分布式场景中，服务的稳定性是无法保障的，例如executor宕机后无法发送心跳，故driver端需要…...
数据分析就要选择这款免费报表工具
对于一家企业来说，在日常运营的过程中本身就会产出很多的数据，那么这些数据本身就应该形成报表。可是如果只是选择手工的一种操作，确实需要浪费大量的人力物力。伴随着科技进入到快速发展的阶段，市面上更是出现了很多报表工具可以…...
node学习-3:服务器渲染和客户端渲染
1. 概念 一.服务端渲染，后端嵌套模板，后端渲染模板，SSR（后端把页面组装好） 做好静态页面，动态效果 把前端代码提供给后端，后端则把静态html以及里面的假数据给删除掉 通过模板进行动态生成h…...
LeetCode刷题笔记和周赛题解总目录
之前一段时间一直在刷LeetCode，在上面积累了很多笔记，这些笔记是做题过程中的一些重要积累和心得，现在将它们汇总和总结至此，此博客将不断更新。 刷题笔记(提供md和pdf两种格式可供下载，不断更新) LeetCode刷题笔记 …...
用类比方式学习编程中函数递归（个人理解仅供参考）（内含汉诺塔问题的求解）
目录 1.前言 2.递归的数学模型 3.相关的c语法 4.将递归的数学模型写成编程语言 5.利用类比方法将实际问题的代码写成函数递归的形式 例1: 例2: 6.汉诺塔问题的求解 1.前言 本人在学习函数递归编程方法的过程中，发现用类比的方式学习递归法可帮助我们在各种编…...
【云原生之Docker实战】使用Docker部署Taskover开源个人任务管理工具
【云原生之Docker实战】使用Docker部署Taskover 开源个人任务管理工具 一、Taskover介绍1.Taskover 简介2.Taskover功能二、检查本地docker环境1.检查系统版本2.检查docker版本3.检查docker状态4.检查docker compose版本三、下载Taskover镜像四、部署Taskover应用1.创建安装目录…...
5、SQL编程开发与注意事项
1.1 导入数据 导入测试库： 文档地址： https://dev.mysql.com/doc/employee/en/sakila-structure.html下载地址： https://github.com/datacharmer/test_db导入测试库： mysql -uroot -p -S < employees.sql 1.2 库操作 增：create database test character set utf8;删：d…...
Allegro如何通过视图显示区分动态和静态铜皮操作指导
Allegro如何通过视图显示区分动态和静态铜皮操作指导 用Allegro做PCB设计的时候，通常动态和静态铜皮是无法通过视图显示区分的，只能通过show element查看得知，如下图 左边铜皮是动态铜皮，右边是静态铜皮 但Allegro可以通过一些设置让动静态铜皮以不同效果显示出来 具体操…...
测试开发之Django实战示例 第十一章 渲染和缓存课程内容
第十一章 渲染和缓存课程内容在上一章中，使用了模型继承和通用关系建立弹性的课程、章节和内容的关联数据模型，并且建立了一个CMS系统，在其中使用了CBV，表单集和AJAX管理课程内容。在这一章将要做的事情是：创建公开对外…...
90%企业在探索的敏捷开发怎么做？极狐GitLab总结了这些逻辑与流程
本文来自： 彭亮 极狐(GitLab) 高级产品经理 毛超 极狐(GitLab) 研发工程师 极狐(GitLab) 市场部内容团队 “敏捷” 是指能够驾驭变化，保持组织竞争优势的一种能力。自 2001 年《敏捷宣言》以来，敏捷及敏捷开发理念逐渐席卷全球。中国信通院《…...
LeetCode-257. 二叉树的所有路径
目录题目分析递归法题目来源 257. 二叉树的所有路径 题目分析 前序遍历以及回溯的过程如图： 递归法 1.递归函数参数以及返回值 要传入根节点，记录每一条路径的path，和存放结果集的result，这里递归不需要返回值，代…...
测试用例该怎么设计？—— 日常加更篇（下）
😏作者简介：博主是一位测试管理者，同时也是一名对外企业兼职讲师。 📡主页地址：【Austin_zhai】 🙆目的与景愿：旨在于能帮助更多的测试行业人员提升软硬技能，分享行业相关最新信息。…...
Java基础:接口
1.接口的概念 当不是所有子类, 而是多个子类都包含一个方法时, 为了代码书写规范性, 可以用自定义的接口来统一该方法的书写规范. 所以接口可以看作是一种书写规则. 接口是对行为的抽象 抽象类一般是书写在父类当中, 接口是单独书写的, 不是一种类 2.接口的定义和使用 3.接口…...
vuex基础入门:uniapp实现用户登录授权实战
1.背景 vuex是数据共享方案之一,本文以微信小程序登录授权为例介绍一下vuex常用属性state、getters、mutations、actions. 2.基于uniapp实现微信小程序登录授权流程 1.凡是需要用户登录授权信息的页面创建时created方法中需要判断用户是否登录,需要使用本地缓存的token调用服务…...
Windows系统从权限维持角度进行应急响应
一、基本介绍 红队攻击者在对目标进行渗透利用后通常都会进行权限维持，以达到持续利用的目的。而作为防守方进行应急响应时，应该如何与技术高超（jiaohuajianzha）的攻击者斗智斗勇呢？或许可以通过本文可以找到答案。以…...
什么是DNS解析？如何提升DNS解析安全？
DNS解析是保障网站正常运行的一项重要服务，DNS解析出现故障，就会导致网站无法被访问或者被劫持到其他的站点，对业务正常开展造成很大影响，因此网站管理人员要高度关注DNS解析的安全，才能确保网站的正常运转，…...
电路学习笔记
电源部分 2s锂电池 6.4v-8.4v INA180A2IDBVR 电流检测放大器 OUT ADC1_CH0 to ESP32 可能功能：电源电流监测 稳压/电压监测 OUT ADC1_CH1 to ESP32 降压至2.046v-2.686v并通过电容保持稳定 可能功能：降压模块,电压监测 LDO ASM1117-3.3 低压差线性…...
C# 数据结构
目录 一、介绍 二、数组 三、List（列表） 四、Dictionary（字典） 五、Queue（队列） 六、Stack（栈） 七、Hashtable（哈希表） 结束 一、介绍 数据结构是计…...
powerjob的worker启动，研究完了这块代码之后我发现了，代码就是现实中我们码农的真实写照
这是一篇让你受益匪浅的文章，代码即使人生。 worker启动比server启动要复杂一些，毕竟worker是要实际干活的，工欲善其事必先利其器，所以需要准备的工具还是不能少的，server对于powerjob来说，只是一个调度用的…...
配置Qt Creator
前言 为了使Qt Creator更像您最喜欢的代码编辑器或IDE，您可以更改键盘快捷键、配色方案、通用高亮显示、代码片段和版本控制系统的设置。 检查生成和运行设置 Qt Creator是一个集成开发环境(IDE)，可以用来开发Qt应用程序。虽然您可以使用Qt Installer…...
＜6＞-MySQL表的增删查改
目录 一，create（创建表） 二，retrieve（查询表） 1，select列 2，where条件 三，update（更新表） 四，delete（删除表…...
P3 QT项目----记事本（3.8）
3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...
WordPress插件：AI多语言写作与智能配图、免费AI模型、SEO文章生成
厌倦手动写WordPress文章？AI自动生成，效率提升10倍！ 支持多语言、自动配图、定时发布，让内容创作更轻松！ AI内容生成 → 不想每天写文章？AI一键生成高质量内容！多语言支持 → 跨境电商必备&am…...
网络编程（UDP编程）
思维导图 UDP基础编程（单播） 1.流程图 服务器：短信的接收方 创建套接字 (socket)-----------------------------------------》有手机指定网络信息-----------------------------------------------》有号码绑定套接字 (bind)--------------…...
基于SpringBoot在线拍卖系统的设计和实现
摘 要 随着社会的发展，社会的各行各业都在利用信息化时代的优势。计算机的优势和普及使得各种信息系统的开发成为必需。 在线拍卖系统，主要的模块包括管理员；首页、个人中心、用户管理、商品类型管理、拍卖商品管理、历史竞拍管理、竞拍订单…...
ubuntu22.04有线网络无法连接，图标也没了
今天突然无法有线网络无法连接任何设备，并且图标都没了 错误案例 往上一顿搜索，试了很多博客都不行，比如 Ubuntu22.04右上角网络图标消失 最后解决的办法 下载网卡驱动，重新安装 操作步骤 查看自己网卡的型号 lspci | gre…...
aardio 自动识别验证码输入
技术尝试 上周在发学习日志时有网友提议“在网页上识别验证码”，于是尝试整合图像识别与网页自动化技术，完成了这套模拟登录流程。核心思路是：截图验证码→OCR识别→自动填充表单→提交并验证结果。 代码在这里 import soImage; import we…...
中科院1区顶刊|IF14+：多组学MR联合单细胞时空分析，锁定心血管代谢疾病的免疫治疗新靶点
中科院1区顶刊|IF14：多组学MR联合单细胞时空分析，锁定心血管代谢疾病的免疫治疗新靶点 当下，免疫与代谢性疾病的关联研究已成为生命科学领域的前沿热点。随着研究的深入，我们愈发清晰地认识到免疫系统与代谢系统之间存在着极为复…...
LeetCode 0386.字典序排数：细心总结条件
【LetMeFly】386.字典序排数：细心总结条件 力扣题目链接：https://leetcode.cn/problems/lexicographical-numbers/ 给你一个整数 n ，按字典序返回范围 [1, n] 内所有整数。 你必须设计一个时间复杂度为 O(n) 且使用 O(1) 额外空间的算法。…...
CentOS 7.9安装Nginx1.24.0时报 checking for LuaJIT 2.x ... not found
Nginx1.24编译时，报LuaJIT2.x错误， configuring additional modules adding module in /www/server/nginx/src/ngx_devel_kit ngx_devel_kit was configured adding module in /www/server/nginx/src/lua_nginx_module checking for LuaJIT 2.x ... not…...