spark3.0源码分析-driver-executor心跳机制
前言
driver和executor心跳机制分为两种机制：
1、executor发送心跳机制
2、driver接受心跳机制
至于为何要分为两种，原因是在分布式场景中，服务的稳定性是无法保障的，例如executor宕机后无法发送心跳，故driver端需要有executor心跳超时机制，同样如果是driver端宕机或者GC导致executor无法成功发送心跳，那么executor也有自己的超时结束进程的机制
1、executor心跳机制
executor向driver发送心跳的间隔默认[spark.executor.heartbeatInterval]：10s
心跳异常次数超过默认阈值[spark.executor.heartbeat.maxFailures]：60次
当超过阈值后executor会自杀，意味着executor会重试发送大约10分钟的心跳，但大部分不会发送到10分钟
因为driver在120s内没有接收到executor的请求后就会主动杀死executor进程[dirver心跳机制]，所以10分钟的场景适用于driver端挂掉的情况下executor自杀，退出错误码为56。
executor自动退出码：56
例如下图：生产中executor连接超时日志
2、driver心跳机制
driver对executor心跳的检测机制：当driver端检测到executor最后一次心跳时间距今超过了[spark.network.timeout]120s，则启动一个线程杀死executor进程[杀死的过程是请求集群管理器进行处理]
此时executor被杀死后的退出码应该是：143
生产中driver日志：
相关文章：
spark3.0源码分析-driver-executor心跳机制
前言 driver和executor心跳机制分为两种机制： 1、executor发送心跳机制 2、driver接受心跳机制 至于为何要分为两种，原因是在分布式场景中，服务的稳定性是无法保障的，例如executor宕机后无法发送心跳，故driver端需要…...
数据分析就要选择这款免费报表工具
对于一家企业来说，在日常运营的过程中本身就会产出很多的数据，那么这些数据本身就应该形成报表。可是如果只是选择手工的一种操作，确实需要浪费大量的人力物力。伴随着科技进入到快速发展的阶段，市面上更是出现了很多报表工具可以…...
node学习-3:服务器渲染和客户端渲染
1. 概念 一.服务端渲染，后端嵌套模板，后端渲染模板，SSR（后端把页面组装好） 做好静态页面，动态效果 把前端代码提供给后端，后端则把静态html以及里面的假数据给删除掉 通过模板进行动态生成h…...
LeetCode刷题笔记和周赛题解总目录
之前一段时间一直在刷LeetCode，在上面积累了很多笔记，这些笔记是做题过程中的一些重要积累和心得，现在将它们汇总和总结至此，此博客将不断更新。 刷题笔记(提供md和pdf两种格式可供下载，不断更新) LeetCode刷题笔记 …...
用类比方式学习编程中函数递归（个人理解仅供参考）（内含汉诺塔问题的求解）
目录 1.前言 2.递归的数学模型 3.相关的c语法 4.将递归的数学模型写成编程语言 5.利用类比方法将实际问题的代码写成函数递归的形式 例1: 例2: 6.汉诺塔问题的求解 1.前言 本人在学习函数递归编程方法的过程中，发现用类比的方式学习递归法可帮助我们在各种编…...
【云原生之Docker实战】使用Docker部署Taskover开源个人任务管理工具
【云原生之Docker实战】使用Docker部署Taskover 开源个人任务管理工具 一、Taskover介绍1.Taskover 简介2.Taskover功能二、检查本地docker环境1.检查系统版本2.检查docker版本3.检查docker状态4.检查docker compose版本三、下载Taskover镜像四、部署Taskover应用1.创建安装目录…...
5、SQL编程开发与注意事项
1.1 导入数据 导入测试库： 文档地址： https://dev.mysql.com/doc/employee/en/sakila-structure.html下载地址： https://github.com/datacharmer/test_db导入测试库： mysql -uroot -p -S < employees.sql 1.2 库操作 增：create database test character set utf8;删：d…...
Allegro如何通过视图显示区分动态和静态铜皮操作指导
Allegro如何通过视图显示区分动态和静态铜皮操作指导 用Allegro做PCB设计的时候，通常动态和静态铜皮是无法通过视图显示区分的，只能通过show element查看得知，如下图 左边铜皮是动态铜皮，右边是静态铜皮 但Allegro可以通过一些设置让动静态铜皮以不同效果显示出来 具体操…...
测试开发之Django实战示例 第十一章 渲染和缓存课程内容
第十一章 渲染和缓存课程内容在上一章中，使用了模型继承和通用关系建立弹性的课程、章节和内容的关联数据模型，并且建立了一个CMS系统，在其中使用了CBV，表单集和AJAX管理课程内容。在这一章将要做的事情是：创建公开对外…...
90%企业在探索的敏捷开发怎么做？极狐GitLab总结了这些逻辑与流程
本文来自： 彭亮 极狐(GitLab) 高级产品经理 毛超 极狐(GitLab) 研发工程师 极狐(GitLab) 市场部内容团队 “敏捷” 是指能够驾驭变化，保持组织竞争优势的一种能力。自 2001 年《敏捷宣言》以来，敏捷及敏捷开发理念逐渐席卷全球。中国信通院《…...
LeetCode-257. 二叉树的所有路径
目录题目分析递归法题目来源 257. 二叉树的所有路径 题目分析 前序遍历以及回溯的过程如图： 递归法 1.递归函数参数以及返回值 要传入根节点，记录每一条路径的path，和存放结果集的result，这里递归不需要返回值，代…...
测试用例该怎么设计？—— 日常加更篇（下）
😏作者简介：博主是一位测试管理者，同时也是一名对外企业兼职讲师。 📡主页地址：【Austin_zhai】 🙆目的与景愿：旨在于能帮助更多的测试行业人员提升软硬技能，分享行业相关最新信息。…...
Java基础:接口
1.接口的概念 当不是所有子类, 而是多个子类都包含一个方法时, 为了代码书写规范性, 可以用自定义的接口来统一该方法的书写规范. 所以接口可以看作是一种书写规则. 接口是对行为的抽象 抽象类一般是书写在父类当中, 接口是单独书写的, 不是一种类 2.接口的定义和使用 3.接口…...
vuex基础入门:uniapp实现用户登录授权实战
1.背景 vuex是数据共享方案之一,本文以微信小程序登录授权为例介绍一下vuex常用属性state、getters、mutations、actions. 2.基于uniapp实现微信小程序登录授权流程 1.凡是需要用户登录授权信息的页面创建时created方法中需要判断用户是否登录,需要使用本地缓存的token调用服务…...
Windows系统从权限维持角度进行应急响应
一、基本介绍 红队攻击者在对目标进行渗透利用后通常都会进行权限维持，以达到持续利用的目的。而作为防守方进行应急响应时，应该如何与技术高超（jiaohuajianzha）的攻击者斗智斗勇呢？或许可以通过本文可以找到答案。以…...
什么是DNS解析？如何提升DNS解析安全？
DNS解析是保障网站正常运行的一项重要服务，DNS解析出现故障，就会导致网站无法被访问或者被劫持到其他的站点，对业务正常开展造成很大影响，因此网站管理人员要高度关注DNS解析的安全，才能确保网站的正常运转，…...
电路学习笔记
电源部分 2s锂电池 6.4v-8.4v INA180A2IDBVR 电流检测放大器 OUT ADC1_CH0 to ESP32 可能功能：电源电流监测 稳压/电压监测 OUT ADC1_CH1 to ESP32 降压至2.046v-2.686v并通过电容保持稳定 可能功能：降压模块,电压监测 LDO ASM1117-3.3 低压差线性…...
C# 数据结构
目录 一、介绍 二、数组 三、List（列表） 四、Dictionary（字典） 五、Queue（队列） 六、Stack（栈） 七、Hashtable（哈希表） 结束 一、介绍 数据结构是计…...
powerjob的worker启动，研究完了这块代码之后我发现了，代码就是现实中我们码农的真实写照
这是一篇让你受益匪浅的文章，代码即使人生。 worker启动比server启动要复杂一些，毕竟worker是要实际干活的，工欲善其事必先利其器，所以需要准备的工具还是不能少的，server对于powerjob来说，只是一个调度用的…...
配置Qt Creator
前言 为了使Qt Creator更像您最喜欢的代码编辑器或IDE，您可以更改键盘快捷键、配色方案、通用高亮显示、代码片段和版本控制系统的设置。 检查生成和运行设置 Qt Creator是一个集成开发环境(IDE)，可以用来开发Qt应用程序。虽然您可以使用Qt Installer…...
基于Transformer架构解析：Nanbeige 4.1-3B 模型原理与性能调优
基于Transformer架构解析：Nanbeige 4.1-3B 模型原理与性能调优 最近在星图GPU平台上部署和测试Nanbeige 4.1-3B模型时，我发现很多朋友对Transformer架构的理解还停留在“听说过”的阶段，对模型参数、显存占用这些概念更是感到头疼。其实&…...
c++ 20 有什么新的功能
C20 是继 C11 之后最具革命性的 C 标准更新之一，引入了许多强大的新特性，旨在提高代码的表达力、类型安全性、编译效率和开发体验。以下是 C20 的主要新功能分类总结：一、四大核心语言特性1. 模块（Modules）目的&#x…...
水塔水位西门子S7-1200PLC和MCGS7.7联机程序博途V16，带io表和注释
水塔水位西门子S7-1200PLC和MCGS7.7联机程序博途V16，带io表和注释，V20变频器接线说明水塔水位控制是工业自动化中常见的应用场景，今天咱们聊聊如何用西门子S7-1200 PLC和MCGS7.7触摸屏搭个联机控制系统。实际项目中遇到过水位传感器信号跳变的…...
终极OpenCV图像编解码实战指南：从模糊到清晰的格式选择技巧
终极OpenCV图像编解码实战指南：从模糊到清晰的格式选择技巧 【免费下载链接】opencv OpenCV: 开源计算机视觉库 项目地址: https://gitcode.com/gh_mirrors/opencv31/opencv OpenCV作为开源计算机视觉库，其强大的图像编解码能力是计算机视觉开发的…...
[搭建Web漏洞靶场：DVWA在CentOS上的部署]
//DVWA 是一个用来进行安全脆弱性鉴定的Web应用平台，可以手动调整靶机源代码的安全级别，包含暴力破解、命令行注入、跨站请求伪造、文件包含、文件上传、SQL注入、XSS等漏洞。（1）下载安装包通过网盘分享的文件：DVWA-ma…...
一个店铺被TRO，会连累同一主体的其他店铺吗？
SellerAegis卖家守护视角下的跨境账号风险全解析在跨境电商运营中，TRO（Temporary Restraining Order，临时限制令）已经成为卖家最为警惕的法律风险之一。许多卖家在遭遇TRO时，最焦虑的问题往往不是当前店铺被冻结&#…...
OpenClaw问题诊断：Qwen3.5-4B-Claude模型执行失败常见原因分析
OpenClaw问题诊断：Qwen3.5-4B-Claude模型执行失败常见原因分析 1. 问题背景与诊断思路 上周在尝试用OpenClaw自动化处理技术文档时，遇到了模型执行中断的问题。当时任务卡在"分析Markdown文档结构"环节，控制台只留下一行模糊的错…...
Vivado GUI隐藏技巧：如何手动修改OOC模式IP的时钟频率（附200MHz实战案例）
Vivado GUI隐藏技巧：如何手动修改OOC模式IP的时钟频率（附200MHz实战案例） 在FPGA开发中，Vivado的IP核(IP Catalog)功能极大提升了设计效率，但OOC(Out-of-Context)模式下IP核的时钟频率设置却常常让初学者困惑。当你在G…...
AI算力狂飙背后的秘密：当“稳重老哥”Gloo遇上“极速引擎”NCCL
AI工业大炼丹的隐秘功臣 当我们谈论深度学习的飞速发展时，聚光灯往往打在那些参数量动辄千亿的巨型语言模型上。然而，这些庞然大物能够在合理的时间内训练完成，绝非单台机器单张显卡的功劳，而是成百上千台计算节点共同协作的奇迹。…...
Nitrox模组：如何将Subnautica的单人深海恐惧变为团队协作冒险
Nitrox模组：如何将Subnautica的单人深海恐惧变为团队协作冒险 【免费下载链接】Nitrox An open-source, multiplayer modification for the game Subnautica. 项目地址: https://gitcode.com/gh_mirrors/ni/Nitrox 当你第一次潜入4546B行星的海洋时ÿ…...