Spark 中 RDD checkpoint 是通过启动两个独立的 Job 完成的。
在 Spark 中,RDD checkpoint 是通过启动两个独立的 Job 完成的。这两个 Job 分别用于生成 checkpoint 数据和更新依赖关系。下面从源码角度深入分析这个机制。
1. 为什么需要两个 Job?
当调用 RDD.checkpoint() 后:
- 第一个 Job:将 RDD 的每个分区数据计算后,写入到指定的 checkpoint 存储位置(如 HDFS)。这个步骤的目的是将 RDD 数据物化为可靠存储,减少后续计算的成本。
- 第二个 Job:在 checkpoint 成功完成后,更新 RDD 的依赖关系,将原始的血缘依赖(lineage)替换为从 checkpoint 存储加载数据的依赖。这个步骤的目的是确保后续的计算直接基于 checkpoint 数据,而不是重新计算血缘链。
这两个 Job 是独立的,且按顺序执行,确保 checkpoint 的一致性。
2. 源码分析
以下是 Spark RDD checkpoint 的源码路径和执行过程分析。
2.1 RDD.checkpoint() 的入口
调用 RDD.checkpoint() 方法时:
def checkpoint(): Unit = {if (!isCheckpointedAndMaterialized) {sc.checkpointFile[RDD类型](this)}
}
此方法会:
- 检查是否已经 checkpointed,如果是,直接返回。
- 如果没有,则调用
SparkContext的checkpointFile方法,提交一个任务将数据写入存储。
2.2 SparkContext.checkpointFile()
def checkpointFile[T: ClassTag](rdd: RDD[T]): Unit = {val cpManager = env.checkpointManagercpManager.addCheckpoint(rdd)
}
这里调用了 CheckpointManager 来处理 checkpoint 逻辑。
2.3 CheckpointManager 的作用
CheckpointManager 的核心任务是管理 checkpoint 的执行,分为以下两步:
2.3.1 第一个 Job:生成 checkpoint 数据
- 提交一个 Job,将 RDD 的每个分区数据写入存储。
代码核心逻辑:
def checkpointData[T](rdd: RDD[T]): Unit = {if (!rdd.isCheckpointed) {val newRDD = rdd.materialize() // 触发 RDD 的计算和数据写入rdd.updateCheckpointData(newRDD)}
}
关键点:
- 调用
materialize()触发 Job 提交:- 每个分区的数据会被写入到 checkpoint 目录中(例如 HDFS)。
- 使用的存储格式通常是 Sequence File。
- 数据写入存储后,生成一个新的 RDD。
2.3.2 第二个 Job:更新 RDD 的依赖关系
在 checkpoint 数据写入成功后,RDD 的依赖关系会被替换为从 checkpoint 文件加载数据的依赖。
def updateCheckpointData[T](rdd: RDD[T]): Unit = {rdd.dependencies.clear() // 清除原始的血缘依赖rdd.dependencies += new FileDependency(rdd.checkpointFile)
}
核心逻辑:
- 清除原来的 RDD 血缘关系。
- 为 RDD 添加一个新的文件依赖
FileDependency,确保后续任务直接读取 checkpoint 数据文件,而不是重新计算 lineage。
2.4 为什么需要分成两个 Job?
Spark 使用两个 Job 的原因是分离两种任务的目的:
- 第一个 Job 物化数据:确保所有 RDD 的分区数据被安全地保存到 checkpoint 目录。
- 第二个 Job 更新依赖关系:确保原 RDD 的 lineage 被替换为 checkpoint 数据的直接引用。
这种设计实现了:
- 容错性:即使第一个 Job 出现问题,原始 RDD 的血缘依赖仍然存在。
- 灵活性:两个 Job 分离后,可以分别处理物化和依赖更新的逻辑。
3. 示例说明
以下代码展示了两个 Job 的触发过程:
代码
val rdd = sc.parallelize(1 to 10).map(x => x * x)
rdd.checkpoint()// 触发 checkpoint 计算
println(rdd.collect().mkString(","))
运行过程
-
第一个 Job
- 提交一个任务,计算 RDD 的每个分区数据,并将结果写入 checkpoint 存储。
- 假设有两个分区,Job 会生成类似以下文件:
hdfs://checkpointDir/rdd_1/part-00000 hdfs://checkpointDir/rdd_1/part-00001
-
第二个 Job
- 更新 RDD 的依赖关系。
- 重新定义 RDD 的血缘链,指向 checkpoint 文件,而不是原始计算逻辑。
4. 性能与优化建议
4.1 小文件问题
如果 RDD 分区过多,checkpoint 会在存储中产生大量小文件,增加存储和读取成本。建议:
- 合理设置分区数(
coalesce()或repartition())。 - 优化存储系统(如 HDFS 的 block size)。
4.2 持久化与 checkpoint 配合
由于 checkpoint 需要在计算过程中生成数据,可以结合 persist() 使用,避免重复计算:
rdd.persist(StorageLevel.MEMORY_AND_DISK)
rdd.checkpoint()
4.3 避免不必要的 checkpoint
不要对不重要的 RDD 或生命周期较短的 RDD 设置 checkpoint,避免浪费计算资源。
5. 总结
在 Spark 中,RDD checkpoint 会启动两个 Job:
- 第一个 Job:物化 RDD 数据,将分区数据写入 checkpoint 存储。
- 第二个 Job:更新 RDD 的依赖,将 lineage 替换为对 checkpoint 文件的引用。
这种设计保证了容错性和灵活性,但也引入了一定的性能开销。合理使用 checkpoint 是优化 Spark 应用性能的重要手段。
相关文章:
Spark 中 RDD checkpoint 是通过启动两个独立的 Job 完成的。
在 Spark 中,RDD checkpoint 是通过启动两个独立的 Job 完成的。这两个 Job 分别用于生成 checkpoint 数据和更新依赖关系。下面从源码角度深入分析这个机制。 1. 为什么需要两个 Job? 当调用 RDD.checkpoint() 后: 第一个 Job:…...
如何下载TikTok视频没有水印
随着短视频平台的普及,TikTok(抖音国际版)成为了全球最受欢迎的社交媒体平台之一。它吸引了无数创作者发布自己的短视频内容,内容涵盖了舞蹈、搞笑、挑战、教程、旅行等各个方面。与此用户也常常希望能够下载自己喜欢的TikTok视频…...
天童美语:提升孩子的自信心的方法
每个孩子都渴望展翅高飞,但在成长的旅途中,难免会遇到风雨。不自信,就像一层薄雾,有时悄悄笼罩在孩子心头,阻碍了他们向阳而生的脚步。宁波天童教育认为,身为家长,我们的使命不仅是孩子的庇护伞…...
【网络编程】字节序:大端序和小端序
端序(Endianness),又称字节顺序,又称尾序,在计算机科学领域中,指存储器中或在数字通信链路中,组成多字节的字的字节的排列顺序。 在几乎所有的机器上,多字节对象都被存储为连续的字…...
视频融合×室内定位×数字孪生
随着物联网技术的迅猛发展,室内定位与视频融合技术在各行各业中得到了广泛应用。不仅能够提供精确的位置信息,还能通过实时视频监控实现全方位数据的可视化。 与此同时,数字孪生等技术的兴起为智慧城市、智慧工厂等应用提供了强大支持&#…...
RK3568平台开发系列讲解(platform虚拟总线驱动篇)注册 platform 驱动
🚀返回专栏总目录 文章目录 一、注册 platform 驱动二、platform_driver 结构体沉淀、分享、成长,让自己和他人都能有所收获!😄 一、注册 platform 驱动 platform_driver_register 函数用于在 Linux 内核中注册一个平台驱动程序。 下面是对该函数的详细介绍: 函数原型…...
Jmeter进阶篇(26)杀掉Tomcat的几种方法
📚Jmeter性能测试大全:Jmeter性能测试大全系列教程❤,这里有你想要的一切,欢迎订阅哦~ 📚前言 Tomcat 是一个广泛使用的开源 Java Servlet 容器,用于部署和运行 Java Web 应用程序。在我们进行压测测试过程中,很可能遇到被测系统崩溃,需要我们来操作一下子Tomcat的情…...
Solana 区块链的技术解析及未来展望 #dapp开发#公链搭建
随着区块链技术的不断发展和应用场景的扩展,性能和可拓展性成为各大公链竞争的关键因素。Solana(SOL)因其高吞吐量、低延迟和低成本的技术特性,在众多区块链项目中脱颖而出,被誉为“以太坊杀手”之一。本文将从技术层面…...
SMO算法-核方法支持向量机
我们现在的问题是要优化目标函数,同时求出参数向量 α \alpha α P m i n ⏟ α 1 2 ∑ i 1 , j 1 m α i α j y i y j K ( x i , x j ) − ∑ i 1 m α i s . t . ∑ i 1 m α i y i 0 0 ≤ α i ≤ C P\underbrace{ min }_{\alpha} \frac{1}{2}\sum\li…...
Java项目实战II基于微信小程序的科创微应用平台(开发文档+数据库+源码)
目录 一、前言 二、技术介绍 三、系统实现 四、文档参考 五、核心代码 六、源码获取 全栈码农以及毕业设计实战开发,CSDN平台Java领域新星创作者,专注于大学生项目实战开发、讲解和毕业答疑辅导。获取源码联系方式请查看文末 一、前言 随着科技的…...
HTTP代理是什么,有什么用?
在互联网的世界里,数据采集已经成为许多企业和个人获取信息的重要手段。而在这个过程中,HTTP代理则是一个不可或缺的工具。那么,HTTP代理究竟是什么?它在数据采集中又有什么用呢?今天,我们就来深入探讨一下…...
Postman之newman
Postman之newman 1.基础环境node安装1.1.配置环境变量1.2.安装newman和html报告组件 2.newman运行 newman可以理解为,没有命令行的postman,把写好的测试脚本直接在命令行中运行,newman依赖于node环境,因此,需要先安装好…...
数据库查询表结构和数据量以及占用空间
数据库查询表结构和数据量以及占用空间 数据库查询表结构 mysql SELECT COLUMN_NAME 列名, COLUMN_TYPE 数据类型, DATA_TYPE 字段类型, CHARACTER_MAXIMUM_LENGTH 长度, IS_NULLABLE 是否为空, COLUMN_DEFAULT 默认值, COLUMN_COMMENT 备注 FROM INFORMATION_SC…...
android 性能分析工具(03)Android Studio Profiler及常见性能图表解读
说明:主要解读Android Studio Profiler 和 常见性能图表。 Android Studio的Profiler工具是一套功能强大的性能分析工具集,它可以帮助开发者实时监控和分析应用的性能,包括CPU使用率、内存使用、网络活动和能耗等多个方面。以下是对Android …...
vscode 执行 vue 命令无效/禁止运行
在cmd使用命令可以创建vue项目但是在vscode上面使用命令却不行 一、问题描述 在 cmd 中已确认vue、node、npm命令可以识别运行,但是在 vscode 编辑器中 vue 命令被禁止,详细报错为:vue : 无法加载文件 D:\Software\nodejs\node_global\vue.…...
C++语言系列-STL容器和算法
C语言系列-STL容器 容器类 本文将对C语言中的标准模板库STL容器进行简单介绍,重点在于如何使用。 容器类 STL中的容器包括以下类别: vector: 动态数组,底层基于数组来实现,在容量不足的时候能够自动进行扩容。list: 链表stack: …...
【Web前端】Promise的使用
Promise是异步编程的核心概念之一。代表一个可能尚未完成的操作,并提供了一种机制来处理该操作最终的成功或失败。具体来说,Promise是由异步函数返回的对象,能够指示该操作当前所处的状态。 当Promise被创建时,它会处于“待定”&a…...
TDK推出第二代用于汽车安全应用的6轴IMU
近日,据外媒报道,TDK株式会社推出用于汽车安全应用的第二代6轴 IMU,即为TDK InvenSense SmartAutomotive MEMS传感器系列增加了IAM-20685HP和IAM-20689,为决策算法提供可靠的运动数据,并实时准确地检测车辆动态。这对于…...
免费S3客户端工具大赏
首发地址(欢迎大家访问):S3免费客户端工具大赏 1. S3 GUI GitHub地址:https://github.com/aminalaee/s3gui 简介:S3 GUI 是一款基于 Flutter 构建的免费开源 S3 桌面客户端,支持桌面、移动和网络平台。 特…...
前端访问后端实现跨域
背景:前端在抖音里做了一个插件然后访问我们的后端。显然在抖音访问其他域名肯定会跨域。 解决办法: 1、使用比较简单的jsonp JSONP 优点:JSONP 是通过动态创建 <script> 标签的方式加载外部数据,属于跨域数据请求的一种…...
挑战杯推荐项目
“人工智能”创意赛 - 智能艺术创作助手:借助大模型技术,开发能根据用户输入的主题、风格等要求,生成绘画、音乐、文学作品等多种形式艺术创作灵感或初稿的应用,帮助艺术家和创意爱好者激发创意、提高创作效率。 - 个性化梦境…...
springboot 百货中心供应链管理系统小程序
一、前言 随着我国经济迅速发展,人们对手机的需求越来越大,各种手机软件也都在被广泛应用,但是对于手机进行数据信息管理,对于手机的各种软件也是备受用户的喜爱,百货中心供应链管理系统被用户普遍使用,为方…...
AI Agent与Agentic AI:原理、应用、挑战与未来展望
文章目录 一、引言二、AI Agent与Agentic AI的兴起2.1 技术契机与生态成熟2.2 Agent的定义与特征2.3 Agent的发展历程 三、AI Agent的核心技术栈解密3.1 感知模块代码示例:使用Python和OpenCV进行图像识别 3.2 认知与决策模块代码示例:使用OpenAI GPT-3进…...
Admin.Net中的消息通信SignalR解释
定义集线器接口 IOnlineUserHub public interface IOnlineUserHub {/// 在线用户列表Task OnlineUserList(OnlineUserList context);/// 强制下线Task ForceOffline(object context);/// 发布站内消息Task PublicNotice(SysNotice context);/// 接收消息Task ReceiveMessage(…...
visual studio 2022更改主题为深色
visual studio 2022更改主题为深色 点击visual studio 上方的 工具-> 选项 在选项窗口中,选择 环境 -> 常规 ,将其中的颜色主题改成深色 点击确定,更改完成...
ip子接口配置及删除
配置永久生效的子接口,2个IP 都可以登录你这一台服务器。重启不失效。 永久的 [应用] vi /etc/sysconfig/network-scripts/ifcfg-eth0修改文件内内容 TYPE"Ethernet" BOOTPROTO"none" NAME"eth0" DEVICE"eth0" ONBOOT&q…...
iOS性能调优实战:借助克魔(KeyMob)与常用工具深度洞察App瓶颈
在日常iOS开发过程中,性能问题往往是最令人头疼的一类Bug。尤其是在App上线前的压测阶段或是处理用户反馈的高发期,开发者往往需要面对卡顿、崩溃、能耗异常、日志混乱等一系列问题。这些问题表面上看似偶发,但背后往往隐藏着系统资源调度不当…...
算法:模拟
1.替换所有的问号 1576. 替换所有的问号 - 力扣(LeetCode) 遍历字符串:通过外层循环逐一检查每个字符。遇到 ? 时处理: 内层循环遍历小写字母(a 到 z)。对每个字母检查是否满足: 与…...
Java毕业设计:WML信息查询与后端信息发布系统开发
JAVAWML信息查询与后端信息发布系统实现 一、系统概述 本系统基于Java和WML(无线标记语言)技术开发,实现了移动设备上的信息查询与后端信息发布功能。系统采用B/S架构,服务器端使用Java Servlet处理请求,数据库采用MySQL存储信息࿰…...
现有的 Redis 分布式锁库(如 Redisson)提供了哪些便利?
现有的 Redis 分布式锁库(如 Redisson)相比于开发者自己基于 Redis 命令(如 SETNX, EXPIRE, DEL)手动实现分布式锁,提供了巨大的便利性和健壮性。主要体现在以下几个方面: 原子性保证 (Atomicity)ÿ…...
