当前位置： 首页 > news >正文

大数据课程K5——Spark的框架核心概念

news 2026/3/27 16:39:30

文章作者邮箱：yugongshiye@sina.cn              地址：广东惠州

 ▲ 本章节目的

⚪ 了解Spark的框架核心概念；

⚪ 掌握Spark的Spark集群模式安装；

⚪ 掌握Spark的Spark架构；

⚪ 掌握Spark的Spark调度模块；

一、Spark框架核心概念

1. RDD。弹性分布式数据集，是Spark最核心的数据结构。有分区机制，所以可以分布式进行处理。有容错机制，通过RDD之间的依赖关系来恢复数据。

2. 依赖关系。RDD的依赖关系是通过各种Transformation（变换）来得到的。父RDD和子RDD之间的依赖关系分两种：①窄依赖  ②宽依赖。

①针对窄依赖：父RDD的分区和子RDD的分区关系是：一对一。

窄依赖不会发生Shuffle，执行效率高，spark框架底层会针对多个连续的窄依赖执行流水线优化，从而提高性能。例如 map  flatMap等方法都是窄依赖方法。

②针对宽依赖：父RDD的分区和子RDD的分区关系是：一对多。

宽依赖会产生shuffle，会产生磁盘读写，无法优化。

3. DAG。有向无环图，当一整条RDD的依赖关系形成之后，就形成了一个DAG。一般来说，一个DAG，最后都至少会触发一个Action操作，触发执行。一个Action对应一个Job任务。

4. Stage。一个DAG会根据RDD之间的依赖关系进行Stage划分，流程是：以Action为基准，向前回溯，遇到宽依赖，就形成一个Stage。遇到窄依赖，则执行流水线优化（将多个连续的窄依赖放到一起执行）。

5. task。任务。一个分区对应一个task。可以这样理解：一个Stage是一组Task的集合。

6. RDD的Transformation（变换）操作：懒执行，并不会立即执行。

7. RDD的Action(执行）操作：触发真正的执行。

二、Spark集群模式安装

相关文章：

大数据课程K5——Spark的框架核心概念

文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州 ▲ 本章节目的 ⚪ 了解Spark的框架核心概念； ⚪ 掌握Spark的Spark集群模式安装； ⚪ 掌握Spark的Spark架构； ⚪ 掌握Spark的Spark调度模块； 一、Spark框架核心概念 1. RDD。弹性分布式数据集，是Spark最…...

编程日记 2023/8/24 6:41:32

【⑬MySQL | 数据类型(一)】简介 | 整数 | 浮点 | 定点类型

前言 ✨欢迎来到小K的MySQL专栏，本节将为大家带来MySQL数据类型简介 | 整数 | 浮点 | 定点类型的分享✨ 目录 前言0.数据类型简介1 整数类型2 浮点类型3 定点类型4 日期/时间类型总结 0.数据类型简介 数据类型（data_type）是指系统中所允许的…...

编程日记 2023/8/24 6:40:31

5.6 汇编语言：汇编高效数组寻址

数组和指针都是用来处理内存地址的操作，二者在C语言中可以互换使用。数组是相同数据类型的一组集合，这些数据在内存中是连续存储的，在C语言中可以定义一维、二维、甚至多维数组。多维数组在内存中也是连续存储的，只是数据的组织方…...

编程日记 2023/8/24 6:39:30

uniapp - 实现卡片式胶囊单选后右上角出现 “√“ 对勾对号选中效果功能，适用于小程序h5网页app全平台通用（一键复制组件源码，开箱即用！）

效果图 uniapp全平台兼容（小程序/h5网页/app）实现点击选择后，右上角出现 √ 对号效果（角标形式展现），功能组件， 改个样式，直接复制使用该组件。 组件源码 在 components 组件文件夹下，随便建立一个 .vue 文件，一键复制下方源码。...

编程日记 2023/8/24 6:38:29

使用Jetpack Compose构建可折叠Card

使用Jetpack Compose构建可折叠Card 为何在Android应用开发中使用扩展卡片 扩展卡片在Android应用开发中广受欢迎，它们可以让开发者打造干净紧凑的用户界面，同时可以轻松展开，显示额外的内容。 通过巧妙地使用扩展卡片，开发者可…...

编程日记 2023/8/24 6:37:28

安卓手机跑 vins slam （1）

我是迪卡魏曼依奇，一直是用手机拍照，将图片导出到电脑，然后使用RealityCapture三维重建。 RealityCapture是靠特征点去把拍摄的多个图像进行对齐的。需要拍摄的足够多，且有特征才能对齐，要不然很多图像会找不到公共点…...

编程日记 2023/8/24 6:36:27

腾讯云-对象存储服务（COS）的使用总结

简介 对象存储（Cloud Object Storage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，具有高扩展性、低成本、可靠安全等优点。通过控制台、API、SDK 和工具等多样化方式，用户可简单、快速地接入 COS&#xff0…...

编程日记 2023/8/24 6:35:26

kafka复习：（3）自定义序列化器和反序列化器

一、实体类定义： public class Company {private String name;private String address;public String getName() {return name;}public void setName(String name) {this.name name;}public String getAddress() {return address;}public void setAddress(String a…...

编程日记 2023/8/24 6:34:24

Unity 图片资源的适配

前言 最近小编做Unity项目时，发现在资源处理这方面和Android有所不同；例如：Android的资源文件夹res下会有着mipmap-mdpi，mipmap-hdpi，mipmap-xhdpi，mipmap-xxhdpi，mipmap-xxxhdpi这五个文件夹&a…...

编程日记 2023/8/24 6:33:23

【Axure高保真原型】通过输入框动态控制折线图

今天和大家分享通过输入框动态控制折线图的原型模板，在输入框里维护项目数据，可以自动生成对应的折线图，鼠标移入对应折点，可以查看对应数据。使用也非常方便，只需要修改输入框里的数据，或者复制粘贴文本&a…...

编程日记 2023/8/24 6:32:21

【Java】树结构数据的搜索

这里写自定义目录标题 需要实现的效果前端需要的json格式：一定是一个完整的树结构错误错误的返回格式错误的返回格式实现的效果 正确正确的返回格式正确的展示画面 后端逻辑分析代码总览 数据库表结构 需要实现的效果 前端需要的json格式：一定是一个完整…...

编程日记 2023/8/24 6:31:19

ElementUI中的日历组件加载无效的问题

在ElementUI中提供了一个日历组件。在某些场景下还是比较有用的。只是在使用的时候会有些下坑&#xff0c;大家要注意下。   官网提供的信息比较简介。我们在引入到项目中使用的时候可以能会出现下面的错误提示。 Unknown custom element: <el-calendar> - did you …...

编程日记 2023/8/24 6:30:18

Git版本管理（03）stash临时操作和.gitignore配置

1 git stash操作(临时存储) 1.1 git stash常见流程 当你修改了某一个分支&#xff0c;但此时要切换分支时如果直接切换会因为一些修改冲突而checkout失败&#xff0c;那么此时就可以使用git stash命令来解决该问题。一般流程为&#xff1a; $git pull# 将当前未提交的修改…...

编程日记 2023/8/24 6:29:17

【ThingJS | 3D可视化】开发框架，一站式数字孪生

博主&#xff1a;_LJaXi Or 東方幻想郷 专栏&#xff1a; 数字孪生 | 3D可视化框架 开发工具&#xff1a;ThingJS在线开发工具 ThingJs 低代码开发 ThingJs 低代码开发注意点场景效果配置层级层级常用API实例化 Thing&#xff0c;加载场景load 加载函数ThingJs 层级关系图查找层…...

编程日记 2023/8/24 6:28:16

SpringBoot返回响应排除为 null 的字段

SpringBoot返回响应排除为 null 的字段 可以通过全局配置&#xff0c;使返回响应中为null的字段&#xff0c;不在出现在返回结果中。 注意&#xff1a;这样配置&#xff0c;使得返回响应包含的字段随请求结果变化&#xff0c;响应到底包含哪些字段不直观&#xff1b;除非业务…...

编程日记 2023/8/24 6:27:14

华为数通方向HCIP-DataCom H12-821题库(单选题：41-60)

第41题 以下关于IS-IS协议说法错误的是? A、IS-IS协议支持CLNP网络 B、IS-IS 协议支持IP 网络 C、IS-IS 协议的报文直接由数据链路层封装 D、IS-IS协议是运行在AS之间的链路状态协议 答案&#xff1a;D 解析&#xff1a; 关于IS-IS协议的说法错误是D. IS-IS协议是运行在A…...

编程日记 2023/8/24 6:26:13

OpenAI推出GPT-3.5Turbo微调功能并更新API；Midjourney更新局部绘制功能

&#x1f989; AI新闻 &#x1f680; OpenAI推出GPT-3.5Turbo微调功能并更新API&#xff0c;将提供GPT-4微调功能 摘要&#xff1a;OpenAI宣布推出GPT-3.5Turbo微调功能&#xff0c;并更新API&#xff0c;使企业和开发者能够定制ChatGPT&#xff0c;达到或超过GPT-4的能力。通…...

编程日记 2023/8/24 6:25:12

相机成像之3A算法的综述

3A算法是摄像机成像控制技术中的三大自动控制算法。随着计算机视觉的迅速发展，该算法在摄像器材领域具有广泛的应用和前景。 那么3A控制算法又是指什么呢？ (1)AE (Auto Exposure)自动曝光控制 (2)AF (Auto Focus)自动聚焦控制 (3)AWB (Auto White Balance)自动白平衡控…...

编程日记 2023/8/24 6:24:12

最新AI系统ChatGPT程序源码/微信公众号/H5端+搭建部署教程+完整知识库

一、前言 SparkAi系统是基于国外很火的ChatGPT进行开发的Ai智能问答系统。本期针对源码系统整体测试下来非常完美&#xff0c;可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。 那么如何搭建部署AI创作ChatGPT&#xff1f;小编这里写一个详细图文教程吧&#xff01…...

编程日记 2023/8/24 6:23:11

OpenCV实例（九）基于深度学习的运动目标检测（二）YOLOv2概述

基于深度学习的运动目标检测&#xff08;二&#xff09;YOLOv2&YOLOv3概述 1.YOLOv2概述2.YOLOv3概述2.1 新的基础网络结构&#xff1a;2.2 采用多尺度预测机制。2.3 使用简单的逻辑回归进行分类 1.YOLOv2概述 对YOLO存在的不足&#xff0c;业界又推出了YOLOv2。YOLOv2主要…...

编程日记 2023/8/24 6:22:09

3大场景解析：开源工具如何重构MobaXterm的专业版体验

3大场景解析&#xff1a;开源工具如何重构MobaXterm的专业版体验 【免费下载链接】MobaXterm-Keygen MobaXterm Keygen Originally by DoubleLabyrinth 项目地址: https://gitcode.com/gh_mirrors/mob/MobaXterm-Keygen 在开发者的日常工作中&#xff0c;终端工具的选择…...

编程新知 2026/3/27 15:04:50

优化问题求解器选型指南：何时该用高斯伪谱法，而不是直接法或打靶法？

优化问题求解器选型指南&#xff1a;高斯伪谱法在动态系统控制中的战略定位 当面对化工反应器温度控制或航天器轨道转移这类复杂动态系统优化问题时&#xff0c;工程师们常陷入算法选择的困境。就像外科医生需要根据病灶位置选择手术刀或激光治疗一样&#xff0c;最优控制问题的…...

编程新知 2026/3/27 14:40:41

基于YOLOv8深度学习的驾驶员分心行为实时检测与语音预警系统【python源码+Pyqt5界面+数据集】

1. 项目背景与核心价值 开车时低头看手机、点烟、喝饮料这些看似平常的小动作&#xff0c;每年导致全球超过120万起交通事故。我去年参与某物流车队安全系统升级时&#xff0c;亲眼见过一个司机因为伸手拿水杯导致车辆偏离车道的事故录像——整个过程不到3秒。这正是我们开发这…...

编程新知 2026/3/27 12:34:48

DeepSeek LintCode 3866.有效子数组的数量 public int validSubarrays(int[] nums)

这是关于LintCode 3866 “有效子数组的数量”的问题。这是一个典型的单调栈应用问题&#xff0c;需要计算数组中所有满足特定条件的子数组数量。 问题理解 有效子数组的定义&#xff1a; 对于数组 nums 中的某个子数组 nums[i..j]&#xff08;i ≤ j&#xff09;&#xff0c;如…...

编程新知 2026/3/27 12:18:27

Agent 语音交互如何更稳、更快？一次高并发消息链路优化实践

作者&#xff1a;雀贤、文婷、复礼、稚柳 随着大语言模型&#xff08;LLM&#xff09;、语音识别&#xff08;ASR&#xff09;、语音合成&#xff08;TTS&#xff09;等能力逐步成熟&#xff0c;AI Agent 开始从文本交互走向语音交互&#xff0c;典型场景包括 AI 教师、AI 情感…...

编程新知 2026/3/27 11:34:02

开源视觉模型推荐：GLM-4v-9B，高分辨率输入，中文OCR领先

开源视觉模型推荐&#xff1a;GLM-4v-9B&#xff0c;高分辨率输入&#xff0c;中文OCR领先 1. 引言 在当今多模态AI快速发展的时代&#xff0c;视觉-语言模型正成为技术前沿的热点。GLM-4v-9B作为智谱AI最新开源的90亿参数视觉-语言多模态模型&#xff0c;凭借其11201120高分…...

编程新知 2026/3/27 10:29:45

macOS风格光标主题：从视觉革新到交互未来的全面探索

macOS风格光标主题&#xff1a;从视觉革新到交互未来的全面探索 【免费下载链接】apple_cursor Free & Open source macOS Cursors. 项目地址: https://gitcode.com/gh_mirrors/ap/apple_cursor 价值解析&#xff1a;重新定义数字交互的视觉语言 在当今多设备协同的…...

编程新知 2026/3/27 10:09:28

学习如何聚合零样本大型语言模型代理以进行企业披露分类

摘要本文研究一个轻量级训练聚合器是否能够将多样化的零样本大语言模型判断整合为更强的下游信号&#xff0c;用于公司披露分类。零样本大语言模型无需针对特定任务进行微调即可阅读披露文本&#xff0c;但其预测结果常因提示词、推理方式和模型家族的不同而存在差异。我采用一…...

编程新知 2026/3/27 9:04:47

泛微OA Ecology 安全补丁管理账号配置与实战

1. 泛微OA Ecology安全补丁管理账号配置详解 第一次接触泛微OA Ecology系统的安全补丁管理功能时&#xff0c;我完全没意识到这个看似简单的配置背后藏着这么多门道。直到有次系统被恶意攻击&#xff0c;才发现默认的管理账号存在安全隐患。今天就带大家彻底搞懂这个关键配置&a…...

编程新知 2026/3/27 7:52:16

ESP8266-ESP32 物联网开发入门

ESP8266/ESP32物联网开发入门指南 在智能家居、远程监控和工业自动化等领域&#xff0c;物联网技术正快速改变我们的生活。作为物联网开发的热门选择&#xff0c;ESP8266和ESP32凭借低成本、高性能和丰富的开发资源&#xff0c;成为初学者和工程师的首选。本文将介绍如何快速入…...

编程新知 2026/3/27 7:48:15