当前位置： 首页 > news >正文

谁能讲清楚Spark之Spark系统架构

news 2026/4/20 18:45:14

### 整体架构概述
        Spark与Hadoop MapReduce的结构类似，Spark也采用Master-Worker结构。如果一个Spark集群由4个节点组成，即1个Master节点和3个Worker节点，那么在部署Standalone版本后，Spark部署的系统架构图如图2.1所示。简单来说，Master节点负责管理应用和任务，Worker节点负责执行任务。

### 具体功能

        我们接下来先介绍Master节点和Worker节点的具体功能，然后介绍一些Spark系统中的基本概念，以及一些实现细节。

1.Master节点和Worker节点的职责如下所述。

        Master节点上常驻Master进程。该进程负责管理全部的Worker节点，如将Spark任务分配给Worker节点，收集Worker节点上任务的运行信息，监控Worker节点的存活状态等。
        Worker节点上常驻Worker进程。该进程除了与Master节点通信，还负责管理Spark任务的执行，如启动Executor来执行具体的Spark任务，监控任务运行状态等。

2.执行顺讯

        启动Spark集群时，Master节点上会启动Master进程，每个Worker节点上会启动Worker进程。启动Spark集群后，接下来可以提交Spark应用到集群中执行，Master节点接收到应用后首先会通知Worker节点启动Executor，然后分配Spark计算任务（task）到Executor上执行，Executor接收到task后，为每个task启动1个线程来执行。

3.这里有几个概念需要解释一下。

        Spark application，即Sp

相关文章：

谁能讲清楚Spark之Spark系统架构

### 整体架构概述 Spark与Hadoop MapReduce的结构类似，Spark也采用Master-Worker结构。如果一个Spark集群由4个节点组成，即1个Master节点和3个Worker节点，那么在部署Standalone版本后，Spark部署的系统架构图如图2.1所示。简单来说，Master节点负责管理应用和任务，…...

编程日记 2023/8/13 9:50:20

力扣：59. 螺旋矩阵 II（Python3）

题目： 给你一个正整数 n ，生成一个包含 1 到 n2 所有元素，且元素按顺时针顺序螺旋排列的 n x n 正方形矩阵 matrix 。 来源：力扣（LeetCode） 链接：力扣（LeetCode）官网 - 全…...

编程日记 2023/8/13 9:49:17

【electron】electron项目创建的方式：

文章目录 【1】npm init quick-start/electron（推荐）【2】 克隆仓库，快速启动【3】 通过脚手架搭建项目【4】 手动创建项目 【Electron官网】https://www.electronjs.org/zh/docs/latest/api/app 【1】npm init quick-start/electron&#xf…...

编程日记 2023/8/13 9:48:15

Vim学习（一）——基本命令与三种模式

写在前面， 致敬 8月3日，Vim创始人Bram Moolenaar去世，在此向老爷子致敬！感谢他为这个世界带来的优秀编辑器Vim。 基本介绍 Vim全称叫Vi IMproved. 而vi则是Visual Interface的缩写，他们处理都是ASCII码字符数据&am…...

编程日记 2023/8/13 9:47:14

unity新输入系统的简单使用（New InputSystem）

1、在包管理器 unity注册表中下载安装InputSystem 2、给玩家添加组件PlayerInput，点击CreatAction,创建一个InputAct InputAct,这是玩家的输入文件，在里面可以设置玩家输入 3、使用 例如玩家控制角色移动 在InputAct中，默认已经设置好了移…...

编程日记 2023/8/13 9:46:13

Redis——特性介绍与应用场景

Redis特性介绍 In-memory data structrues 众所周知，MySQL是一种关系型数据库，其通过表的结构存储数据，就类似于建立了一个excel表格来存储数据。但是像视频这类数据并不适合存储在关系型数据库中，因此存在非关系型数据库——通…...

编程日记 2023/8/13 9:45:11

网络：路由

1. 路由器 路由器工作在三层，每个接口都处于不用的网段中，即不同的广播域。但大多情况下，两台路由器直接相连的接口是同一个广播域，即一个网段。 路由器具有判断网络地址和选择路径的功能，能在多网络互联的环境中&…...

编程日记 2023/8/13 9:44:10

利用三维内容编辑器制作VR交互课件，简单好用易上手

随着虚拟现实技术的不断发展，越来越多的教育机构开始尝试将其应用于教育教学中。然而，要实现这一目标并不容易，需要专业的技术支持和开发团队。 为了解决这一问题，广州华锐互动研发了三维内容编辑器，它是一种基于虚拟现…...

编程日记 2023/8/13 9:43:09

中国首款量子计算机操作系统本源司南 PilotOS正式上线

中国安徽省量子计算工程研究中心近日宣布，中国国产量子计算机操作系统本源司南 PilotOS 客户端正式上线。 如果把量子芯片比喻成人的“心脏”，那么量子计算机操作系统就相当于人的“大脑”，量子计算应用软件则是人的“四肢”。 据安徽省量子…...

编程日记 2023/8/13 9:42:07

基层社会治理平台建设方案[113页PPT]

导读：原文《基层社会治理平台建设方案[113页PPT]》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。 完整版领取方式 完整版领取方式： 如需获取完…...

编程日记 2023/8/13 9:41:06

认识vite

一.了解vite的不同版本的更新 vite1版本是基于vue项目的，无法跨框架使用vite2可以跨框架（vue2，vue3，react）vite3模板变更；vite cli优化；import.meta.glob API变化；其他vite4主版本主…...

编程日记 2023/8/13 9:40:05

华为运动健康，十年创新天地宽

我听一位朋友讲过这样一个故事。某天早上，急诊科的医生迎来了一位患者，患者进来后直接说：“大夫，我房颤了。” 这位医生非常诧异，因为心脏房颤确实非常危急，但很多时候并没有明显的生理体征，患者…...

编程日记 2023/8/13 9:39:03

深度学习（37）—— 图神经网络GNN（2）

深度学习（37）—— 图神经网络GNN（2） 这一期主要是一些简单示例，针对不同的情况，使用的数据都是torch_geometric的内置数据集 文章目录 深度学习（37）—— 图神经网络GNN&#xff08…...

编程日记 2023/8/13 9:38:02

Unity游戏源码分享-乐节奏休闲游戏源码 guitar hero 支持mobile

Unity游戏源码分享-乐节奏休闲游戏源码 guitar hero 支持mobile 完整版下载地址：https://download.csdn.net/download/Highning0007/88198766...

编程日记 2023/8/13 9:37:00

VS Code配置Prettier格式化Apex

先决条件 安装nodejs和npm安装vs code安装salesforce extension pack 配置Prettier Apex 创建本地Salesforce项目 (Standard) command shift p -> SFDX: Create Project with Manifest -> Standard 打开terminal运行npm init生成package.json文件 安装prettier ap…...

编程日记 2023/8/13 9:35:59

Spring-Cloud-Loadblancer详细分析_4

在RoundRobinLoadBalancer.choose中的serviceInstanceListSupplierProvider就是获取服务列表的关键，那么此对象是怎么拿到的呢，让我们回到RoundRobinLoadBalancer的创建过程 Configuration(proxyBeanMethods false) ConditionalOnDiscoveryEnabled pub…...

编程日记 2023/8/13 9:34:57

openocd调试esp32（通过FT232H）

之前在学习ESP32，其中有一部分课程是学习openocd通过JTAG调试程序的，因为我用的是ESP32-wroom，usb端口没有集成对应的usb转jtag的ft232，查了ESP32相关的资料（JTAG 调试 - ESP32 - — ESP-IDF 编程指南 latest 文档 (es…...

编程日记 2023/8/13 9:33:54

Nokia5110使用方法及实例编写51单片机

文章目录 Nokia5110实物图引脚和原理图51单片机实例软件模拟SPI实现控制Nokia5110显示字符发送字节时序图（图片太多了，关键图片已截取出来）初始化需要配置实例编写回顾接线结束Nokia5110 Nokia是诺基亚拆下来的屏幕。使用SPI控制 84x48 的点阵 LCD，可以显示 4 行汉字，采用…...

编程日记 2023/8/13 9:32:53

3个月快速入门LoRa物联网传感器开发

在这里插入图片描述 快速入门LoRa物联网传感器开发 LoRa作为一种LPWAN(低功耗广域网络)无线通信技术,非常适合物联网传感器和行业应用。要快速掌握LoRa开发,需要系统学习理论知识,并通过实际项目积累经验。 摘要: 先学习LoRa基础知识:原理、网络架构、协议等,大概需要2周时间…...

编程日记 2023/8/13 9:31:52

【小梦C嘎嘎——启航篇】内存管理小知识~

【小梦C嘎嘎——启航篇】内存管理小知识~😎 前言🙌malloc/calloc/realloc的区别？new 与 deletenew与delete要找好搭档才能保证万无一失 new 与 delete的内部实现细节是怎么样的呢？？？new 的内部实现细节dele…...

编程日记 2023/8/13 9:30:51

SpringMVC参数解析器实战：从@RequestBody到@RequestParam，手把手教你自定义参数绑定

SpringMVC参数解析器实战：从RequestBody到RequestParam，手把手教你自定义参数绑定 在构建现代RESTful API时，参数绑定是每个Spring开发者必须掌握的技能。想象一下这样的场景：你的API需要同时处理JSON请求体、URL路径变量、查询参…...

编程新知 2026/4/20 14:37:09

告别命令行恐惧：Mac/Linux下用ADT图形界面玩转AutoDock分子对接

告别命令行恐惧：Mac/Linux下用ADT图形界面玩转AutoDock分子对接 第一次接触AutoDock时，我被它强大的分子对接能力吸引，但随即被满屏的命令行操作劝退。如果你也和我一样，对终端窗口里闪烁的光标感到不安，那么ADT&…...

编程新知 2026/4/20 13:46:59

5分钟学会BabelDOC：PDF智能翻译工具终极指南

5分钟学会BabelDOC：PDF智能翻译工具终极指南 【免费下载链接】BabelDOC Yet Another Document Translator 项目地址: https://gitcode.com/GitHub_Trending/ba/BabelDOC 你是否曾经遇到过需要翻译PDF文档，却发现翻译后的格式完全错乱，…...

编程新知 2026/4/20 13:34:40

3步解决Windows 11系统臃肿问题：Win11Debloat优化指南

3步解决Windows 11系统臃肿问题：Win11Debloat优化指南 【免费下载链接】Win11Debloat A simple, lightweight PowerShell script that allows you to remove pre-installed apps, disable telemetry, as well as perform various other changes to declutter and cu…...

编程新知 2026/4/20 13:32:39

告别卡顿与内存泄漏：Dalsa线扫相机QT开发中的SapBufferWithTrash与回调函数优化实践

工业视觉开发实战：Dalsa线扫相机QT应用中的高性能采集架构设计 在工业自动化检测领域，线扫相机的稳定高效运行直接关系到整个系统的可靠性。当采样率达到每秒数万行时，传统的内存管理方式往往会导致图像卡顿、程序崩溃等棘手问题。本文将深入…...

编程新知 2026/4/20 12:57:27

FutureRestore-GUI：iOS设备降级恢复的专业图形化工具完整指南

FutureRestore-GUI：iOS设备降级恢复的专业图形化工具完整指南 【免费下载链接】FutureRestore-GUI A modern GUI for FutureRestore, with added features to make the process easier. 项目地址: https://gitcode.com/gh_mirrors/fu/FutureRestore-GUI Futu…...

编程新知 2026/4/20 12:22:32

FlashDB掉电保护原理：确保嵌入式数据安全的终极指南

FlashDB掉电保护原理：确保嵌入式数据安全的终极指南 【免费下载链接】FlashDB An ultra-lightweight database that supports key-value and time series data | 一款支持 KV 数据和时序数据的超轻量级数据库 项目地址: https://gitcode.com/gh_mirrors/fl/FlashD…...

编程新知 2026/4/20 11:53:27

从‘软件危机’到‘敏捷开发’：一张图看懂主流软件工程方法论的演变与选择

软件工程方法论演进史：从瀑布到敏捷的思维革命 上世纪60年代，IBM System/360操作系统的开发团队在耗费5000人年工作量后，交付的产品仍存在上千个严重缺陷——这个标志性事件揭开了"软件危机"的序幕。当我们今天讨论DevOps流水线或S…...

编程新知 2026/4/20 10:44:14

手把手拆解DAMA语境关系图：用一张表搞定你的数据治理项目方案

数据治理实战：用DAMA语境关系图打造高效项目方案 数据治理项目的成败往往取决于方案设计的清晰度和说服力。面对复杂的业务需求和多变的利益相关方期望，项目经理常常陷入方案反复修改却始终无法获得认可的困境。DAMA体系中的语境关系图（Conte…...

编程新知 2026/4/20 9:33:30

如何高效解密QQ音乐加密格式：qmcdump完整实战指南

如何高效解密QQ音乐加密格式：qmcdump完整实战指南 【免费下载链接】qmcdump 一个简单的QQ音乐解码（qmcflac/qmc0/qmc3 转 flac/mp3），仅为个人学习参考用。 项目地址: https://gitcode.com/gh_mirrors/qm/qmcdump qmcdump是…...

编程新知 2026/4/20 8:20:48