当前位置： 首页 > news >正文

谁能讲清楚Spark之Spark系统架构

news 2026/2/10 12:12:58

### 整体架构概述
        Spark与Hadoop MapReduce的结构类似，Spark也采用Master-Worker结构。如果一个Spark集群由4个节点组成，即1个Master节点和3个Worker节点，那么在部署Standalone版本后，Spark部署的系统架构图如图2.1所示。简单来说，Master节点负责管理应用和任务，Worker节点负责执行任务。

### 具体功能

        我们接下来先介绍Master节点和Worker节点的具体功能，然后介绍一些Spark系统中的基本概念，以及一些实现细节。

1.Master节点和Worker节点的职责如下所述。

        Master节点上常驻Master进程。该进程负责管理全部的Worker节点，如将Spark任务分配给Worker节点，收集Worker节点上任务的运行信息，监控Worker节点的存活状态等。
        Worker节点上常驻Worker进程。该进程除了与Master节点通信，还负责管理Spark任务的执行，如启动Executor来执行具体的Spark任务，监控任务运行状态等。

2.执行顺讯

        启动Spark集群时，Master节点上会启动Master进程，每个Worker节点上会启动Worker进程。启动Spark集群后，接下来可以提交Spark应用到集群中执行，Master节点接收到应用后首先会通知Worker节点启动Executor，然后分配Spark计算任务（task）到Executor上执行，Executor接收到task后，为每个task启动1个线程来执行。

3.这里有几个概念需要解释一下。

        Spark application，即Sp

相关文章：

谁能讲清楚Spark之Spark系统架构

### 整体架构概述 Spark与Hadoop MapReduce的结构类似，Spark也采用Master-Worker结构。如果一个Spark集群由4个节点组成，即1个Master节点和3个Worker节点，那么在部署Standalone版本后，Spark部署的系统架构图如图2.1所示。简单来说，Master节点负责管理应用和任务，…...

编程日记 2023/8/13 9:50:20

力扣：59. 螺旋矩阵 II（Python3）

题目： 给你一个正整数 n ，生成一个包含 1 到 n2 所有元素，且元素按顺时针顺序螺旋排列的 n x n 正方形矩阵 matrix 。 来源：力扣（LeetCode） 链接：力扣（LeetCode）官网 - 全…...

编程日记 2023/8/13 9:49:17

【electron】electron项目创建的方式：

文章目录 【1】npm init quick-start/electron（推荐）【2】 克隆仓库，快速启动【3】 通过脚手架搭建项目【4】 手动创建项目 【Electron官网】https://www.electronjs.org/zh/docs/latest/api/app 【1】npm init quick-start/electron&#xf…...

编程日记 2023/8/13 9:48:15

Vim学习（一）——基本命令与三种模式

写在前面， 致敬 8月3日，Vim创始人Bram Moolenaar去世，在此向老爷子致敬！感谢他为这个世界带来的优秀编辑器Vim。 基本介绍 Vim全称叫Vi IMproved. 而vi则是Visual Interface的缩写，他们处理都是ASCII码字符数据&am…...

编程日记 2023/8/13 9:47:14

unity新输入系统的简单使用（New InputSystem）

1、在包管理器 unity注册表中下载安装InputSystem 2、给玩家添加组件PlayerInput，点击CreatAction,创建一个InputAct InputAct,这是玩家的输入文件，在里面可以设置玩家输入 3、使用 例如玩家控制角色移动 在InputAct中，默认已经设置好了移…...

编程日记 2023/8/13 9:46:13

Redis——特性介绍与应用场景

Redis特性介绍 In-memory data structrues 众所周知，MySQL是一种关系型数据库，其通过表的结构存储数据，就类似于建立了一个excel表格来存储数据。但是像视频这类数据并不适合存储在关系型数据库中，因此存在非关系型数据库——通…...

编程日记 2023/8/13 9:45:11

网络：路由

1. 路由器 路由器工作在三层，每个接口都处于不用的网段中，即不同的广播域。但大多情况下，两台路由器直接相连的接口是同一个广播域，即一个网段。 路由器具有判断网络地址和选择路径的功能，能在多网络互联的环境中&…...

编程日记 2023/8/13 9:44:10

利用三维内容编辑器制作VR交互课件，简单好用易上手

随着虚拟现实技术的不断发展，越来越多的教育机构开始尝试将其应用于教育教学中。然而，要实现这一目标并不容易，需要专业的技术支持和开发团队。 为了解决这一问题，广州华锐互动研发了三维内容编辑器，它是一种基于虚拟现…...

编程日记 2023/8/13 9:43:09

中国首款量子计算机操作系统本源司南 PilotOS正式上线

中国安徽省量子计算工程研究中心近日宣布，中国国产量子计算机操作系统本源司南 PilotOS 客户端正式上线。 如果把量子芯片比喻成人的“心脏”，那么量子计算机操作系统就相当于人的“大脑”，量子计算应用软件则是人的“四肢”。 据安徽省量子…...

编程日记 2023/8/13 9:42:07

基层社会治理平台建设方案[113页PPT]

导读：原文《基层社会治理平台建设方案[113页PPT]》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。 完整版领取方式 完整版领取方式： 如需获取完…...

编程日记 2023/8/13 9:41:06

认识vite

一.了解vite的不同版本的更新 vite1版本是基于vue项目的，无法跨框架使用vite2可以跨框架（vue2，vue3，react）vite3模板变更；vite cli优化；import.meta.glob API变化；其他vite4主版本主…...

编程日记 2023/8/13 9:40:05

华为运动健康，十年创新天地宽

我听一位朋友讲过这样一个故事。某天早上，急诊科的医生迎来了一位患者，患者进来后直接说：“大夫，我房颤了。” 这位医生非常诧异，因为心脏房颤确实非常危急，但很多时候并没有明显的生理体征，患者…...

编程日记 2023/8/13 9:39:03

深度学习（37）—— 图神经网络GNN（2）

深度学习（37）—— 图神经网络GNN（2） 这一期主要是一些简单示例，针对不同的情况，使用的数据都是torch_geometric的内置数据集 文章目录 深度学习（37）—— 图神经网络GNN&#xff08…...

编程日记 2023/8/13 9:38:02

Unity游戏源码分享-乐节奏休闲游戏源码 guitar hero 支持mobile

Unity游戏源码分享-乐节奏休闲游戏源码 guitar hero 支持mobile 完整版下载地址：https://download.csdn.net/download/Highning0007/88198766...

编程日记 2023/8/13 9:37:00

VS Code配置Prettier格式化Apex

先决条件 安装nodejs和npm安装vs code安装salesforce extension pack 配置Prettier Apex 创建本地Salesforce项目 (Standard) command shift p -> SFDX: Create Project with Manifest -> Standard 打开terminal运行npm init生成package.json文件 安装prettier ap…...

编程日记 2023/8/13 9:35:59

Spring-Cloud-Loadblancer详细分析_4

在RoundRobinLoadBalancer.choose中的serviceInstanceListSupplierProvider就是获取服务列表的关键，那么此对象是怎么拿到的呢，让我们回到RoundRobinLoadBalancer的创建过程 Configuration(proxyBeanMethods false) ConditionalOnDiscoveryEnabled pub…...

编程日记 2023/8/13 9:34:57

openocd调试esp32（通过FT232H）

之前在学习ESP32，其中有一部分课程是学习openocd通过JTAG调试程序的，因为我用的是ESP32-wroom，usb端口没有集成对应的usb转jtag的ft232，查了ESP32相关的资料（JTAG 调试 - ESP32 - — ESP-IDF 编程指南 latest 文档 (es…...

编程日记 2023/8/13 9:33:54

Nokia5110使用方法及实例编写51单片机

文章目录 Nokia5110实物图引脚和原理图51单片机实例软件模拟SPI实现控制Nokia5110显示字符发送字节时序图（图片太多了，关键图片已截取出来）初始化需要配置实例编写回顾接线结束Nokia5110 Nokia是诺基亚拆下来的屏幕。使用SPI控制 84x48 的点阵 LCD，可以显示 4 行汉字，采用…...

编程日记 2023/8/13 9:32:53

3个月快速入门LoRa物联网传感器开发

在这里插入图片描述 快速入门LoRa物联网传感器开发 LoRa作为一种LPWAN(低功耗广域网络)无线通信技术,非常适合物联网传感器和行业应用。要快速掌握LoRa开发,需要系统学习理论知识,并通过实际项目积累经验。 摘要: 先学习LoRa基础知识:原理、网络架构、协议等,大概需要2周时间…...

编程日记 2023/8/13 9:31:52

【小梦C嘎嘎——启航篇】内存管理小知识~

【小梦C嘎嘎——启航篇】内存管理小知识~😎 前言🙌malloc/calloc/realloc的区别？new 与 deletenew与delete要找好搭档才能保证万无一失 new 与 delete的内部实现细节是怎么样的呢？？？new 的内部实现细节dele…...

编程日记 2023/8/13 9:30:51

ssc377d修改flash分区大小

1、flash的分区默认分配16M、 / # df -h Filesystem Size Used Available Use% Mounted on /dev/root 1.9M 1.9M 0 100% / /dev/mtdblock4 3.0M...

编程新知 2025/12/21 20:15:17

线程同步：确保多线程程序的安全与高效！

全文目录： 开篇语前序前言第一部分：线程同步的概念与问题1.1 线程同步的概念1.2 线程同步的问题1.3 线程同步的解决方案 第二部分：synchronized关键字的使用2.1 使用 synchronized修饰方法2.2 使用 synchronized修饰代码块 第三部分&#xff…...

编程新知 2025/9/24 16:02:40

iPhone密码忘记了办？iPhoneUnlocker，iPhone解锁工具Aiseesoft iPhone Unlocker 高级注册版​分享

平时用 iPhone 的时候，难免会碰到解锁的麻烦事。比如密码忘了、人脸识别 / 指纹识别突然不灵，或者买了二手 iPhone 却被原来的 iCloud 账号锁住，这时候就需要靠谱的解锁工具来帮忙了。Aiseesoft iPhone Unlocker 就是专门解决这些问题的软件&…...

编程新知 2026/1/29 10:22:28

为什么需要建设工程项目管理？工程项目管理有哪些亮点功能？

在建筑行业，项目管理的重要性不言而喻。随着工程规模的扩大、技术复杂度的提升，传统的管理模式已经难以满足现代工程的需求。过去，许多企业依赖手工记录、口头沟通和分散的信息管理，导致效率低下、成本失控、风险频发。例如&#…...

编程新知 2026/2/4 12:35:34

如何为服务器生成TLS证书

TLS（Transport Layer Security）证书是确保网络通信安全的重要手段，它通过加密技术保护传输的数据不被窃听和篡改。在服务器上配置TLS证书，可以使用户通过HTTPS协议安全地访问您的网站。本文将详细介绍如何在服务器上生成一个TLS证…...

编程新知 2025/12/17 5:54:30

HarmonyOS运动开发：如何用mpchart绘制运动配速图表

##鸿蒙核心技术##运动开发##Sensor Service Kit（传感器服务）# 前言 在运动类应用中，运动数据的可视化是提升用户体验的重要环节。通过直观的图表展示运动过程中的关键数据，如配速、距离、卡路里消耗等，用户可以更清晰…...

编程新知 2026/2/2 7:49:59

JS设计模式(4)：观察者模式

JS设计模式(4):观察者模式 一、引入 在开发中，我们经常会遇到这样的场景：一个对象的状态变化需要自动通知其他对象，比如： 电商平台中，商品库存变化时需要通知所有订阅该商品的用户；新闻网站中&#xff0…...

编程新知 2025/9/1 6:48:07

Mysql8 忘记密码重置，以及问题解决

1.使用免密登录 找到配置MySQL文件，我的文件路径是/etc/mysql/my.cnf，有的人的是/etc/mysql/mysql.cnf 在里最后加入 skip-grant-tables重启MySQL服务 service mysql restartShutting down MySQL… SUCCESS! Starting MySQL… SUCCESS! 重启成功 2.登…...

编程新知 2026/1/9 8:59:09

Caliper 负载(Workload)详细解析

Caliper 负载(Workload)详细解析 负载(Workload)是 Caliper 性能测试的核心部分，它定义了测试期间要执行的具体合约调用行为和交易模式。下面我将全面深入地讲解负载的各个方面。 一、负载模块基本结构 一个典型的负载模块(如 workload.js)包含以下基本结构： use strict;/…...

编程新知 2025/10/31 21:11:39

在 Spring Boot 中使用 JSP

jsp&#xff1f; 好多年没用了。重新整一下 还费了点时间&#xff0c;记录一下。 项目结构&#xff1a; pom: <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://ww…...

编程新知 2026/2/4 11:39:13