当前位置： 首页 > news >正文

谁能讲清楚Spark之Spark系统架构

news 2026/2/10 8:58:53

### 整体架构概述
        Spark与Hadoop MapReduce的结构类似，Spark也采用Master-Worker结构。如果一个Spark集群由4个节点组成，即1个Master节点和3个Worker节点，那么在部署Standalone版本后，Spark部署的系统架构图如图2.1所示。简单来说，Master节点负责管理应用和任务，Worker节点负责执行任务。

### 具体功能

        我们接下来先介绍Master节点和Worker节点的具体功能，然后介绍一些Spark系统中的基本概念，以及一些实现细节。

1.Master节点和Worker节点的职责如下所述。

        Master节点上常驻Master进程。该进程负责管理全部的Worker节点，如将Spark任务分配给Worker节点，收集Worker节点上任务的运行信息，监控Worker节点的存活状态等。
        Worker节点上常驻Worker进程。该进程除了与Master节点通信，还负责管理Spark任务的执行，如启动Executor来执行具体的Spark任务，监控任务运行状态等。

2.执行顺讯

        启动Spark集群时，Master节点上会启动Master进程，每个Worker节点上会启动Worker进程。启动Spark集群后，接下来可以提交Spark应用到集群中执行，Master节点接收到应用后首先会通知Worker节点启动Executor，然后分配Spark计算任务（task）到Executor上执行，Executor接收到task后，为每个task启动1个线程来执行。

3.这里有几个概念需要解释一下。

        Spark application，即Sp

相关文章：

谁能讲清楚Spark之Spark系统架构

### 整体架构概述 Spark与Hadoop MapReduce的结构类似，Spark也采用Master-Worker结构。如果一个Spark集群由4个节点组成，即1个Master节点和3个Worker节点，那么在部署Standalone版本后，Spark部署的系统架构图如图2.1所示。简单来说，Master节点负责管理应用和任务，…...

编程日记 2023/8/13 9:50:20

力扣：59. 螺旋矩阵 II（Python3）

题目： 给你一个正整数 n ，生成一个包含 1 到 n2 所有元素，且元素按顺时针顺序螺旋排列的 n x n 正方形矩阵 matrix 。 来源：力扣（LeetCode） 链接：力扣（LeetCode）官网 - 全…...

编程日记 2023/8/13 9:49:17

【electron】electron项目创建的方式：

文章目录 【1】npm init quick-start/electron（推荐）【2】 克隆仓库，快速启动【3】 通过脚手架搭建项目【4】 手动创建项目 【Electron官网】https://www.electronjs.org/zh/docs/latest/api/app 【1】npm init quick-start/electron&#xf…...

编程日记 2023/8/13 9:48:15

Vim学习（一）——基本命令与三种模式

写在前面， 致敬 8月3日，Vim创始人Bram Moolenaar去世，在此向老爷子致敬！感谢他为这个世界带来的优秀编辑器Vim。 基本介绍 Vim全称叫Vi IMproved. 而vi则是Visual Interface的缩写，他们处理都是ASCII码字符数据&am…...

编程日记 2023/8/13 9:47:14

unity新输入系统的简单使用（New InputSystem）

1、在包管理器 unity注册表中下载安装InputSystem 2、给玩家添加组件PlayerInput，点击CreatAction,创建一个InputAct InputAct,这是玩家的输入文件，在里面可以设置玩家输入 3、使用 例如玩家控制角色移动 在InputAct中，默认已经设置好了移…...

编程日记 2023/8/13 9:46:13

Redis——特性介绍与应用场景

Redis特性介绍 In-memory data structrues 众所周知，MySQL是一种关系型数据库，其通过表的结构存储数据，就类似于建立了一个excel表格来存储数据。但是像视频这类数据并不适合存储在关系型数据库中，因此存在非关系型数据库——通…...

编程日记 2023/8/13 9:45:11

网络：路由

1. 路由器 路由器工作在三层，每个接口都处于不用的网段中，即不同的广播域。但大多情况下，两台路由器直接相连的接口是同一个广播域，即一个网段。 路由器具有判断网络地址和选择路径的功能，能在多网络互联的环境中&…...

编程日记 2023/8/13 9:44:10

利用三维内容编辑器制作VR交互课件，简单好用易上手

随着虚拟现实技术的不断发展，越来越多的教育机构开始尝试将其应用于教育教学中。然而，要实现这一目标并不容易，需要专业的技术支持和开发团队。 为了解决这一问题，广州华锐互动研发了三维内容编辑器，它是一种基于虚拟现…...

编程日记 2023/8/13 9:43:09

中国首款量子计算机操作系统本源司南 PilotOS正式上线

中国安徽省量子计算工程研究中心近日宣布，中国国产量子计算机操作系统本源司南 PilotOS 客户端正式上线。 如果把量子芯片比喻成人的“心脏”，那么量子计算机操作系统就相当于人的“大脑”，量子计算应用软件则是人的“四肢”。 据安徽省量子…...

编程日记 2023/8/13 9:42:07

基层社会治理平台建设方案[113页PPT]

导读：原文《基层社会治理平台建设方案[113页PPT]》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。 完整版领取方式 完整版领取方式： 如需获取完…...

编程日记 2023/8/13 9:41:06

认识vite

一.了解vite的不同版本的更新 vite1版本是基于vue项目的，无法跨框架使用vite2可以跨框架（vue2，vue3，react）vite3模板变更；vite cli优化；import.meta.glob API变化；其他vite4主版本主…...

编程日记 2023/8/13 9:40:05

华为运动健康，十年创新天地宽

我听一位朋友讲过这样一个故事。某天早上，急诊科的医生迎来了一位患者，患者进来后直接说：“大夫，我房颤了。” 这位医生非常诧异，因为心脏房颤确实非常危急，但很多时候并没有明显的生理体征，患者…...

编程日记 2023/8/13 9:39:03

深度学习（37）—— 图神经网络GNN（2）

深度学习（37）—— 图神经网络GNN（2） 这一期主要是一些简单示例，针对不同的情况，使用的数据都是torch_geometric的内置数据集 文章目录 深度学习（37）—— 图神经网络GNN&#xff08…...

编程日记 2023/8/13 9:38:02

Unity游戏源码分享-乐节奏休闲游戏源码 guitar hero 支持mobile

Unity游戏源码分享-乐节奏休闲游戏源码 guitar hero 支持mobile 完整版下载地址：https://download.csdn.net/download/Highning0007/88198766...

编程日记 2023/8/13 9:37:00

VS Code配置Prettier格式化Apex

先决条件 安装nodejs和npm安装vs code安装salesforce extension pack 配置Prettier Apex 创建本地Salesforce项目 (Standard) command shift p -> SFDX: Create Project with Manifest -> Standard 打开terminal运行npm init生成package.json文件 安装prettier ap…...

编程日记 2023/8/13 9:35:59

Spring-Cloud-Loadblancer详细分析_4

在RoundRobinLoadBalancer.choose中的serviceInstanceListSupplierProvider就是获取服务列表的关键，那么此对象是怎么拿到的呢，让我们回到RoundRobinLoadBalancer的创建过程 Configuration(proxyBeanMethods false) ConditionalOnDiscoveryEnabled pub…...

编程日记 2023/8/13 9:34:57

openocd调试esp32（通过FT232H）

之前在学习ESP32，其中有一部分课程是学习openocd通过JTAG调试程序的，因为我用的是ESP32-wroom，usb端口没有集成对应的usb转jtag的ft232，查了ESP32相关的资料（JTAG 调试 - ESP32 - — ESP-IDF 编程指南 latest 文档 (es…...

编程日记 2023/8/13 9:33:54

Nokia5110使用方法及实例编写51单片机

文章目录 Nokia5110实物图引脚和原理图51单片机实例软件模拟SPI实现控制Nokia5110显示字符发送字节时序图（图片太多了，关键图片已截取出来）初始化需要配置实例编写回顾接线结束Nokia5110 Nokia是诺基亚拆下来的屏幕。使用SPI控制 84x48 的点阵 LCD，可以显示 4 行汉字，采用…...

编程日记 2023/8/13 9:32:53

3个月快速入门LoRa物联网传感器开发

在这里插入图片描述 快速入门LoRa物联网传感器开发 LoRa作为一种LPWAN(低功耗广域网络)无线通信技术,非常适合物联网传感器和行业应用。要快速掌握LoRa开发,需要系统学习理论知识,并通过实际项目积累经验。 摘要: 先学习LoRa基础知识:原理、网络架构、协议等,大概需要2周时间…...

编程日记 2023/8/13 9:31:52

【小梦C嘎嘎——启航篇】内存管理小知识~

【小梦C嘎嘎——启航篇】内存管理小知识~😎 前言🙌malloc/calloc/realloc的区别？new 与 deletenew与delete要找好搭档才能保证万无一失 new 与 delete的内部实现细节是怎么样的呢？？？new 的内部实现细节dele…...

编程日记 2023/8/13 9:30:51

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周，有很多同学在写期末Java web作业时，运行tomcat出现乱码问题，经过多次解决与研究，我做了如下整理： 原因： IDEA本身编码与tomcat的编码与Windows编码不同导致，Windows 系统控制台…...

编程新知 2026/2/8 4:37:39

C++实现分布式网络通信框架RPC(3)--rpc调用端

目录 一、前言 二、UserServiceRpc_Stub 三、 CallMethod方法的重写 头文件 实现 四、rpc调用端的调用 实现 五、 google::protobuf::RpcController *controller 头文件 实现 六、总结 一、前言 在前边的文章中，我们已经大致实现了rpc服务端的各项功能代…...

编程新知 2026/2/8 20:42:58

Linux链表操作全解析

Linux C语言链表深度解析与实战技巧 一、链表基础概念与内核链表优势1.1 为什么使用链表？1.2 Linux 内核链表与用户态链表的区别 二、内核链表结构与宏解析常用宏/函数 三、内核链表的优点四、用户态链表示例五、双向循环链表在内核中的实现优势5.1 插入效率5.2 安全…...

编程新知 2025/12/3 20:14:32

VB.net复制Ntag213卡写入UID

本示例使用的发卡器：https://item.taobao.com/item.htm?ftt&id615391857885 一、读取旧Ntag卡的UID和数据 Private Sub Button15_Click(sender As Object, e As EventArgs) Handles Button15.Click轻松读卡技术支持:网站:Dim i, j As IntegerDim cardidhex, …...

编程新知 2026/2/9 6:48:28

Auto-Coder使用GPT-4o完成：在用TabPFN这个模型构建一个预测未来3天涨跌的分类任务

通过akshare库，获取股票数据，并生成TabPFN这个模型 可以识别、处理的格式，写一个完整的预处理示例，并构建一个预测未来 3 天股价涨跌的分类任务 用TabPFN这个模型构建一个预测未来 3 天股价涨跌的分类任务，进行预测并输…...

编程新知 2025/9/20 4:34:47

Golang dig框架与GraphQL的完美结合

将 Go 的 Dig 依赖注入框架与 GraphQL 结合使用，可以显著提升应用程序的可维护性、可测试性以及灵活性。 Dig 是一个强大的依赖注入容器，能够帮助开发者更好地管理复杂的依赖关系，而 GraphQL 则是一种用于 API 的查询语言，能够提…...

编程新知 2025/12/31 8:38:23

IoT/HCIP实验-3/LiteOS操作系统内核实验(任务、内存、信号量、CMSIS..)

文章目录 概述HelloWorld 工程C/C配置编译器主配置Makefile脚本烧录器主配置运行结果程序调用栈 任务管理实验实验结果osal 系统适配层osal_task_create 其他实验实验源码内存管理实验互斥锁实验信号量实验 CMISIS接口实验还是得JlINKCMSIS 简介LiteOS->CMSIS任务间消息交互…...

编程新知 2026/1/31 23:44:39

重启Eureka集群中的节点，对已经注册的服务有什么影响

先看答案，如果正确地操作，重启Eureka集群中的节点，对已经注册的服务影响非常小，甚至可以做到无感知。 但如果操作不当，可能会引发短暂的服务发现问题。 下面我们从Eureka的核心工作原理来详细分析这个问题。 Eureka的…...

编程新知 2025/9/24 3:38:34

C++使用 new 来创建动态数组

问题： 不能使用变量定义数组大小 原因： 这是因为数组在内存中是连续存储的，编译器需要在编译阶段就确定数组的大小，以便正确地分配内存空间。如果允许使用变量来定义数组的大小，那么编译器就无法在编译时确定数组的大…...

编程新知 2026/2/2 18:33:19

嵌入式学习笔记DAY33（网络编程——TCP）

一、网络架构 C/S （client/server 客户端/服务器）：由客户端和服务器端两个部分组成。客户端通常是用户使用的应用程序，负责提供用户界面和交互逻辑 ，接收用户输入，向服务器发送请求，并展示服务…...

编程新知 2026/2/10 3:34:25