当前位置： 首页 > news >正文

谁能讲清楚Spark之Spark系统架构

news 2026/2/10 11:13:56

### 整体架构概述
        Spark与Hadoop MapReduce的结构类似，Spark也采用Master-Worker结构。如果一个Spark集群由4个节点组成，即1个Master节点和3个Worker节点，那么在部署Standalone版本后，Spark部署的系统架构图如图2.1所示。简单来说，Master节点负责管理应用和任务，Worker节点负责执行任务。

### 具体功能

        我们接下来先介绍Master节点和Worker节点的具体功能，然后介绍一些Spark系统中的基本概念，以及一些实现细节。

1.Master节点和Worker节点的职责如下所述。

        Master节点上常驻Master进程。该进程负责管理全部的Worker节点，如将Spark任务分配给Worker节点，收集Worker节点上任务的运行信息，监控Worker节点的存活状态等。
        Worker节点上常驻Worker进程。该进程除了与Master节点通信，还负责管理Spark任务的执行，如启动Executor来执行具体的Spark任务，监控任务运行状态等。

2.执行顺讯

        启动Spark集群时，Master节点上会启动Master进程，每个Worker节点上会启动Worker进程。启动Spark集群后，接下来可以提交Spark应用到集群中执行，Master节点接收到应用后首先会通知Worker节点启动Executor，然后分配Spark计算任务（task）到Executor上执行，Executor接收到task后，为每个task启动1个线程来执行。

3.这里有几个概念需要解释一下。

        Spark application，即Sp

相关文章：

谁能讲清楚Spark之Spark系统架构

### 整体架构概述 Spark与Hadoop MapReduce的结构类似，Spark也采用Master-Worker结构。如果一个Spark集群由4个节点组成，即1个Master节点和3个Worker节点，那么在部署Standalone版本后，Spark部署的系统架构图如图2.1所示。简单来说，Master节点负责管理应用和任务，…...

编程日记 2023/8/13 9:50:20

力扣：59. 螺旋矩阵 II（Python3）

题目： 给你一个正整数 n ，生成一个包含 1 到 n2 所有元素，且元素按顺时针顺序螺旋排列的 n x n 正方形矩阵 matrix 。 来源：力扣（LeetCode） 链接：力扣（LeetCode）官网 - 全…...

编程日记 2023/8/13 9:49:17

【electron】electron项目创建的方式：

文章目录 【1】npm init quick-start/electron（推荐）【2】 克隆仓库，快速启动【3】 通过脚手架搭建项目【4】 手动创建项目 【Electron官网】https://www.electronjs.org/zh/docs/latest/api/app 【1】npm init quick-start/electron&#xf…...

编程日记 2023/8/13 9:48:15

Vim学习（一）——基本命令与三种模式

写在前面， 致敬 8月3日，Vim创始人Bram Moolenaar去世，在此向老爷子致敬！感谢他为这个世界带来的优秀编辑器Vim。 基本介绍 Vim全称叫Vi IMproved. 而vi则是Visual Interface的缩写，他们处理都是ASCII码字符数据&am…...

编程日记 2023/8/13 9:47:14

unity新输入系统的简单使用（New InputSystem）

1、在包管理器 unity注册表中下载安装InputSystem 2、给玩家添加组件PlayerInput，点击CreatAction,创建一个InputAct InputAct,这是玩家的输入文件，在里面可以设置玩家输入 3、使用 例如玩家控制角色移动 在InputAct中，默认已经设置好了移…...

编程日记 2023/8/13 9:46:13

Redis——特性介绍与应用场景

Redis特性介绍 In-memory data structrues 众所周知，MySQL是一种关系型数据库，其通过表的结构存储数据，就类似于建立了一个excel表格来存储数据。但是像视频这类数据并不适合存储在关系型数据库中，因此存在非关系型数据库——通…...

编程日记 2023/8/13 9:45:11

网络：路由

1. 路由器 路由器工作在三层，每个接口都处于不用的网段中，即不同的广播域。但大多情况下，两台路由器直接相连的接口是同一个广播域，即一个网段。 路由器具有判断网络地址和选择路径的功能，能在多网络互联的环境中&…...

编程日记 2023/8/13 9:44:10

利用三维内容编辑器制作VR交互课件，简单好用易上手

随着虚拟现实技术的不断发展，越来越多的教育机构开始尝试将其应用于教育教学中。然而，要实现这一目标并不容易，需要专业的技术支持和开发团队。 为了解决这一问题，广州华锐互动研发了三维内容编辑器，它是一种基于虚拟现…...

编程日记 2023/8/13 9:43:09

中国首款量子计算机操作系统本源司南 PilotOS正式上线

中国安徽省量子计算工程研究中心近日宣布，中国国产量子计算机操作系统本源司南 PilotOS 客户端正式上线。 如果把量子芯片比喻成人的“心脏”，那么量子计算机操作系统就相当于人的“大脑”，量子计算应用软件则是人的“四肢”。 据安徽省量子…...

编程日记 2023/8/13 9:42:07

基层社会治理平台建设方案[113页PPT]

导读：原文《基层社会治理平台建设方案[113页PPT]》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。 完整版领取方式 完整版领取方式： 如需获取完…...

编程日记 2023/8/13 9:41:06

认识vite

一.了解vite的不同版本的更新 vite1版本是基于vue项目的，无法跨框架使用vite2可以跨框架（vue2，vue3，react）vite3模板变更；vite cli优化；import.meta.glob API变化；其他vite4主版本主…...

编程日记 2023/8/13 9:40:05

华为运动健康，十年创新天地宽

我听一位朋友讲过这样一个故事。某天早上，急诊科的医生迎来了一位患者，患者进来后直接说：“大夫，我房颤了。” 这位医生非常诧异，因为心脏房颤确实非常危急，但很多时候并没有明显的生理体征，患者…...

编程日记 2023/8/13 9:39:03

深度学习（37）—— 图神经网络GNN（2）

深度学习（37）—— 图神经网络GNN（2） 这一期主要是一些简单示例，针对不同的情况，使用的数据都是torch_geometric的内置数据集 文章目录 深度学习（37）—— 图神经网络GNN&#xff08…...

编程日记 2023/8/13 9:38:02

Unity游戏源码分享-乐节奏休闲游戏源码 guitar hero 支持mobile

Unity游戏源码分享-乐节奏休闲游戏源码 guitar hero 支持mobile 完整版下载地址：https://download.csdn.net/download/Highning0007/88198766...

编程日记 2023/8/13 9:37:00

VS Code配置Prettier格式化Apex

先决条件 安装nodejs和npm安装vs code安装salesforce extension pack 配置Prettier Apex 创建本地Salesforce项目 (Standard) command shift p -> SFDX: Create Project with Manifest -> Standard 打开terminal运行npm init生成package.json文件 安装prettier ap…...

编程日记 2023/8/13 9:35:59

Spring-Cloud-Loadblancer详细分析_4

在RoundRobinLoadBalancer.choose中的serviceInstanceListSupplierProvider就是获取服务列表的关键，那么此对象是怎么拿到的呢，让我们回到RoundRobinLoadBalancer的创建过程 Configuration(proxyBeanMethods false) ConditionalOnDiscoveryEnabled pub…...

编程日记 2023/8/13 9:34:57

openocd调试esp32（通过FT232H）

之前在学习ESP32，其中有一部分课程是学习openocd通过JTAG调试程序的，因为我用的是ESP32-wroom，usb端口没有集成对应的usb转jtag的ft232，查了ESP32相关的资料（JTAG 调试 - ESP32 - — ESP-IDF 编程指南 latest 文档 (es…...

编程日记 2023/8/13 9:33:54

Nokia5110使用方法及实例编写51单片机

文章目录 Nokia5110实物图引脚和原理图51单片机实例软件模拟SPI实现控制Nokia5110显示字符发送字节时序图（图片太多了，关键图片已截取出来）初始化需要配置实例编写回顾接线结束Nokia5110 Nokia是诺基亚拆下来的屏幕。使用SPI控制 84x48 的点阵 LCD，可以显示 4 行汉字，采用…...

编程日记 2023/8/13 9:32:53

3个月快速入门LoRa物联网传感器开发

在这里插入图片描述 快速入门LoRa物联网传感器开发 LoRa作为一种LPWAN(低功耗广域网络)无线通信技术,非常适合物联网传感器和行业应用。要快速掌握LoRa开发,需要系统学习理论知识,并通过实际项目积累经验。 摘要: 先学习LoRa基础知识:原理、网络架构、协议等,大概需要2周时间…...

编程日记 2023/8/13 9:31:52

【小梦C嘎嘎——启航篇】内存管理小知识~

【小梦C嘎嘎——启航篇】内存管理小知识~😎 前言🙌malloc/calloc/realloc的区别？new 与 deletenew与delete要找好搭档才能保证万无一失 new 与 delete的内部实现细节是怎么样的呢？？？new 的内部实现细节dele…...

编程日记 2023/8/13 9:30:51

装饰模式（Decorator Pattern）重构java邮件发奖系统实战

前言 现在我们有个如下的需求，设计一个邮件发奖的小系统， 需求 1.数据验证 → 2. 敏感信息加密 → 3. 日志记录 → 4. 实际发送邮件 装饰器模式（Decorator Pattern）允许向一个现有的对象添加新的功能，同时又不改变其…...

编程新知 2026/2/8 4:37:00

CTF show Web 红包题第六弹

提示 1.不是SQL注入 2.需要找关键源码 思路 进入页面发现是一个登录框，很难让人不联想到SQL注入，但提示都说了不是SQL注入，所以就不往这方面想了 ​ 先查看一下网页源码，发现一段JavaScript代码，有一个关键类ctfs…...

编程新知 2026/2/5 4:33:58

Springcloud：Eureka 高可用集群搭建实战（服务注册与发现的底层原理与避坑指南）

引言：为什么 Eureka 依然是存量系统的核心？ 尽管 Nacos 等新注册中心崛起，但金融、电力等保守行业仍有大量系统运行在 Eureka 上。理解其高可用设计与自我保护机制，是保障分布式系统稳定的必修课。本文将手把手带你搭建生产级 Eur…...

编程新知 2026/1/31 7:23:48

令牌桶 滑动窗口-＞限流 分布式信号量-＞限并发的原理 lua脚本分析介绍

文章目录 前言限流限制并发的实际理解限流令牌桶代码实现结果分析令牌桶lua的模拟实现原理总结： 滑动窗口代码实现结果分析lua脚本原理解析 限并发分布式信号量代码实现结果分析lua脚本实现原理 双注解去实现限流 并发结果分析： 实际业务去理解体会统一注…...

编程新知 2026/1/29 16:36:27

【学习笔记】深入理解Java虚拟机学习笔记——第4章 虚拟机性能监控，故障处理工具

第2章 虚拟机性能监控，故障处理工具 4.1 概述 略 4.2 基础故障处理工具 4.2.1 jps:虚拟机进程状况工具 命令：jps [options] [hostid] 功能：本地虚拟机进程显示进程ID（与ps相同），可同时显示主类&#x…...

编程新知 2026/1/15 1:34:10

Linux C语言网络编程详细入门教程：如何一步步实现TCP服务端与客户端通信

文章目录 Linux C语言网络编程详细入门教程：如何一步步实现TCP服务端与客户端通信前言一、网络通信基础概念二、服务端与客户端的完整流程图解三、每一步的详细讲解和代码示例1. 创建Socket（服务端和客户端都要）2. 绑定本地地址和端口&#x…...

编程新知 2025/10/31 21:54:15

Aspose.PDF 限制绕过方案：Java 字节码技术实战分享（仅供学习）

Aspose.PDF 限制绕过方案：Java 字节码技术实战分享（仅供学习） 一、Aspose.PDF 简介二、说明（⚠️仅供学习与研究使用）三、技术流程总览四、准备工作1. 下载 Jar 包2. Maven 项目依赖配置 五、字节码修改实现代码&#…...

编程新知 2026/2/6 22:13:44

C++.OpenGL （14/64）多光源（Multiple Lights）

多光源（Multiple Lights） 多光源渲染技术概览 #mermaid-svg-3L5e5gGn76TNh7Lq {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-3L5e5gGn76TNh7Lq .error-icon{fill:#552222;}#mermaid-svg-3L5e5gGn76TNh7Lq .erro…...

编程新知 2025/6/11 3:15:20

Mysql8 忘记密码重置，以及问题解决

1.使用免密登录 找到配置MySQL文件，我的文件路径是/etc/mysql/my.cnf，有的人的是/etc/mysql/mysql.cnf 在里最后加入 skip-grant-tables重启MySQL服务 service mysql restartShutting down MySQL… SUCCESS! Starting MySQL… SUCCESS! 重启成功 2.登…...

编程新知 2026/1/9 8:59:09

接口自动化测试：HttpRunner基础

相关文档 HttpRunner V3.x中文文档 HttpRunner 用户指南 使用HttpRunner 3.x实现接口自动化测试 HttpRunner介绍 HttpRunner 是一个开源的 API 测试工具，支持 HTTP(S)/HTTP2/WebSocket/RPC 等网络协议，涵盖接口测试、性能测试、数字体验监测等测试类型…...

编程新知 2026/1/29 7:31:17