当前位置： 首页 > article >正文

Spark on Yarn 高可用模式部署流程

article 2025/6/4 9:59:56

一、引言

Spark是一个用于大规模数据分析处理的分布式计算框架，适用于快速处理大数据的场景。Yarn是一个资源调度框架，用于集群资源的调度和管理。Spark 的任务也可以提交到Yarn中运行，由Yarn进行资源调度。在生产环境中，为了避免单点故障导致整个集群不可用的情况，一个很好的方式就是部署一个HA高可用的运行环境。

二、环境

1、 前提环境

配置高可用，首先要保证下面三个环境能正常运行。

  • yarn集群
  • spark集群
  • zookeeper集群

2、zookeeper作用

以zookeeper在Spark集群中为例，在Yarn集群中也是同样的作用。

  • Master节点的高可用性

Spark 高可用中，会有多个个Master节点，zookeeper会协助管理哪些Master节点是活动的，哪些是备份的。

  • Master节点的选举机制

Spark 高可用中，使用zookeeper来实现Master节点的选举。在Spark集群中有多个Master节点时，zookeeper会确保只有一个节点是活跃的。一旦当前主节点失败，zookeeper会重新选举出一个新的Master节点，保证集群正常运行。

  • 保存元数据和配置信息

    Zookeeper用来保存和共享Spark集群的配置信息、状态、集群的元数据。当Master节点切换时，可以做到数据同步。

Zookeeper在集群中通过Master节点选举和故障恢复来确保集群的稳定运行。通过使用Zookeeper，可以有效的避免单点故障，在Master发生异常时自动切换，保证计算任务正常运行。

三、Yarn HA 配置

1、首先执行stop-yarn.sh，停止现有的yarn环境

2、在yarn-site.xml中，添加如下配置

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 开启RM高可用 --><property><name>yarn.resourcemanager.ha.enabled</name><value>true</value></property><!-- 指定RM的cluster id --><property><name>yarn.resourcemanager.cluster-id</name><value>yrc

相关文章：

Spark on Yarn 高可用模式部署流程

一、引言 Spark是一个用于大规模数据分析处理的分布式计算框架，适用于快速处理大数据的场景。Yarn是一个资源调度框架，用于集群资源的调度和管理。Spark 的任务也可以提交到Yarn中运行，由Yarn进行资源调度。在生产环境中，为了避免单点故障导致整个集群不可用的情况，一个很…...

编程日记 2025/5/31 13:12:32

AI时代新词-大模型（Large Language Model）

一、什么是大模型&#xff1f; 大模型&#xff0c;全称为“大规模语言模型”&#xff08;Large Language Model&#xff09;&#xff0c;是一种基于深度学习的人工智能技术。它通过海量的文本数据进行训练&#xff0c;学习语言的模式、语法和语义&#xff0c;从而能够生成自然…...

编程日记 2025/5/31 9:45:54

3d tiles高级样式设计与条件渲染

条件渲染是3D Tiles样式设置的一大亮点。我们可以通过设置不同的条件来实现复杂的视觉效果。例如&#xff0c;根据建筑物与某个特定点的距离来设置颜色和是否显示&#xff1a; tiles3d.style new Cesium.Cesium3DTileStyle({defines: {distance: "distance(vec2(${featur…...

编程日记 2025/6/1 20:07:45

Linux中logger命令的使用方法详解

文章目录 一、基础语法二、核心功能选项三、‌设施与优先级对照‌1. 常用设施&#xff08;Facility&#xff09;2. 优先级&#xff08;Priority&#xff09;从低到高&#xff1a;3. 组合示例‌ 四、典型使用场景1. 记录简单消息2. 带标签和优先级3. 记录命令输出4. 发送到远程服…...

编程日记 2025/6/1 4:39:02

博奥龙Nanoantibody系列IP专用抗体

货号名称BDAA0260 HRP-Nanoantibody anti Mouse for IP BDAA0261 AbBox Fluor 680-Nanoantibody anti Mouse for IP BDAA0262 AbBox Fluor 800-Nanoantibody anti Mouse for IP ——无轻/重链干扰&#xff0c;更高亲和力和特异性 01Nanoantibody系列抗体 是利用噬菌体展示纳…...

编程日记 2025/6/3 18:26:57

webpack构建速度和打包体积优化方案

一、分析工具 1.1 webpack-bundle-analyzer 生成 stats.json 文件 打包命令webpack --config webpack.config.js --json > stats.json使用 webpack-bundle-analyzer 插件const BundleAnalyzerPlugin = require(webpack-bundle-analyzer).BundleAnalyzerPlugin; plugins: […...

编程日记 2025/6/1 2:23:51

[IMX] 08.RTC 时钟

代码链接&#xff1a;GitHub - maoxiaoxian/imx 目录 1.IMX 的 SNVS 模块 2.SNVS 模块的寄存器 2.1.命令寄存器 - SNVS_HPCOMR 2.2.低功耗控制寄存器 - SNVS_LPCR 2.3.HP 模式的计数寄存器 MSB - SNVS_HPRTCMR 2.4.HP 模式的计数寄存器 LSB - SNVS_HPRTCLR 2.5.LP 模式的…...

编程日记 2025/6/1 8:17:20

PG Craft靶机复现 宏macro攻击

一. 端口扫描 只有80端口开启 二. 网页查看 目录扫描一下&#xff1a; dirsearch -u http://192.168.131.169/ 发现 http://192.168.131.169/upload.php 网站书使用xampp搭建&#xff0c;暴露了路径 还发现上传文件 http://192.168.131.169/uploads/ 发现一个上传点&#x…...

编程日记 2025/6/1 8:17:29

Qt Creator快捷键合集

前言 QtCreator是一款跨平台的IDE，专为Qt开发设计，支持C/C++/JS/Python编程，支持设备远程调试，支持代码高亮，集成帮助文档，原生支持cmake和git，确实是一款朴实而又强大的集成开发环境，让人有种爱不释手的感觉 编辑 功能快捷键复制Ctrl + C粘贴Ctrl + V剪切Ctrl + X代…...

编程日记 2025/5/29 13:24:41

ElasticSearch--DSL查询语句

ElasticSearch DSL查询文档 分类 查询类型功能描述典型应用场景示例语法查询所有匹配所有文档&#xff0c;无过滤条件数据预览/测试json { "query": { "match_all": {} } }全文检索查询对文本字段分词后匹配&#xff0c;基于倒排索引搜索框模糊匹配、多字段…...

编程日记 2025/6/1 8:17:24

海康威视摄像头C#开发指南：从SDK对接到安全增强与高并发优化

一、海康威视SDK核心对接流程​​ 1. ​​开发环境准备​​ ​​官方SDK获取​​&#xff1a;从海康开放平台下载最新版SDK&#xff08;如HCNetSDK.dll、PlayCtrl.dll&#xff09;。​​依赖项安装​​&#xff1a;确保C运行库&#xff08;如vcredist_x86.exe&#xff09;与S…...

编程日记 2025/6/1 11:18:25

Redis（四） - 使用Python操作Redis详解

文章目录 前言一、下载Python插件二、创建项目三、安装 redis 库四、新建python软件包五、键操作六、字符串操作七、列表操作八、集合操作九、哈希表操作十、有序集合操作十一、完整代码1. 完整代码2. 项目下载 前言 本文是基于 Python 操作 Redis 数据库的实战指南&#xff0…...

编程日记 2025/5/31 17:48:04

Kotlin全栈工程师转型路径

针对 Android 开发者向全栈工程师的转型&#xff0c;结合 Kotlin 语言的独特优势&#xff0c;以下是分阶段转型路径和关键技术建议&#xff1a; 一、Kotlin 全栈技术栈构建 后端开发深化 Ktor 框架进阶&#xff1a; 掌握路由嵌套、内容协商&#xff08;JSON/Protobuf&#xf…...

编程日记 2025/6/1 20:31:39

如何利用 Spring Data MongoDB 进行地理位置相关的查询？

以下是如何使用 Spring Data MongoDB 进行地理位置相关查询的步骤和示例&#xff1a; 核心概念&#xff1a; GeoJSON 对象: MongoDB 推荐使用 GeoJSON 格式来存储地理位置数据。Spring Data MongoDB 提供了相应的 GeoJSON 类型&#xff0c;如 GeoJsonPoint, GeoJsonPolygon, …...

编程日记 2025/5/31 18:58:52

服务器并发实现的五种方法

文章目录 前言一、单线程 / 进程二、多进程并发三、多线程并发四、IO多路转接&#xff08;复用&#xff09;select五、IO多路转接&#xff08;复用&#xff09;poll六、IO多路转接&#xff08;复用&#xff09;epoll 前言 关于网络编程相关知识可看我之前写过的文章&#xff1…...

编程日记 2025/6/4 6:09:40

PYTORCH_CUDA_ALLOC_CONF基本原理和具体示例

PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb 是 PyTorch 提供的一项环境变量配置&#xff0c;用于控制 CUDA 显存分配的行为。通过指定此参数&#xff0c;可以有效管理 GPU 显存的碎片化&#xff0c;缓解因显存碎片化而导致的 “CUDA out of memory”&#xff08;显存溢出&#…...

编程日记 2025/6/3 18:12:03

2025年系统架构师---综合知识卷

1.进程是一个具有独立功能的程序关于某数据集合的一次运行活动，是系统进行资源分配和调度的基本单位（线程包含于进程之中，可并发，是系统进行运算调度的最小单位）。一个进程是通过其物理实体被感知的，进程的物理实体又称为进程的静态描述，通常由三部分组成，分别是程序、…...

编程日记 2025/6/2 10:36:51

AI 抠图软件批量处理 + 发丝级精度，婚纱 / 玻璃一键抠透明 免安装

各位抠图小能手们&#xff0c;今天我要给大家介绍一款超厉害的工具——AiartyImageMattingPortable&#xff01;它是基于人工智能的便携式图像抠图工具&#xff0c;专门为快速、精准抠图而生&#xff0c;处理复杂边缘和透明物体那简直就是它的拿手好戏&#xff01; 咱先说说它…...

编程日记 2025/5/30 22:13:54

JVM 深度解析

一、JVM 概述 1.1 什么是 JVM&#xff1f; JVM&#xff08;Java Virtual Machine&#xff0c;Java 虚拟机&#xff09;是 Java 程序运行的核心引擎。它像一个“翻译官”&#xff0c;将 Java 字节码转换为机器能理解的指令&#xff0c;并管理程序运行时的内存、线程等资源。 …...

编程日记 2025/5/31 16:46:04

新能源汽车移动充电服务：如何通过智能调度提升充电桩可用率？

随着新能源汽车的普及&#xff0c;充电需求激增&#xff0c;但固定充电桩的布局难以满足用户灵活补能的需求&#xff0c;尤其在高峰时段或偏远地区&#xff0c;"充电难"问题日益凸显。移动充电服务作为新兴解决方案&#xff0c;通过动态调度充电资源&#xff0c;有望…...

编程日记 2025/6/1 13:02:25

SpringCloud Alibaba微服务-- Sentinel的使用(笔记)

雪崩问题&#xff1a; 小问题引发大问题&#xff0c;小服务出现故障&#xff0c;处理不当&#xff0c;可能导致整个微服务宕机。 假如商品服务出故障&#xff0c;购物车调用该服务&#xff0c;则可能出现处理时间过长&#xff0c;如果一秒几十个请求&#xff0c;那么处理时间过…...

编程日记 2025/6/1 13:02:32

PARSCALE：大语言模型的第三种扩展范式

----->更多内容&#xff0c;请移步“鲁班秘笈”&#xff01;&#xff01;<----- 随着人工智能技术的飞速发展&#xff0c;大语言模型&#xff08;LLM&#xff09;已成为推动机器智能向通用人工智能&#xff08;AGI&#xff09;迈进的核心驱动力。然而&#xff0c;传统的…...

编程日记 2025/6/1 13:02:36

在Windows上，将 Ubuntu WSL 安装并迁移到 D 盘完整教程（含 Appx 安装与迁移导入）

&#x1f4bb; 将 Ubuntu WSL 安装并迁移到 D 盘完整教程&#xff08;含 Appx 安装与迁移导入&#xff09; 本文记录如何在 Windows 系统中手动启用 WSL、下载 Ubuntu 安装包、安装并迁移 Ubuntu 到 D 盘&#xff0c;避免默认写入 C 盘&#xff0c;提高系统性能与可维护性。 ✅…...

编程日记 2025/6/1 13:02:45

企微获取会话内容，RSA 解密函数

企微获取会话内容&#xff0c;RSA 解密函数 企微获取会话内容下载SDKSDK配置解密过程解密代码参考SDK文件上传到服务器最后 企微获取会话内容 官方文档&#xff1a; https://developer.work.weixin.qq.com/document/path/91774 下载SDK 根据自己的环境下载对应的SDK。 SDK配置…...

编程日记 2025/6/1 13:02:48

MyBatis入门：快速搭建数据库操作框架 + 增删改查(CRUD)

一、创建Mybatis的项目 Mybatis 是⼀个持久层框架, 具体的数据存储和数据操作还是在MySQL中操作的, 所以需要添加MySQL驱动 1.添加依赖 或者 手动添加依赖 <!--Mybatis 依赖包--><dependency><groupId>org.mybatis.spring.boot</groupId><artifactI…...

编程日记 2025/6/1 13:02:53

离线安装Microsoft 照片【笔记】

实验环境为&#xff1a;Windows 10 企业版 LTSC。 1.下载好相关离线依赖包和安装包。 2.管理员身份运行powershell&#xff0c;输入以下命令行&#xff1a; Add-AppPackage .\Microsoft.UI.Xaml.2.4_2.42007.9001.0_x64__8wekyb3d8bbwe.Appx Add-AppPackage .\Microsoft.NET…...

编程日记 2025/6/1 13:02:56

地理卷积神经网络加权回归模型的详细实现方案

以下为地理卷积神经网络加权回归模型的详细实现方案。由于篇幅限制，代码和说明将分模块呈现。 地理卷积神经网络加权回归模型实现 目录 理论基础数据预处理模型架构设计空间权重矩阵生成混合模型实现实验与结果分析优化与扩展结论一、理论基础 1.1 地理加权回归（GWR） 地理…...

编程日记 2025/6/1 9:22:35

【后端高阶面经：Elasticsearch篇】39、Elasticsearch 查询性能优化：分页、冷热分离与 JVM 调优

一、索引设计优化：构建高效查询的基石 （一）分片与副本的黄金配置 1. 分片数量计算模型 # 分片数计算公式（单分片建议30-50GB） def calculate_shards(total_data_gb, single_shard_gb=30):return max...

编程日记 2025/6/3 0:01:32

光伏电站及时巡检：守护清洁能源的“生命线”

在“双碳”目标驱动下&#xff0c;光伏电站作为清洁能源的主力军&#xff0c;正以年均20%以上的装机增速重塑全球能源格局。然而&#xff0c;这些遍布荒漠、屋顶的“光伏矩阵”并非一劳永逸的能源提款机&#xff0c;其稳定运行高度依赖精细化的巡检维护。山东枣庄触电事故、衢州…...

编程日记 2025/5/31 2:30:47

基于 ZU49DR FPGA 的无线电射频数据采样转换开发平台核心板

无线电射频数据采样转换开发板及配套开发平台的核心板&#xff0c;该SOM核心板是一个最小系统&#xff0c;包括AMD公司的 Zynq UltraScale RFSOC 第3代系列XCZU49DR-2FFVF1760I FPGA、时钟、电源、内存以及 Flash。与其配套的底板是标准的全高全长Gen4.0 x8的PCIE卡&#xff0c…...

编程日记 2025/6/3 5:10:31