当前位置： 首页 > article >正文

配置Spark环境

article 2025/9/24 18:32:38

1.上传spark安装包到某一台机器（自己在finaShell上的机器）。

2.解压。 把第一步上传的安装包解压到/opt/module下（也可以自己决定解压到哪里）。对应的命令是：tar -zxvf 安装包 -C /opt/module

3.重命名。进入/opt/module/目录下把解压的内容重命名一下。命令是:mv spark-3.1.1-bin-hadoop3.2/ spark-standalone

4.配置环境变量,更新spark路径。命令为:/etc/profile.d/my_env.sh

5.同步环境变量，并使用source命令让它生效。

6.修改workers.template文件。这个文件在spark的安装目录下的conf目录下，先把名字改为workers，然后把内容设置为三台机器的主机名，具体如下。

自己三台机器名字：

hadoop100

hadoop101

hadoop102

7.修改spark-env.sh.template文件。先把名字改成spark-env.sh，然后修改内容，添加JAVA_HOME环境变量和集群对应的master节点以及通信端口，具体如下。

SPARK_MASTER_HOST=hadoop100（自己所配置下的机器名字）
SPARK_MASTER_PORT=7077

8.同步设置完毕的Spark目录到其他节点。使用我们之前分发的命令:

xsync /opt/module/spark-standalone/

9.启动SPARK集群。进入到hadoop100（自己所配置下的机器名字）机器，切换目录到/opt/module/spark-standalone/sbin下，运行命令 ./start-all.sh。

注意，这里不要省略./,它表示的是当前目录下的start-all命令，如果省略了./，它就会先去环境变量PATH中指定的目录来找这个命令。

10.验收效果。通过jps命令去每台机器上查看运行的进程。请观察是否在hadoop100上看到了master，worker在hadoop101,hadoop102上看到了worker。

11.查看启动效果。打开浏览器，输入hadoop100:8080。看到效果如:

相关文章：

配置Spark环境

1.上传spark安装包到某一台机器（自己在finaShell上的机器）。 2.解压。 把第一步上传的安装包解压到/opt/module下（也可以自己决定解压到哪里）。对应的命令是：tar -zxvf 安装包 -C /opt/module 3.重命名。进入/opt/mo…...

编程日记 2025/9/24 18:32:38

嵌入式硬件篇---IIC

文章目录 前言1. IC协议基础1.1 物理层特性两根信号线SCLSDA支持多主多从 标准模式电平 1.2 通信流程起始条件（Start Condition）从机地址（Slave Address）应答（ACK/NACK）数据传输：停止条件&#…...

编程日记 2025/6/19 1:12:37

Window下Jmeter多机压测方法

1.概述 Jmeter多机压测的原理，是通过单个jmeter客户端，控制多个远程的jmeter服务器，使他们同步的对服务器进行压力测试。 以此方式收集测试数据的好处在于： 保存测试采样数据到本地机器通过单台机器管理多个jmeter执行引擎测试…...

编程日记 2025/9/6 19:10:07

视频图像压缩领域中 DCT 的 DC 系数和 AC 系数详解

引言 在数字图像与视频压缩领域，离散余弦变换（Discrete Cosine Transform, DCT）凭借其卓越的能量集中特性，成为JPEG、MPEG等国际标准的核心技术。DCT通过将空域信号映射到频域，分离出DC系数（直流分量&…...

编程日记 2025/9/24 18:32:41

K8S cgroups详解

以下是 Kubernetes 中 cgroups（Control Groups） 的详细解析，涵盖其核心原理、在 Kubernetes 中的具体应用及实践操作： 一、cgroups 基础概念 1. 是什么？ cgroups 是 Linux 内核提供的 资源隔离与控制机制&#xff0c…...

编程日记 2025/7/2 7:47:43

能源设备数据采集

在全球可持续发展目标与环境保护理念日益深入人心的时代背景下，有效管理和优化能源使用已成为企业实现绿色转型、提升竞争力的关键路径。能源设备数据采集系统，作为能源管理的核心技术支撑，通过对各类能源生产设备运行数据的全面收集、深度分…...

编程日记 2025/9/24 18:32:36

Go语言安装proto并且使用gRPC服务（2025最新WINDOWS系统）

1.protobuf简介 protobuf 即 Protocol Buffers，是一种轻便高效的结构化数据存储格式，与语言、平台无关，可扩展可序列化。protobuf 性能和效率大幅度优于 JSON、XML 等其他的结构化数据格式。protobuf 是以二进制方式存储的，占用空…...

编程日记 2025/9/25 7:31:33

[Linux性能优化] 线程卡顿优化。Linux加入USB（HID）热插拔线程占用CPU优化。Linux中CPU使用率过高优化

文章目录 [Linux性能优化] 线程卡顿优化。0、省流版本一、问题定位：CPU 资源分析二、线程卡顿现场复现线程优化前图片 三、线程卡顿优化方向1.如果是轮询方式2.如果是事件驱动方式 四、修改方式线程优化后图片 [Linux性能优化] 线程卡顿优化。 0、省流版本 如果采…...

编程日记 2025/9/15 5:22:13

Ubuntu20.04下如何源码编译Carla，使用UE4源码开跑，踩坑集合

一、简介 作为一个从事算法研究的人员，无人驾驶仿真一直是比较重要的一部分，但是现在比较常见的算法验证都是在carla这个开源仿真平台上做的，所以我有二次开发carla的需求，今天就来讲讲编译CARLA。 网上的教材很多，但还是推荐大家看官网教程：Linux build - CARLA Simul…...

编程日记 2025/9/25 5:28:32

Java中的​​策略模式​​和​​模板方法模式

文章目录 1. 策略模式（Strategy Pattern）案例：支付方式选择 2. 模板方法模式（Template Method Pattern）案例：制作饮料流程 3. 策略模式 vs 模板方法模式4.总结 在Java中，策略模式和模板方法模式…...

编程日记 2025/6/6 15:41:13

26考研——中央处理器_数据通路的功能和基本结构（5）

408答疑 文章目录 三、数据通路的功能和基本结构数据通路的功能数据通路的组成组合逻辑元件（操作元件）时序逻辑元件（状态元件） 数据通路的基本结构CPU 内部单总线方式CPU 内部多总线方式专用数据通路方式 数据通路的操作举例通用寄…...

编程日记 2025/9/24 18:32:43

区块链大纲笔记

中心化出现的原因是由于网络的形成（不然就孤立了，这显然不符合现实，如，社会，计算机网路），接着由于网络中结点能力一般不对等同时为了便于管理等一系列问题，导致中心化网络的出现。&a…...

编程日记 2025/9/24 18:32:45

IntelliJ IDEA 集成AI编程助手全解析：从Copilot到GPT-4o Mini的实践

目录 AI编程助手的演进与核心价值GitHub Copilot深度集成指南国产新星DeepSeek配置实战GPT-4o Mini低成本接入方案三大助手对比与场景适配企业级安全与本地化部署未来发展趋势与开发者启示1. AI编程助手的演进与核心价值 1.1 技术演进图谱 #mermaid-svg-LwYPrW2Y2Pqvqgf0 {fon…...

编程日记 2025/6/10 8:56:38

浏览器自动化：RPA 解决方案的崛起

1. 引言 在 2025 年，浏览器自动化已成为企业和开发者不可或缺的工具。从网页数据抓取到自动化测试，这项技术不仅提高了效率，还推动了 Web 生态的发展。然而，随着浏览器指纹识别和反机器人检测的进步，传统的本地自动化…...

编程日记 2025/9/24 18:32:47

主流编程语言中ORM工具全解析

在不同编程语言中，ORM（Object-Relational Mapping，对象关系映射）工具的设计目标都是简化数据库操作。 以下是主流语言中最常用的 ORM 工具，按语言分类介绍其特点、适用场景和典型案例。 一、Python 生态 Python 社区…...

编程日记 2025/6/19 10:15:21

《数字分身进化论：React Native与Flutter如何打造沉浸式虚拟形象编辑》

React Native，依托JavaScript语言，借助其成熟的React生态系统，开发者能够快速上手，将前端开发的经验巧妙运用到移动应用开发中。它通过JavaScript桥接机制调用原生组件，实现与iOS和Android系统的深度交互，这…...

编程日记 2025/6/15 9:25:21

React学习———React.memo、useMemo和useCallback

React.memo React.memo是React提供的一个高阶组件，用于优化函数组件的性能，它通过记忆组件的渲染结果，避免在父组件重新渲染时，子组件不必要的重新渲染 React.memo会对组件的props进行浅比较，如果props没有变化&#…...

编程日记 2025/6/11 13:26:33

手机换地方ip地址会变化吗？深入解析

在移动互联网时代，我们经常带着手机穿梭于不同地点，无论是出差旅行还是日常通勤。许多用户都好奇：当手机更换使用地点时，IP地址会随之改变吗？本文将深入解析手机IP地址的变化机制，帮助您全面了解这一常见但…...

编程日记 2025/9/15 3:20:18

【Spring Cloud Gateway】Nacos整合遇坑记：503 Service Unavailable

一、场景重现 最近在公司进行微服务架构升级，将原有的 Spring Cloud Hoxton 版本升级到最新的 2021.x 版本，同时使用 Nacos 作为服务注册中心和配置中心。在完成基础框架搭建后，我使用 Spring Cloud Gateway 作为API 网关，通过 N…...

编程日记 2025/7/8 3:41:09

力扣-49.字母异位词分组

题目描述 给你一个字符串数组&#xff0c;请你将 字母异位词 组合在一起。可以按任意顺序返回结果列表。 字母异位词 是由重新排列源单词的所有字母得到的一个新单词。 class Solution {public List<List<String>> groupAnagrams(String[] strs) {Map<String…...

编程日记 2025/7/14 6:30:15

OpenCV光流估计：原理、实现与应用

一、什么是光流&#xff1f; 光流(Optical Flow)是计算机视觉中描述图像序列中像素运动模式的重要概念。它表示图像中物体在连续帧之间的表观运动&#xff0c;是由物体或相机的运动引起的。 光流的基本假设 亮度恒常性&#xff1a;同一物体点在连续帧中的亮度保持不变时间持…...

编程日记 2025/8/7 20:44:43

C语言经典笔试题目分析（持续更新）

1. 描述下面代码中两个static 各自的含义 static void func (void) {static unsigned int i; }static void func(void) 中的 static 作用对象&#xff1a;函数 func。 含义&#xff1a; 限制函数的作用域&#xff08;链接属性&#xff09;&#xff0c;使其仅在当前源文件&…...

编程日记 2025/9/20 20:16:33

AI工具分享篇 | recraft.ai + figma 复刻技术路线图

recraft 介绍 recraft.ai 主要生成和编辑适合网站、印刷和营销的各种风格的矢量艺术、图标、3d图像和插图。其矢量化功能可将路线图转化为一个矢量图。 recraft 的注册流程非常的简单&#xff0c;邮箱注册即可&#xff0c;无需科学上网&#xff0c;3分钟就能搞定。看不懂英文…...

编程日记 2025/9/24 19:00:34

部署安装jenkins.war（2.508）

实验目的&#xff1a;部署jenkins&#xff0c;并与gitlab关联bulid 所需软件&#xff1a;jdk-17_linux-x64_bin.tar.gz jenkins.war apache-tomcat-10.1.40.tar.gz 实验主机&#xff1a;8.10具有java环境,内存最少为4G&#xff0c;cpu双核 目录 jdk安装 …...

编程日记 2025/9/24 18:32:53

JS手写代码篇---手写 Object.create

JS手写代码篇 在做手写题的时候&#xff0c;我们要思考两个问题 这个代码的作用是什么能够实现的效果是什么样子 1. 手写 Object.create 思路&#xff1a;创造一个对象&#xff0c;类似于Object.create()方法>将obj作为原型 // 手写 Object.create function create (ob…...

编程日记 2025/9/24 18:32:56

前端最新面试题及答案 (2025)

前端最新面试题及答案 (2025) JavaScript 核心 1. ES6+ 新特性 问题: 请解释 ES6 中 let/const 与 var 的区别，以及箭头函数的特点。 答案: let/const vs var: 作用域: let/const 是块级作用域，var 是函数作用域 变量提升: var会提升变量，let/const不会(有暂时性死区) 重…...

编程日记 2025/8/16 21:11:47

视频编解码学习十二之Android疑点

一、android.view.SurfaceControl.setDisplaySurface的作用 android.view.SurfaceControl.setDisplaySurface 是 Android 系统中一个 native 层级别的 API&#xff0c;主要用于 设置某个物理显示屏&#xff08;Display&#xff09;的输出 Surface&#xff0c;属于 SurfaceFlin…...

编程日记 2025/9/18 5:20:05

绘制时间对应的数据曲线

头文件#pragma once #include "ChartControl.h" #include <vector> #include "DBOperate.h&...

编程日记 2025/8/7 2:52:31

HTTP 请求中 Content-Type 头部

HTTP 请求中 Content-Type 头部可以设置的各种不同的传输格式。multipart/form-data 只是其中一种，主要用于传输包含文件的数据。 以下是一些常见的 HTTP 请求体的 Content-Type 及其用途： 常见的数据传输格式 (Content-Type) 列表： application/json: 描述: 用于传输 JSO…...

编程日记 2025/6/15 23:39:04

spring boot Controller 和 RestController 的区别

spring boot Controller 和 RestController 的区别 5.3.1常用注解 Spring MVC控制器中常使用的注解有如下几种。 Controller Controller 标记在类上。使用Controller 标记的类表示是Spring MVC的Controller对象。分发处理器将会扫描使用了该注解的类&#xff0c;并检测其中的…...

编程日记 2025/9/24 18:33:19