不想搭集群，直接用spark
为了完成布置的作业，需要用到spark的本地模式，根本用不到集群，就不想搭建虚拟机，hadoop集群啥的，很繁琐，最后写作业还用不到集群（感觉搭建集群对于我完成作业来说没有什么意义），所以才想办法在windows环境下，直接安装jdk、scala、spark等，使用spark的本地模式来写作业
步骤：
1. 安装jdk
检查了，发现我自己电脑（windows）上已经安装过jdk了，环境变量也配置好了,
path路径中也设置好了jdk的路径
2. 下载安装scala
检查自己电脑上有没有安装scala
很好，没有安装scala，那就从官网上下载2.11.12版本，官网：
The Scala Programming Language (scala-lang.org)
路径是在E盘下：
配置环境变量：
进入cmd，scala的路径下，输入scala，如下图所示，即为成功安装scala
3. 下载maven
maven已经下载好了，新建一个文件夹Localwarehouse，用来保存下载的依赖文件
配置maven的系统环境配置
cmd下验证，已经成功
配置maven: 记得修改完文件之后保存！
继续添加如下代码用来配置jdk版本
4. 验证idea是否安装好了
输出hello world 证明安装成功
idea的一些使用方法：
-
字体设置：file–>settings–>输入font–>设置字体样式以及字号大小；
-
快捷生产main方法：psvm；
-
快速生产System.out.println()：sout；
-
删除一行：选中需要删除的那一行，ctrl+y；
5. 将maven加载到idea中
6. 安装scala插件
由于我的idea在plugins里搜索不到scala插件，所以可以官网上下载跟自己idea版本对应的scala插件，在idea安装目录下的plugins下，然后重启idea，就可以搜索到scala插件已经安装上了。
7.下载安装hadoop
Index of apache-local/hadoop/core/hadoop-3.2.2
https://repo.huaweicloud.com/apache/hadoop/core/hadoop-3.2.2/环境变量配置好后，执行 hadoop version 出现以下异常
解决办法：
都修改完之后，执行hadoop version成功
8.Spark 安装和配置
安装的是3.0.2的版本
下载地址：
https://archive.apache.org/dist/spark/spark-3.0.2/
解压spark安装包，解压到E:\spark-3.0.2-bin-hadoop3.2
在系统环境变量中添加SPARK_HOME，并将SPARK_HOME添加到系统环境变量的Path中。
cmd中执行spark-shell，出现如下警告
解决办法：
到这里 GitHub - cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows 下载和你的 Hadoop 版本对应的工具所在的整个目录，比如 hadoop-3.2.0
把下载的文件中的 winutils.exe 拷贝到上述文件夹中
重新运行spark-shell，执行成功
可通过http://DESKTOP-O202EN9:4040来查看web UI界面
9. idea里配置spark
新建maven项目、配置pom.xml文件等主要参考的是：
在IDEA运行spark程序（搭建Spark开发环境）_idea spark-CSDN博客
相关文章：
不想搭集群，直接用spark
为了完成布置的作业，需要用到spark的本地模式，根本用不到集群，就不想搭建虚拟机，hadoop集群啥的，很繁琐，最后写作业还用不到集群（感觉搭建集群对于我完成作业来说没有什么意义）&…...
【MATLAB源码-第225期】基于matlab的计算器GUI设计仿真，能够实现基础运算，三角函数以及幂运算。
操作环境： MATLAB 2022a 1、算法描述 界面布局 计算器界面的主要元素分为几大部分：显示屏、功能按钮、数字按钮和操作符按钮。 显示屏 显示屏（Edit Text）：位于界面顶部中央，用于显示用户输入的表达式和…...
Scikit-learn 基础教程：机器学习的初步指南
Scikit-learn 是一个用于数据挖掘和数据分析的机器学习库，建立在 NumPy、SciPy 和 matplotlib 之上。它提供了简单而高效的工具来进行数据分析和建模。本文将为您介绍 Scikit-learn 的安装方法、核心组件，以及如何应用这些组件进行一个简单的机器学习项目…...
开源WebGIS全流程常用技术栈
1 数据生产 1.1 uDig uDig（http://udig.refractions.net/）是一个基于Java开源的桌面应用框架，它构建在Eclipse RCP和GeoTools（一个开源的Java GIS包)上。可以进行shp格式地图文件的编辑和查看；是一个开源空间数据查看…...
前端开发之HTTP协议认识
上一篇👉: 前端开发之WebSocket通信 文章目录 1. HTTP 1.0 和 HTTP 1.1 之间有哪些区别1.连接方面：2.资源传输优化：3.缓存机制增强：4.主机头识别5.请求方法扩展 2.HTTP 1.1 和 HTTP 2.0 的区别1. 二进制分帧层：2.多路…...
力扣刷题总结 -- 数组26
76. 所有奇数长度子数组的和（简单） 题目要求： 给定一个正整数数组 arr ，计算所有奇数长度子数组的和。 子数组定义为原数组中的一个连续子序列。 返回 arr 中 所有奇数长度子数组的和 。 题目分析： 先得到所有子…...
无线MODBUS通讯模块在供水系统中的应用
一、项目背景 我国是人口大国、农业大国，同时也是贫水大国。由于大量工业废水污染了部分河流、地表的浅层水资源，并且有逐年加重的趋势，再加上农业、绿化等灌溉对水资源的大量消耗，这些因素综合作用进一步加剧了我国水资源紧缺的…...
linux为什么不是实时操作系统
Linux为什么不是实时操作系统？ 从我们接触Linux系统开始，一直听到的都是它是非实时操作系统，怎么理解这个非实时呢？ 我的理解，非实时，就是中断响应不及时，任务调度不及时。那么，真…...
【STM32】飞控设计
【一些入门知识】 1.飞行原理 【垂直运动】 当 mg＞F1F2F3F4，此时做下降加速飞行 当 mg＜F1F2F3F4，此时做升高加速飞行 当 mgF1F2F3F4 ，此时垂直上保持匀速飞行。 【偏航飞行】 ω 4 ω 2 ≠ ω 1 ω 3 就会产生水…...
MySQL CDC
一、MySQL CDC概念 MySQL CDC（Change Data Capture），即MySQL变更数据捕获，是一种能够捕获MySQL数据库中数据变化（包括插入、更新和删除操作）的技术。这些变化可以实时或准实时地同步到其他系统或服务中&am…...
手把手教你安装 Vivado2022.2（附安装包）
一、Vivado 2022.2 优势 Vivado 2022.2版本与之前的版本相比，具有以下几个显著的优势： 电源设计管理器（PDM）：Vivado 2022.2引入了全新的电源设计管理器（PDM），这是一个下一代功耗评…...
旅行者1号有什么秘密？飞行240多亿公里，为什么没发生碰撞？
旅行者1号有什么秘密？飞行240多亿公里，为什么没发生碰撞？ 自古以来，人类就对浩瀚无垠的宇宙充满了好奇与向往。从最初的仰望星空，到如今的深空探测，人类探测宇宙的历史发展可谓是一部波澜壮阔的史诗。 在…...
如何保护云主机安全
在数字化时代，云服务器已成为企业数据存储、处理和传输的重要工具。然而，随着其应用的广泛和深入，云服务器也面临着越来越多的安全威胁。为了应对这些威胁，白名单技术应运而生，成为保护云服务器安全的重要手段。 首先&…...
postman教程-19-mock测试
上一小节我们学习了Postman接口参数化方法，本小节我们讲解一下Postman mock测试的方法。 一、什么叫mock测试 mock测试就是在测试过程中，对某些不容易构造或者不容易获取的对象，用一个虚拟的对象来创建以便于测试的一种测试方法，…...
纳秒级网络库【二】技术选型
在十年之前，已经有网络产品实现7纳秒延迟，所以无需质疑是否能够实现，关键问题是：代价是什么。国内不少量化公司在招聘低延迟总线的开发人员，虽然我不知道他们具体的技术选型，从技术底层来看，并没…...
ESP32基础应用之esp32连接腾讯云并使用微信小程序控制的智能灯
文章目录 1. 项目简介1.1 功能接收1.2 使用资源1.3 测试平台 2 腾讯云物联网开发平台3 esp32设备开发3.1 准备参考例程3.2 vscode平台创建测试工程3.3 修改工程 问题总结使用PowerShell命令行终端生成的二维码不能用 1. 项目简介 1.1 功能接收 实现腾讯云创建项目与设备&…...
Unity Protobuf+RPC+UniTask
远程过程调用（RPC）协议详解 什么是RPC协议RPC的基本原理RPC的关键组件RPC的优缺点Protobuf函数绑定CallEncodeRecvDecodeSocket.Send和Recv项目地址 什么是RPC协议 远程过程调用（Remote Procedure Call，简称RPC）是一种…...
顶顶通呼叫中心中间件(mod_cti基于FreeSWITCH)-通话时长限制
文章目录 前言联系我们场景运用机器人场景普通通话场景 前言 顶顶通呼叫中心中间件限制通话时长有两种写法，分别作用于机器人场景与普通通话场景。 普通场景可分为分机互打、分机外呼手机等。 联系我们 有意向了解呼叫中心中间件的用户，可以点击该链接…...
如何将ai集成到项目中，方法二
上一篇文章：如何将ai集成到radsystems项目中，在项目中引入ai-CSDN博客 上一篇文章内容主要针对于未实现权限分离的项目，这篇文章主要来说一下权限分离的项目怎么做，以及注意的细节。 一、编写前端router.js 二、编写前端askai.vu…...
变量 varablie 声明- Rust 变量 let mut 声明与 C/C++ 变量声明对比分析
一、变量声明设计：let 与 mut 的哲学解析 Rust 采用 let 声明变量并通过 mut 显式标记可变性，这种设计体现了语言的核心哲学。以下是深度解析： 1.1 设计理念剖析 安全优先原则：默认不可变强制开发者明确声明意图 let x 5; …...
（二）TensorRT-LLM | 模型导出（v0.20.0rc3）
0. 概述 上一节 对安装和使用有个基本介绍。根据这个 issue 的描述，后续 TensorRT-LLM 团队可能更专注于更新和维护 pytorch backend。但 tensorrt backend 作为先前一直开发的工作，其中包含了大量可以学习的地方。本文主要看看它导出模型的部分&#x…...
关于iview组件中使用 table , 绑定序号分页后序号从1开始的解决方案
问题描述：iview使用table 中type: "index",分页之后 ，索引还是从1开始，试过绑定后台返回数据的id, 这种方法可行，就是后台返回数据的每个页面id都不完全是按照从1开始的升序，因此百度了下，找到了…...
sqlserver 根据指定字符 解析拼接字符串
DECLARE LotNo NVARCHAR(50)A,B,C DECLARE xml XML ( SELECT <x> REPLACE(LotNo, ,, </x><x>) </x> ) DECLARE ErrorCode NVARCHAR(50) -- 提取 XML 中的值 SELECT value x.value(., VARCHAR(MAX))…...
unix/linux，sudo，其发展历程详细时间线、由来、历史背景
sudo 的诞生和演化，本身就是一部 Unix/Linux 系统管理哲学变迁的微缩史。来，让我们拨开时间的迷雾，一同探寻 sudo 那波澜壮阔（也颇为实用主义）的发展历程。 历史背景：su的时代与困境 ( 20 世纪 70 年代 - 80 年代初) 在 sudo 出现之前，Unix 系统管理员和需要特权操作的…...
12.找到字符串中所有字母异位词
🧠 题目解析 题目描述： 给定两个字符串 s 和 p，找出 s 中所有 p 的字母异位词的起始索引。 返回的答案以数组形式表示。 字母异位词定义： 若两个字符串包含的字符种类和出现次数完全相同，顺序无所谓，则互为…...
AI编程--插件对比分析：CodeRider、GitHub Copilot及其他
AI编程插件对比分析：CodeRider、GitHub Copilot及其他 随着人工智能技术的快速发展，AI编程插件已成为提升开发者生产力的重要工具。CodeRider和GitHub Copilot作为市场上的领先者，分别以其独特的特性和生态系统吸引了大量开发者。本文将从功…...
在 Spring Boot 项目里，MYSQL中json类型字段使用
前言： 因为程序特殊需求导致，需要mysql数据库存储json类型数据，因此记录一下使用流程 1.java实体中新增字段 private List<User> users 2.增加mybatis-plus注解 TableField(typeHandler FastjsonTypeHandler.class) private Lis…...
Mysql故障排插与环境优化
前置知识点 最上层是一些客户端和连接服务，包含本 sock 通信和大多数jiyukehuduan/服务端工具实现的TCP/IP通信。主要完成一些简介处理、授权认证、及相关的安全方案等。在该层上引入了线程池的概念，为通过安全认证接入的客户端提供线程。同样在该层上可…...
数据分析六部曲？
引言 上一章我们说到了数据分析六部曲，何谓六部曲呢？ 其实啊，数据分析没那么难，只要掌握了下面这六个步骤，也就是数据分析六部曲，就算你是个啥都不懂的小白，也能慢慢上手做数据分析啦。 第一…...