当前位置： 首页 > news >正文

spark 3.0.0源码环境搭建

news 2025/11/5 6:09:37

环境

Spark版本：3.0.0
java版本：1.8
scala版本：2.12.19
Maven版本：3.8.1

编译spark

将spark-3.0.0的源码导入到idea中
执行mvn clean package -Phive -Phive-thriftserver -Pyarn -DskipTests

执行sparksql示例类SparkSQLExample

运行成功

遇到的问题

缺少parse包的类


parse包的类是ANTLR工具生成的，确认idea的插件已经安装了。
image.png
找到sql包下面的SqlBase.g4文件，右键执行生成文件。最后生成的文件在gen目录下，创建一个新的包org.apache.spark.sql.catalyst.parser，将生成的文件都复制到这个包下面。

image.pngscala.reflect包的类缺失


在spark-example模块的依赖加上scala-reflect的jar包

在运行界面上，选中‘将带有provided依赖加入路径’

没有spark版本文件


spark版本文件是spark-build-info.sh文件生成的

我们可以手动在创建spark-version-info.properties文件，写上版本

Master URL没有指定


代码中加上master的配置

ANTLR版本不对

image.png
在对应plugin中找到插件主页。

在主页中找到对应版本的插件下载

手动安装下载的插件

相关文章：

spark 3.0.0源码环境搭建

环境 Spark版本：3.0.0 java版本：1.8 scala版本：2.12.19 Maven版本：3.8.1 编译spark 将spark-3.0.0的源码导入到idea中 执行mvn clean package -Phive -Phive-thriftserver -Pyarn -DskipTests 执行sparksql示例类SparkSQLExam…...

编程日记 2024/7/30 15:34:41

3.3、matlab彩色图和灰度图的二值化算法汇总

1、彩色图和灰度图的二值化算法汇总原理及流程 彩色图和灰度图的二值化算法的原理都是将图像中的像素值转化为二值（0或1），以便对图像进行简化或者特定的图像处理操作。下面分别介绍彩色图和灰度图的二值化算法的原理及流程： 1）彩色图的二值化算法原理及流程 （1）原理：…...

编程日记 2024/7/30 15:30:36

新手必看：Elasticsearch 入门全指南

Elasticsearch 入门介绍 Elasticsearch 是一个开源的分布式搜索和分析引擎，广泛应用于处理大规模数据和实时搜索需求。它基于 Apache Lucene 构建，具备高可扩展性和分布式特性，能够快速、可靠地存储、搜索和分析大量数据。本文将介绍 Elasti…...

编程日记 2024/7/30 15:28:34

【Linux】TCP全解析：构建可靠的网络通信桥梁

文章目录 前言1. TCP 协议概述2. TCP报头结构3. 如何理解封装和解包呢？4. TCP的可靠性机制4.1 TCP的确认应答机制4.2 超时重传机制 5. TCP链接管理机制5.1 经典面试题：为什么建立连接是三次握手？5.2 经典面试题：为什么要进行四次挥…...

编程日记 2024/7/30 15:27:32

图像处理 -- ISP中的3DNR与2DNR区别及实现原理

ISP中的3DNR与2DNR区别及实现原理 2DNR（2D Noise Reduction） 2DNR的原理： 2DNR主要针对单帧图像进行降噪处理。它利用空间域内的像素值，采用空间滤波的方法来减少噪声。常用的方法包括均值滤波、中值滤波和高斯滤波等。这些方法…...

编程日记 2024/7/30 15:26:31

硬盘分区读不出来的解决之道：从自救到专业恢复

在日常的计算机使用过程中，硬盘分区读不出来的问题常常令人头疼不已。这一问题不仅阻碍了用户对数据的正常访问，还可能预示着数据安全的潜在威胁。硬盘分区读不出来，通常是由于分区表损坏、文件系统错误、物理扇区损坏、驱动程序冲突或硬件连…...

编程日记 2024/7/30 15:25:30

盘点2024年网上很火的4个语音识别转文字工具。

语音识别转文字是一项非常实用的技术，可以帮助我们在会议记录中省去手动记录，在采访中迅速得到文字稿，在学习中快速生成课堂笔...运用十分广泛。但是很多人不知道要怎么转换，在这里我便给大家介绍几款效率非常高的语音转文字的工具…...

编程日记 2024/7/30 15:22:27

解决 Git 访问 GitHub 时的 SSL 错误

引言 在使用 Git 进行版本控制时，我们可能会遇到各种网络相关的错误。其中一种常见的错误是 SSL 连接问题，这会导致 Git 无法访问远程仓库。本文将介绍一个具体的错误 OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 0，以及如何通过禁用 SSL 证…...

编程日记 2024/7/30 15:18:22

LinuxCentos中安装apache网站服务详细教程

🏡作者主页：点击！ 🐧Linux基础知识(初学)：点击！ 🐧Linux高级管理防护和群集专栏：点击！ 🔐Linux中firewalld防火墙：点击！ ⏰️创作…...

编程日记 2024/7/30 15:14:18

LUA脚本改造redis分布式锁

在redis集群模式下，我们会启动多个tomcat实例，每个tomcat实例都有一个JVM，且不共享。而synchronize锁的作用范围仅仅是当前JVM，所以我们需要一个作用于集群下的锁，也就是分布式锁。（就是不能用JVM自带的锁了…...

编程日记 2024/7/30 15:13:16

web端使用HTML5开发《贪吃蛇》小游戏教程【附源码】

自制游戏列表 1植物大战僵尸自制HTML5游戏《植物大战僵尸》2开心消消乐自制HTML5游戏《开心消消乐》3贪吃蛇自制HTML5游戏《贪吃蛇》4捕鱼达人自制HTML5游戏《捕鱼达人》 一、游戏简介 贪吃蛇是一款经典的电子游戏，最早在1976年由Gremlin公司推出，名为…...

编程日记 2024/7/30 15:09:12

Selenium使用教程-Selenium环境搭建与基础操作

Selenium环境搭建与基础操作 1. 引言：Selenium简介​ Selenium，作为自动化测试领域的明星工具，以其强大的跨浏览器测试能力而闻名。它支持多种编程语言（如Java、Python、C#等），允许开发者编写脚本来模拟真…...

编程日记 2024/7/30 15:08:10

1950年-2021年中国历年民航航线里程统计报告

数据为1950年到2021年我国每年的民航航线总里程数据。 2021年，我国定期航班航线总里程为689.78万公里，相比2019年下降了258.44万公里。 数据统计单位为：公里. 数据说明： 2011年起民航航线里程改为定期航班航线里程 我国定期航班…...

编程日记 2024/7/30 15:07:09

前端了解到框架-网络复习

前端 HTML 超文本标记语言 画页面 各种各样的标签组成页面进行展示 桌面创建文本修改后缀即可 <!DOCTYPE html>: 声明文档类型和HTML版本。<html>: 根标签&#xff0c;所有其他标签都包含在内。<head>: 包含了文档的元数据&#xff0c;如字符编码、网页标…...

编程日记 2024/7/30 15:06:08

防火墙——网络环境支持

目录 网络环境支持 防火墙的组网 web连接上防火墙 web管理口 让防火墙接到网络环境中 ​编辑 管理员用户管理 缺省管理员 接口 配置一个普通接口 创建安全区域 路由模式 透明模式 混合模式 防火墙的安全策略 防火墙转发流程 与传统包过滤的区别 创建安全策略 …...

编程日记 2024/7/30 15:05:06

阅读笔记：明朝那些事儿之拐弯中的帝国

​万历皇帝时期内阁首辅&#xff1a; 张居正&#xff0c;申时行&#xff0c;王锡爵&#xff0c;许国&#xff0c;王家屏&#xff0c;赵志皋&#xff08;给皇帝写辞职信没有回音&#xff0c;自己不告而回家&#xff09;&#xff0c;沈一贯&#xff0c;于慎行&#xff0c;叶向高…...

编程日记 2024/7/30 15:01:00

React基础知识 精简全面 推荐

这篇博文主要对一些刚入门react框架的同学&#xff0c;以及对react基本知识进行巩固的&#xff0c;最后就是精简一下基本知识&#xff0c;以方便自己查看&#xff0c;感谢参考&#xff0c;有问题评论区交流&#xff0c;谢谢。 目录 1.JSX 2.Props 和 State 3.组件生命周期…...

编程日记 2024/7/30 14:58:57

OV SSL证书申请指南

OV SSL证书除了验证域名所有权外还需要验证组织信息&#xff0c;这类证书适用于对公司官网、品牌、安全性等有较高程度要求的企业级用户。具体申请流程如下&#xff1a; 一 、注册账号 注册账号填写230919注册码即可获得大额优惠券和全程一对一技术支持https://www.joyssl.co…...

编程日记 2024/7/30 14:55:53

变色树脂的变色原理？变色树脂在水处理中的应用？

变色树脂是一种具有特殊功能的高分子材料&#xff0c;能够在特定条件下改变其颜色&#xff0c;从而指示环境变化&#xff08;如pH值、温度、特定离子浓度等&#xff09;或反应进程。这类树脂通常含有能够响应特定刺激的化学结构&#xff0c;通过化学反应、离子交换、分子构象变…...

编程日记 2024/7/30 14:54:51

16 敏捷开发实践（1）

敏捷方法&#xff1a;是一种从1990年代开始逐渐引起广泛关注的一些新型软件开发方法&#xff0c;是一种应对快速变化的需求的一种软件开发能力。 敏捷开发&#xff1a;是一种以人为核心、迭代、循序渐进的开发方法。 敏捷实践&#xff1a;精益软件开发&#xff08;LSD&#x…...

编程日记 2024/7/30 14:53:50

智慧医疗能源事业线深度画像分析（上）

引言 医疗行业作为现代社会的关键基础设施，其能源消耗与环境影响正日益受到关注。随着全球"双碳"目标的推进和可持续发展理念的深入，智慧医疗能源事业线应运而生，致力于通过创新技术与管理方案，重构医疗领域的能源使用模式。这一事业线融合了能源管理、可持续发…...

编程新知 2025/11/4 6:51:04

Prompt Tuning、P-Tuning、Prefix Tuning的区别

一、Prompt Tuning、P-Tuning、Prefix Tuning的区别 1. Prompt Tuning（提示调优） 核心思想：固定预训练模型参数，仅学习额外的连续提示向量（通常是嵌入层的一部分）。实现方式：在输入文本前添加可训练的连续向量（软提示），模型只更新这些提示参数。优势：参数量少（仅提…...

编程新知 2025/11/4 21:56:11

深入浅出：JavaScript 中的 `window.crypto.getRandomValues()` 方法

深入浅出&#xff1a;JavaScript 中的 window.crypto.getRandomValues() 方法 在现代 Web 开发中&#xff0c;随机数的生成看似简单&#xff0c;却隐藏着许多玄机。无论是生成密码、加密密钥&#xff0c;还是创建安全令牌&#xff0c;随机数的质量直接关系到系统的安全性。Jav…...

编程新知 2025/10/8 4:56:09

解决本地部署 SmolVLM2 大语言模型运行 flash-attn 报错

出现的问题 安装 flash-attn 会一直卡在 build 那一步或者运行报错 解决办法 是因为你安装的 flash-attn 版本没有对应上&#xff0c;所以报错&#xff0c;到 https://github.com/Dao-AILab/flash-attention/releases 下载对应版本&#xff0c;cu、torch、cp 的版本一定要对…...

编程新知 2025/11/3 2:11:24

【HarmonyOS 5 开发速记】如何获取用户信息（头像/昵称/手机号）

1.获取 authorizationCode&#xff1a; 2.利用 authorizationCode 获取 accessToken&#xff1a;文档中心 3.获取手机&#xff1a;文档中心 4.获取昵称头像&#xff1a;文档中心 首先创建 request 若要获取手机号&#xff0c;scope必填 phone&#xff0c;permissions 必填 …...

编程新知 2025/9/17 2:39:21

【开发技术】.Net使用FFmpeg视频特定帧上绘制内容

目录 一、目的 二、解决方案 2.1 什么是FFmpeg 2.2 FFmpeg主要功能 2.3 使用Xabe.FFmpeg调用FFmpeg功能 2.4 使用 FFmpeg 的 drawbox 滤镜来绘制 ROI 三、总结 一、目的 当前市场上有很多目标检测智能识别的相关算法&#xff0c;当前调用一个医疗行业的AI识别算法后返回…...

编程新知 2025/11/2 8:56:05

高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数

高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数 在软件开发中，单例模式（Singleton Pattern）是一种常见的设计模式，确保一个类仅有一个实例，并提供一个全局访问点。在多线程环境下，实现单例模式时需要注意线程安全问题，以防止多个线程同时创建实例，导致…...

编程新知 2025/9/20 21:58:29

【VLNs篇】07：NavRL—在动态环境中学习安全飞行

项目内容论文标题NavRL: 在动态环境中学习安全飞行 (NavRL: Learning Safe Flight in Dynamic Environments)核心问题解决无人机在包含静态和动态障碍物的复杂环境中进行安全、高效自主导航的挑战&#xff0c;克服传统方法和现有强化学习方法的局限性。核心算法基于近端策略优化…...

编程新知 2025/10/27 2:11:27

代码规范和架构【立芯理论一】（2025.06.08）

1、代码规范的目标 代码简洁精炼、美观&#xff0c;可持续性好高效率高复用&#xff0c;可移植性好高内聚&#xff0c;低耦合没有冗余规范性&#xff0c;代码有规可循&#xff0c;可以看出自己当时的思考过程特殊排版&#xff0c;特殊语法&#xff0c;特殊指令&#xff0c;必须…...

编程新知 2025/11/3 2:33:44

前端中slice和splic的区别

1. slice slice 用于从数组中提取一部分元素&#xff0c;返回一个新的数组。 特点&#xff1a; 不修改原数组&#xff1a;slice 不会改变原数组&#xff0c;而是返回一个新的数组。提取数组的部分&#xff1a;slice 会根据指定的开始索引和结束索引提取数组的一部分。不包含…...

编程新知 2025/9/18 9:49:21