spark 3.0.0源码环境搭建
环境
Spark版本：3.0.0
java版本：1.8
scala版本：2.12.19
Maven版本：3.8.1
编译spark
将spark-3.0.0的源码导入到idea中
执行mvn clean package -Phive -Phive-thriftserver -Pyarn -DskipTests
执行sparksql示例类SparkSQLExample
运行成功
遇到的问题
缺少parse包的类
parse包的类是ANTLR工具生成的，确认idea的插件已经安装了。
找到sql包下面的SqlBase.g4文件，右键执行生成文件。最后生成的文件在gen目录下，创建一个新的包org.apache.spark.sql.catalyst.parser，将生成的文件都复制到这个包下面。
scala.reflect包的类缺失
在spark-example模块的依赖加上scala-reflect的jar包
在运行界面上，选中‘将带有provided依赖加入路径’
没有spark版本文件
spark版本文件是spark-build-info.sh文件生成的
我们可以手动在创建spark-version-info.properties文件，写上版本
Master URL没有指定
代码中加上master的配置
ANTLR版本不对
在对应plugin中找到插件主页。
在主页中找到对应版本的插件下载
手动安装下载的插件
相关文章：
spark 3.0.0源码环境搭建
环境 Spark版本：3.0.0 java版本：1.8 scala版本：2.12.19 Maven版本：3.8.1 编译spark 将spark-3.0.0的源码导入到idea中 执行mvn clean package -Phive -Phive-thriftserver -Pyarn -DskipTests 执行sparksql示例类SparkSQLExam…...
3.3、matlab彩色图和灰度图的二值化算法汇总
1、彩色图和灰度图的二值化算法汇总原理及流程 彩色图和灰度图的二值化算法的原理都是将图像中的像素值转化为二值（0或1），以便对图像进行简化或者特定的图像处理操作。下面分别介绍彩色图和灰度图的二值化算法的原理及流程： 1）彩色图的二值化算法原理及流程 （1）原理：…...
新手必看：Elasticsearch 入门全指南
Elasticsearch 入门介绍 Elasticsearch 是一个开源的分布式搜索和分析引擎，广泛应用于处理大规模数据和实时搜索需求。它基于 Apache Lucene 构建，具备高可扩展性和分布式特性，能够快速、可靠地存储、搜索和分析大量数据。本文将介绍 Elasti…...
【Linux】TCP全解析：构建可靠的网络通信桥梁
文章目录 前言1. TCP 协议概述2. TCP报头结构3. 如何理解封装和解包呢？4. TCP的可靠性机制4.1 TCP的确认应答机制4.2 超时重传机制 5. TCP链接管理机制5.1 经典面试题：为什么建立连接是三次握手？5.2 经典面试题：为什么要进行四次挥…...
图像处理 -- ISP中的3DNR与2DNR区别及实现原理
ISP中的3DNR与2DNR区别及实现原理 2DNR（2D Noise Reduction） 2DNR的原理： 2DNR主要针对单帧图像进行降噪处理。它利用空间域内的像素值，采用空间滤波的方法来减少噪声。常用的方法包括均值滤波、中值滤波和高斯滤波等。这些方法…...
硬盘分区读不出来的解决之道：从自救到专业恢复
在日常的计算机使用过程中，硬盘分区读不出来的问题常常令人头疼不已。这一问题不仅阻碍了用户对数据的正常访问，还可能预示着数据安全的潜在威胁。硬盘分区读不出来，通常是由于分区表损坏、文件系统错误、物理扇区损坏、驱动程序冲突或硬件连…...
盘点2024年网上很火的4个语音识别转文字工具。
语音识别转文字是一项非常实用的技术，可以帮助我们在会议记录中省去手动记录，在采访中迅速得到文字稿，在学习中快速生成课堂笔...运用十分广泛。但是很多人不知道要怎么转换，在这里我便给大家介绍几款效率非常高的语音转文字的工具…...
解决 Git 访问 GitHub 时的 SSL 错误
引言 在使用 Git 进行版本控制时，我们可能会遇到各种网络相关的错误。其中一种常见的错误是 SSL 连接问题，这会导致 Git 无法访问远程仓库。本文将介绍一个具体的错误 OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 0，以及如何通过禁用 SSL 证…...
LinuxCentos中安装apache网站服务详细教程
🏡作者主页：点击！ 🐧Linux基础知识(初学)：点击！ 🐧Linux高级管理防护和群集专栏：点击！ 🔐Linux中firewalld防火墙：点击！ ⏰️创作…...
LUA脚本改造redis分布式锁
在redis集群模式下，我们会启动多个tomcat实例，每个tomcat实例都有一个JVM，且不共享。而synchronize锁的作用范围仅仅是当前JVM，所以我们需要一个作用于集群下的锁，也就是分布式锁。（就是不能用JVM自带的锁了…...
web端使用HTML5开发《贪吃蛇》小游戏教程【附源码】
自制游戏列表 1植物大战僵尸自制HTML5游戏《植物大战僵尸》2开心消消乐自制HTML5游戏《开心消消乐》3贪吃蛇自制HTML5游戏《贪吃蛇》4捕鱼达人自制HTML5游戏《捕鱼达人》 一、游戏简介 贪吃蛇是一款经典的电子游戏，最早在1976年由Gremlin公司推出，名为…...
Selenium使用教程-Selenium环境搭建与基础操作
Selenium环境搭建与基础操作 1. 引言：Selenium简介 Selenium，作为自动化测试领域的明星工具，以其强大的跨浏览器测试能力而闻名。它支持多种编程语言（如Java、Python、C#等），允许开发者编写脚本来模拟真…...
1950年-2021年中国历年民航航线里程统计报告
数据为1950年到2021年我国每年的民航航线总里程数据。 2021年，我国定期航班航线总里程为689.78万公里，相比2019年下降了258.44万公里。 数据统计单位为：公里. 数据说明： 2011年起民航航线里程改为定期航班航线里程 我国定期航班…...
前端了解到框架-网络复习
前端 HTML 超文本标记语言 画页面 各种各样的标签组成页面进行展示 桌面创建文本修改后缀即可 <!DOCTYPE html>: 声明文档类型和HTML版本。<html>: 根标签，所有其他标签都包含在内。<head>: 包含了文档的元数据，如字符编码、网页标…...
防火墙——网络环境支持
目录 网络环境支持 防火墙的组网 web连接上防火墙 web管理口 让防火墙接到网络环境中 编辑 管理员用户管理 缺省管理员 接口 配置一个普通接口 创建安全区域 路由模式 透明模式 混合模式 防火墙的安全策略 防火墙转发流程 与传统包过滤的区别 创建安全策略 …...
阅读笔记：明朝那些事儿之拐弯中的帝国
万历皇帝时期内阁首辅： 张居正，申时行，王锡爵，许国，王家屏，赵志皋（给皇帝写辞职信没有回音，自己不告而回家），沈一贯，于慎行，叶向高…...
React基础知识 精简全面 推荐
这篇博文主要对一些刚入门react框架的同学，以及对react基本知识进行巩固的，最后就是精简一下基本知识，以方便自己查看，感谢参考，有问题评论区交流，谢谢。 目录 1.JSX 2.Props 和 State 3.组件生命周期…...
OV SSL证书申请指南
OV SSL证书除了验证域名所有权外还需要验证组织信息，这类证书适用于对公司官网、品牌、安全性等有较高程度要求的企业级用户。具体申请流程如下： 一 、注册账号 注册账号填写230919注册码即可获得大额优惠券和全程一对一技术支持https://www.joyssl.co…...
变色树脂的变色原理？变色树脂在水处理中的应用？
变色树脂是一种具有特殊功能的高分子材料，能够在特定条件下改变其颜色，从而指示环境变化（如pH值、温度、特定离子浓度等）或反应进程。这类树脂通常含有能够响应特定刺激的化学结构，通过化学反应、离子交换、分子构象变…...
16 敏捷开发实践（1）
敏捷方法：是一种从1990年代开始逐渐引起广泛关注的一些新型软件开发方法，是一种应对快速变化的需求的一种软件开发能力。 敏捷开发：是一种以人为核心、迭代、循序渐进的开发方法。 敏捷实践：精益软件开发（LSD&#x…...
（二）TensorRT-LLM | 模型导出（v0.20.0rc3）
0. 概述 上一节 对安装和使用有个基本介绍。根据这个 issue 的描述，后续 TensorRT-LLM 团队可能更专注于更新和维护 pytorch backend。但 tensorrt backend 作为先前一直开发的工作，其中包含了大量可以学习的地方。本文主要看看它导出模型的部分&#x…...
大学生职业发展与就业创业指导教学评价
这里是引用 作为软工2203/2204班的学生，我们非常感谢您在《大学生职业发展与就业创业指导》课程中的悉心教导。这门课程对我们即将面临实习和就业的工科学生来说至关重要，而您认真负责的教学态度，让课程的每一部分都充满了实用价值。 尤其让我…...
Hive 存储格式深度解析：从 TextFile 到 ORC，如何选对数据存储方案？
在大数据处理领域，Hive 作为 Hadoop 生态中重要的数据仓库工具，其存储格式的选择直接影响数据存储成本、查询效率和计算资源消耗。面对 TextFile、SequenceFile、Parquet、RCFile、ORC 等多种存储格式，很多开发者常常陷入选择困境。本文将从底…...
A2A JS SDK 完整教程：快速入门指南
目录 什么是 A2A JS SDK?A2A JS 安装与设置A2A JS 核心概念创建你的第一个 A2A JS 代理A2A JS 服务端开发A2A JS 客户端使用A2A JS 高级特性A2A JS 最佳实践A2A JS 故障排除 什么是 A2A JS SDK? A2A JS SDK 是一个专为 JavaScript/TypeScript 开发者设计的强大库ÿ…...
MFC 抛体运动模拟：常见问题解决与界面美化
在 MFC 中开发抛体运动模拟程序时，我们常遇到 轨迹残留、无效刷新、视觉单调、物理逻辑瑕疵 等问题。本文将针对这些痛点，详细解析原因并提供解决方案，同时兼顾界面美化，让模拟效果更专业、更高效。 问题一：历史轨迹与小球残影残留 现象 小球运动后，历史位置的 “残影”…...
作为测试我们应该关注redis哪些方面
1、功能测试 数据结构操作：验证字符串、列表、哈希、集合和有序的基本操作是否正确 持久化：测试aof和aof持久化机制，确保数据在开启后正确恢复。 事务：检查事务的原子性和回滚机制。 发布订阅：确保消息正确传递。 2、性…...
WebRTC从入门到实践 - 零基础教程
WebRTC从入门到实践 - 零基础教程 目录 WebRTC简介 基础概念 工作原理 开发环境搭建 基础实践 三个实战案例 常见问题解答 1. WebRTC简介 1.1 什么是WebRTC？ WebRTC（Web Real-Time Communication）是一个支持网页浏览器进行实时语音…...
关于easyexcel动态下拉选问题处理
前些日子突然碰到一个问题，说是客户的导入文件模版想支持部分导入内容的下拉选，于是我就找了easyexcel官网寻找解决方案，并没有找到合适的方案，没办法只能自己动手并分享出来，针对Java生成Excel下拉菜单时因选项过多导…...
elementUI点击浏览table所选行数据查看文档
项目场景： table按照要求特定的数据变成按钮可以点击 解决方案： <el-table-columnprop"mlname"label"名称"align"center"width"180"><template slot-scope"scope"><el-buttonv-if&qu…...
go 里面的指针
指针 在 Go 中，指针（pointer）是一个变量的内存地址，就像 C 语言那样： a : 10 p : &a // p 是一个指向 a 的指针 fmt.Println(*p) // 输出 10，通过指针解引用• &a 表示获取变量 a 的地址 p 表示…...