spark 3.0.0源码环境搭建
环境
Spark版本：3.0.0
java版本：1.8
scala版本：2.12.19
Maven版本：3.8.1
编译spark
将spark-3.0.0的源码导入到idea中
执行mvn clean package -Phive -Phive-thriftserver -Pyarn -DskipTests
执行sparksql示例类SparkSQLExample
运行成功
遇到的问题
缺少parse包的类
parse包的类是ANTLR工具生成的，确认idea的插件已经安装了。
找到sql包下面的SqlBase.g4文件，右键执行生成文件。最后生成的文件在gen目录下，创建一个新的包org.apache.spark.sql.catalyst.parser，将生成的文件都复制到这个包下面。
scala.reflect包的类缺失
在spark-example模块的依赖加上scala-reflect的jar包
在运行界面上，选中‘将带有provided依赖加入路径’
没有spark版本文件
spark版本文件是spark-build-info.sh文件生成的
我们可以手动在创建spark-version-info.properties文件，写上版本
Master URL没有指定
代码中加上master的配置
ANTLR版本不对
在对应plugin中找到插件主页。
在主页中找到对应版本的插件下载
手动安装下载的插件
相关文章：
spark 3.0.0源码环境搭建
环境 Spark版本：3.0.0 java版本：1.8 scala版本：2.12.19 Maven版本：3.8.1 编译spark 将spark-3.0.0的源码导入到idea中 执行mvn clean package -Phive -Phive-thriftserver -Pyarn -DskipTests 执行sparksql示例类SparkSQLExam…...
3.3、matlab彩色图和灰度图的二值化算法汇总
1、彩色图和灰度图的二值化算法汇总原理及流程 彩色图和灰度图的二值化算法的原理都是将图像中的像素值转化为二值（0或1），以便对图像进行简化或者特定的图像处理操作。下面分别介绍彩色图和灰度图的二值化算法的原理及流程： 1）彩色图的二值化算法原理及流程 （1）原理：…...
新手必看：Elasticsearch 入门全指南
Elasticsearch 入门介绍 Elasticsearch 是一个开源的分布式搜索和分析引擎，广泛应用于处理大规模数据和实时搜索需求。它基于 Apache Lucene 构建，具备高可扩展性和分布式特性，能够快速、可靠地存储、搜索和分析大量数据。本文将介绍 Elasti…...
【Linux】TCP全解析：构建可靠的网络通信桥梁
文章目录 前言1. TCP 协议概述2. TCP报头结构3. 如何理解封装和解包呢？4. TCP的可靠性机制4.1 TCP的确认应答机制4.2 超时重传机制 5. TCP链接管理机制5.1 经典面试题：为什么建立连接是三次握手？5.2 经典面试题：为什么要进行四次挥…...
图像处理 -- ISP中的3DNR与2DNR区别及实现原理
ISP中的3DNR与2DNR区别及实现原理 2DNR（2D Noise Reduction） 2DNR的原理： 2DNR主要针对单帧图像进行降噪处理。它利用空间域内的像素值，采用空间滤波的方法来减少噪声。常用的方法包括均值滤波、中值滤波和高斯滤波等。这些方法…...
硬盘分区读不出来的解决之道：从自救到专业恢复
在日常的计算机使用过程中，硬盘分区读不出来的问题常常令人头疼不已。这一问题不仅阻碍了用户对数据的正常访问，还可能预示着数据安全的潜在威胁。硬盘分区读不出来，通常是由于分区表损坏、文件系统错误、物理扇区损坏、驱动程序冲突或硬件连…...
盘点2024年网上很火的4个语音识别转文字工具。
语音识别转文字是一项非常实用的技术，可以帮助我们在会议记录中省去手动记录，在采访中迅速得到文字稿，在学习中快速生成课堂笔...运用十分广泛。但是很多人不知道要怎么转换，在这里我便给大家介绍几款效率非常高的语音转文字的工具…...
解决 Git 访问 GitHub 时的 SSL 错误
引言 在使用 Git 进行版本控制时，我们可能会遇到各种网络相关的错误。其中一种常见的错误是 SSL 连接问题，这会导致 Git 无法访问远程仓库。本文将介绍一个具体的错误 OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 0，以及如何通过禁用 SSL 证…...
LinuxCentos中安装apache网站服务详细教程
🏡作者主页：点击！ 🐧Linux基础知识(初学)：点击！ 🐧Linux高级管理防护和群集专栏：点击！ 🔐Linux中firewalld防火墙：点击！ ⏰️创作…...
LUA脚本改造redis分布式锁
在redis集群模式下，我们会启动多个tomcat实例，每个tomcat实例都有一个JVM，且不共享。而synchronize锁的作用范围仅仅是当前JVM，所以我们需要一个作用于集群下的锁，也就是分布式锁。（就是不能用JVM自带的锁了…...
web端使用HTML5开发《贪吃蛇》小游戏教程【附源码】
自制游戏列表 1植物大战僵尸自制HTML5游戏《植物大战僵尸》2开心消消乐自制HTML5游戏《开心消消乐》3贪吃蛇自制HTML5游戏《贪吃蛇》4捕鱼达人自制HTML5游戏《捕鱼达人》 一、游戏简介 贪吃蛇是一款经典的电子游戏，最早在1976年由Gremlin公司推出，名为…...
Selenium使用教程-Selenium环境搭建与基础操作
Selenium环境搭建与基础操作 1. 引言：Selenium简介 Selenium，作为自动化测试领域的明星工具，以其强大的跨浏览器测试能力而闻名。它支持多种编程语言（如Java、Python、C#等），允许开发者编写脚本来模拟真…...
1950年-2021年中国历年民航航线里程统计报告
数据为1950年到2021年我国每年的民航航线总里程数据。 2021年，我国定期航班航线总里程为689.78万公里，相比2019年下降了258.44万公里。 数据统计单位为：公里. 数据说明： 2011年起民航航线里程改为定期航班航线里程 我国定期航班…...
前端了解到框架-网络复习
前端 HTML 超文本标记语言 画页面 各种各样的标签组成页面进行展示 桌面创建文本修改后缀即可 <!DOCTYPE html>: 声明文档类型和HTML版本。<html>: 根标签，所有其他标签都包含在内。<head>: 包含了文档的元数据，如字符编码、网页标…...
防火墙——网络环境支持
目录 网络环境支持 防火墙的组网 web连接上防火墙 web管理口 让防火墙接到网络环境中 编辑 管理员用户管理 缺省管理员 接口 配置一个普通接口 创建安全区域 路由模式 透明模式 混合模式 防火墙的安全策略 防火墙转发流程 与传统包过滤的区别 创建安全策略 …...
阅读笔记：明朝那些事儿之拐弯中的帝国
万历皇帝时期内阁首辅： 张居正，申时行，王锡爵，许国，王家屏，赵志皋（给皇帝写辞职信没有回音，自己不告而回家），沈一贯，于慎行，叶向高…...
React基础知识 精简全面 推荐
这篇博文主要对一些刚入门react框架的同学，以及对react基本知识进行巩固的，最后就是精简一下基本知识，以方便自己查看，感谢参考，有问题评论区交流，谢谢。 目录 1.JSX 2.Props 和 State 3.组件生命周期…...
OV SSL证书申请指南
OV SSL证书除了验证域名所有权外还需要验证组织信息，这类证书适用于对公司官网、品牌、安全性等有较高程度要求的企业级用户。具体申请流程如下： 一 、注册账号 注册账号填写230919注册码即可获得大额优惠券和全程一对一技术支持https://www.joyssl.co…...
变色树脂的变色原理？变色树脂在水处理中的应用？
变色树脂是一种具有特殊功能的高分子材料，能够在特定条件下改变其颜色，从而指示环境变化（如pH值、温度、特定离子浓度等）或反应进程。这类树脂通常含有能够响应特定刺激的化学结构，通过化学反应、离子交换、分子构象变…...
16 敏捷开发实践（1）
敏捷方法：是一种从1990年代开始逐渐引起广泛关注的一些新型软件开发方法，是一种应对快速变化的需求的一种软件开发能力。 敏捷开发：是一种以人为核心、迭代、循序渐进的开发方法。 敏捷实践：精益软件开发（LSD&#x…...
19c补丁后oracle属主变化，导致不能识别磁盘组
补丁后服务器重启，数据库再次无法启动 ORA01017: invalid username/password; logon denied Oracle 19c 在打上 19.23 或以上补丁版本后，存在与用户组权限相关的问题。具体表现为，Oracle 实例的运行用户（oracle）和集…...
Linux链表操作全解析
Linux C语言链表深度解析与实战技巧 一、链表基础概念与内核链表优势1.1 为什么使用链表？1.2 Linux 内核链表与用户态链表的区别 二、内核链表结构与宏解析常用宏/函数 三、内核链表的优点四、用户态链表示例五、双向循环链表在内核中的实现优势5.1 插入效率5.2 安全…...
label-studio的使用教程(导入本地路径)
文章目录 1. 准备环境2. 脚本启动2.1 Windows2.2 Linux 3. 安装label-studio机器学习后端3.1 pip安装(推荐)3.2 GitHub仓库安装 4. 后端配置4.1 yolo环境4.2 引入后端模型4.3 修改脚本4.4 启动后端 5. 标注工程5.1 创建工程5.2 配置图片路径5.3 配置工程类型标签5.4 配置模型5.…...
ubuntu搭建nfs服务centos挂载访问
在Ubuntu上设置NFS服务器 在Ubuntu上，你可以使用apt包管理器来安装NFS服务器。打开终端并运行： sudo apt update sudo apt install nfs-kernel-server创建共享目录 创建一个目录用于共享，例如/shared： sudo mkdir /shared sud…...
IGP（Interior Gateway Protocol，内部网关协议）
IGP（Interior Gateway Protocol，内部网关协议） 是一种用于在一个自治系统（AS）内部传递路由信息的路由协议，主要用于在一个组织或机构的内部网络中决定数据包的最佳路径。与用于自治系统之间通信的 EGP&…...
HBuilderX安装（uni-app和小程序开发）
下载HBuilderX 访问官方网站：https://www.dcloud.io/hbuilderx.html 根据您的操作系统选择合适版本： Windows版（推荐下载标准版） Windows系统安装步骤 运行安装程序： 双击下载的.exe安装文件 如果出现安全提示&…...
pikachu靶场通关笔记22-1 SQL注入05-1-insert注入(报错法)
目录 一、SQL注入 二、insert注入 三、报错型注入 四、updatexml函数 五、源码审计 六、insert渗透实战 1、渗透准备 2、获取数据库名database 3、获取表名table 4、获取列名column 5、获取字段 本系列为通过《pikachu靶场通关笔记》的SQL注入关卡(共10关࿰…...
Swagger和OpenApi的前世今生
Swagger与OpenAPI的关系演进是API标准化进程中的重要篇章，二者共同塑造了现代RESTful API的开发范式。 本期就扒一扒其技术演进的关键节点与核心逻辑： 🔄 一、起源与初创期：Swagger的诞生（2010-2014） 核心…...
python爬虫——气象数据爬取
一、导入库与全局配置 python 运行 import json import datetime import time import requests from sqlalchemy import create_engine import csv import pandas as pd作用： 引入数据解析、网络请求、时间处理、数据库操作等所需库。requests：发送 …...
springboot 日志类切面，接口成功记录日志，失败不记录
springboot 日志类切面，接口成功记录日志，失败不记录 自定义一个注解方法 import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import java.lang.annotation.Target;/***…...