当前位置： 首页 > news >正文

SparkSQL源码分析系列02-编译环境准备

news 2026/3/28 0:26:00

本文主要描述一些阅读Spark源码环境的准备工作，会涉及到源码编译，插件安装等。

1. 克隆代码。

打开IDEA，在Git下的Clone中，输入 https://github.com/apache/spark，克隆代码到本地，CheckOut到目标版本Spark3.4
在这里插入图片描述
在这里插入图片描述

2. 安装maven。

版本按照pom文件指定的版本安装，在IDEA中配置安装的路径。
在这里插入图片描述
在这里插入图片描述

3. 为IDEA安装 ANTLR 和 Scala 插件

在这里插入图片描述

4. 测试ANTLR的词法语法解析功能

在Spark源码项目中，搜索 SqlBaseParser.g4 文件，在 singleStatement 上右键，找到“Test Rule singleStatement”，在底部对话框中输入SQL语句，观察解析出的抽象语法树。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

注意：SQL语句一定要大写。

5. 编译源码

由于我们只做源码阅读，不做打包，所以只需要通过 compile 就行，package貌似报错更多，不容易打包成功，但是 compile 相对容易。多次 compile 尝试，直到 build success。
在这里插入图片描述

6. 运行测试类

在…/spark_branch3_4/sql/core/src/test/scala/org/apache/spark/sql目录下，打开 SQLQuerySuite 文件，在任意一个test模块上右键、运行，观察是否正常输出。
在这里插入图片描述
测试案例运行成功。至此，代表源码阅读环境准备完毕。

相关文章：

SparkSQL源码分析系列02-编译环境准备

本文主要描述一些阅读Spark源码环境的准备工作，会涉及到源码编译，插件安装等。 1. 克隆代码。 打开IDEA，在Git下的Clone中，输入 https://github.com/apache/spark，克隆代码到本地，CheckOut到目标版本Spar…...

编程日记 2023/8/23 6:04:17

【计算机网络】日志与守护进程

文章目录 日志日志的创建logmessage 函数日志左边部分实现日志右边部分实现 完整代码log.hpp(整体实现)err.hpp (错误信息枚举） 守护进程PGID SID TTY 的介绍shell中控制进程组的方式结论 为什么要有守护进程存在？守护进程的创建使用守护进程的条件守护进…...

编程日记 2023/8/23 6:03:16

设计模式之职责链模式(ChainOfResponsibility)的C++实现

1、职责链模式的提出 在软件开发过程中，发送者经常发送一个数据请求给特定的接收者对象，让其对请求数据进行处理（一个数据请求只能有一个对象对其处理）。如果发送的每个数据请求指定特定的接收者， 将带来发送者与接收…...

编程日记 2023/8/23 6:02:15

CGAL Mesh（网格数据）布尔操作

文章目录 一、简介二、实现代码三、实现效果参考资料一、简介 Mesh布尔操作是一种在三维计算机图形学中用于组合两个或多个网格（mesh）对象的方法。它可以将两个网格对象组合成一个新的对象，同时保留原始对象的拓扑结构和几何信息。Mesh布尔操作主要有以下三种类型： Union（…...

编程日记 2023/8/23 6:01:14

技术分享| WebRTC之SDP详解

一，什么是SDP WebRTC 是 Web Real-Time Communication，即网页实时通信的缩写，是 RTC 协议的一种Web实现，项目由 Google 开源，并和 IETF 和 W3C 制定了行业标准。 WebRTC是点对点通讯，他的通话建立需要交换…...

编程日记 2023/8/23 6:00:13

Flink Table API/SQL 多分支sink

背景 在某个场景中，需要从Kafka中获取数据，经过转换处理后，需要同时sink到多个输出源中(kafka、mysql、hologres)等。两次调用execute, 阿里云Flink vvr引擎报错： public static void main(String[] args) {final StreamExecuti…...

编程日记 2023/8/23 5:59:11

Vue3 中 导航守卫 的使用

在Vue 3中，导航守卫（Navigation Guards）用于在路由切换前后执行一些操作，例如验证用户权限、取消路由导航等。Vue 3中的导航守卫与Vue 2中的导航守卫略有不同。下面是Vue 3中导航守卫的使用方式： 全局前置守卫&#xf…...

编程日记 2023/8/23 5:58:09

云原生概论

云原生是一种新兴的技术趋势，它旨在将应用程序设计和部署方式从传统的基础设施转向云端。云原生应用程序是一种针对云环境进行优化的应用程序，能够充分利用云端提供的弹性和可扩展性。本文将探讨云原生的概念、优势、应用场景以及未来发展方向。 一、云…...

编程日记 2023/8/23 5:57:08

hive-sql

hive-常用SQL汇总 查看数据库 -- 查看所有的数据库 show databases; 使用默认的库 -- 下面的语句可以查看默认的库 use default ;查看某个库下的表 -- 查看所有的表 show tables ; -- 查看包含 stu的表 ，这种是通配的方法来查看 show tables like *stu*; 查…...

编程日记 2023/8/23 5:56:06

Rspack 创建 vue2/3 项目接入 antdv（rspack.config.js 配置 less 主题）

一、简介 Rspack CLI 官方文档。 rspack.config.js 官方文档。 二、创建 vue 项目 创建项目（文档中还提供了 Rspack 内置 monorepo 框架 Nx 的创建方式，根据需求进行选择） # npm 方式 $ npm create rspacklatest# yarn 方式 $ yarn create…...

编程日记 2023/8/23 5:55:04

基于centos7完成docker服务的一些基础操作

目录 要求完成 具体操作 1.安装docker服务，配置镜像加速器 2.下载系统镜像（Ubuntu、 centos） 3.基于下载的镜像创建两个容器 （容器名一个为自己名字全拼，一个为首名字字母） 4.容器的启动、 停止及重启…...

编程日记 2023/8/23 5:54:03

Microsoft Visual Studio + Qt插件编程出现错误error MSB4184问题

文章目录 报错解决 报错 C:\Users\Administrator\AppData\Local\QtMsBuild\qt_globals.targets(786,7): error MSB4184: 无法计算表达式“[System.IO.File]::ReadAllText(C:\Users\Administrator\AppData\Local\QtMsBuild\qt.natvis.xml)”。 未能找到文件“C:\Users\Administ…...

编程日记 2023/8/23 5:53:02

QT Quick之quick与C++混合编程

Qt quick能够生成非常绚丽界面，但有其局限性的，对于一些业务逻辑和复杂算法，比如低阶的网络编程如 QTcpSocket ，多线程，又如 XML 文档处理类库 QXmlStreamReader / QXmlStreamWriter 等等，在 QML 中要么不可…...

编程日记 2023/8/23 5:52:01

Ros noetic Move_base 相关状态位置的获取 实战使用教程

前言： 有一段时间没有更新，这篇文章是为了后续MPC路径跟踪算法开设的帖子用于更新我自己的思路，由于MPC算法，要镶嵌到整个导航任务中去，就绕不开这个move_base包中相关的参数设置和其中相关状态位置的获取和解读等等。 因为最近遇到小车在其他的环境中有些时候，不需要自己…...

编程日记 2023/8/23 5:51:00

【SpringBoot】SpringBoot项目与Vue对接接口的步骤

下面是SpringBoot项目与Vue对接接口的步骤： 创建SpringBoot项目，在项目中添加依赖，如Spring MVC、MyBatis等框架。 在SpringBoot项目中编写接口方法，使用注解标识请求方式，如GetMapping、PostMapping等，并…...

编程日记 2023/8/23 5:49:59

Glog安装与使用

安装 脚本 #!/bin/bash git clone https://github.com/google/glog.git cd glog git checkout v0.4.0 mkdir build && cd build cmake .. make -j4 echo "your password" | sudo -S make install使用 main.cc #include <glog/logging.h>int main(i…...

编程日记 2023/8/23 5:47:56

windows开发环境搭建

下载msys2&#xff0c;官网下载即可&#xff1a; MSYS2 安装其他的编译工具&#xff08;貌似不需要把中间的命令全部执行&#xff09;&#xff1a; MSYS2使用教程——win10系统64位安装msys2最新版&#xff08;msys2-x86_xxxx.exe&#xff09;_msys64_Dreamhai的博客-CSDN博…...

编程日记 2023/8/23 5:46:54

8月17日上课内容 第三章 LVS+Keepalived群集

本章结构 Keepalived概述 keepalived 概述 1.服务功能 故障自动切换 健康检查 节点服务器高可用 HA keepalived工作原理 Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案&#xff0c;可以解决静态路由出现的单点故障问题 在一个LVS服务集群中通常有主服务器 (MAST…...

编程日记 2023/8/23 5:45:53

Threejs学习05——球缓冲几何体背景贴图和环境贴图

实现随机多个三角形随机位置随机颜色展示效果 这是一个非常简单基础的threejs的学习应用&#xff01;本节主要学习的是球面缓冲几何体的贴图部分&#xff0c;这里有环境贴图以及背景贴图&#xff0c;这样可以有一种身临其境的效果&#xff01;这里环境贴图用的是一个.hdr的文件…...

编程日记 2023/8/23 5:44:50

LVS+Keepalived群集实验

目录 Keepalived 是什么 Keepalived 功能 Keepalived 模块 工作原理 脑裂现象及解决方案 脑裂 形成脑裂的原因 解决脑裂的几种方法&#xff1a; 为了减少或避免HA集群中出现脑裂现象&#xff0c;我们可以采取以下措施&#xff1a; Keepalived服务主要功能&#xff0…...

编程日记 2023/8/23 5:43:50

财务银行对账费时间？RPA自动对接流水，10分钟对完1个月账

RPA自动化银行对账的优势传统手工对账通常需要财务人员逐笔核对银行流水和企业账目&#xff0c;耗时费力且易出错。RPA&#xff08;机器人流程自动化&#xff09;技术可实现银行流水与企业账务系统的自动对接&#xff0c;大幅提升效率。10分钟完成1个月账目核对已成为现实。RPA…...

编程新知 2026/3/28 0:05:19

AS_BH1750库：BH1750FVI环境光传感器嵌入式驱动设计与工程实践

1. AS_BH1750库概述&#xff1a;面向嵌入式系统的BH1750FVI环境光传感器驱动设计与工程实践BH1750FVI是由ROHM Semiconductor推出的高精度数字环境光传感器&#xff08;Ambient Light Sensor, ALS&#xff09;&#xff0c;采用IC接口&#xff0c;具备宽动态范围&#xff08;0.1…...

编程新知 2026/3/27 23:04:34

掌握Web AR开发：从痛点到实战的AR.js技术指南

掌握Web AR开发&#xff1a;从痛点到实战的AR.js技术指南 【免费下载链接】AR.js Image tracking, Location Based AR, Marker tracking. All on the Web. 项目地址: https://gitcode.com/gh_mirrors/arj/AR.js Web AR开发痛点与解决方案 开发增强现实应用时&#xff0…...

编程新知 2026/3/27 22:18:10

python基于微信小程序的直播带货商品数据分析系统的爬虫可视化

目录需求分析与系统架构设计微信小程序数据爬取方案数据存储与清洗数据分析与可视化系统集成与部署注意事项项目技术支持源码获取详细视频演示 &#xff1a;文章底部获取博主联系方式&#xff01;同行可合作需求分析与系统架构设计 明确系统目标为爬取微信小程序直播带货商品数…...

编程新知 2026/3/27 20:45:38

华为Matebook 13双系统实战：Win10与Ubuntu 16.04无缝共存指南

1. 为什么选择华为Matebook 13安装双系统 作为一名长期使用双系统开发的工程师&#xff0c;我最近在华为Matebook 13上成功部署了Win10Ubuntu 16.04双系统组合。这款13英寸的轻薄本确实给了我不少惊喜——2K全面屏、1.3kg超轻机身、第八代i5处理器&#xff0c;这些硬件配置对于…...

编程新知 2026/3/27 20:29:33

通义千问3-Reranker-0.6B优化升级：调整批处理大小和自定义指令，性能再提升5%

通义千问3-Reranker-0.6B优化升级&#xff1a;调整批处理大小和自定义指令&#xff0c;性能再提升5% 1. 为什么需要优化重排序模型性能&#xff1f; 在信息检索和问答系统中&#xff0c;重排序模型扮演着至关重要的角色。它负责对初步检索得到的文档进行二次排序&#xff0c;…...

编程新知 2026/3/27 20:01:05

【AI重塑科研】无需通读全文，三步教你用大模型高效产出文献综述

1. 为什么你需要AI辅助文献综述&#xff1f; 每次打开文献库看到上百篇待读论文就头皮发麻&#xff1f;我完全理解这种感受。去年准备开题报告时&#xff0c;导师要求我两周内完成50篇核心文献的综述&#xff0c;当时差点崩溃。直到我发现用大模型处理文献可以节省90%的时间&am…...

编程新知 2026/3/27 19:12:51

9大核心优势！Outfit字体全方位应用指南：从安装到精通

9大核心优势&#xff01;Outfit字体全方位应用指南&#xff1a;从安装到精通 【免费下载链接】Outfit-Fonts The most on-brand typeface 项目地址: https://gitcode.com/gh_mirrors/ou/Outfit-Fonts Outfit字体作为一款专业开源无衬线字体&#xff0c;凭借9种完整字重体…...

编程新知 2026/3/27 18:50:39

Gradio项目快速公网演示：除了share=True，你还有这几种轻量级内网穿透方案

Gradio项目快速公网演示&#xff1a;5种轻量级内网穿透方案横向评测 当你开发了一个酷炫的机器学习模型演示&#xff0c;或是精心设计的数据可视化界面&#xff0c;最迫切的需求往往是如何快速分享给同事或客户。Gradio的shareTrue参数可能是大多数开发者首先想到的方案&#x…...

编程新知 2026/3/27 18:42:37

如何用PPTist快速创建专业演示文稿：免费在线PPT制作完全指南

如何用PPTist快速创建专业演示文稿&#xff1a;免费在线PPT制作完全指南 【免费下载链接】PPTist 基于 Vue3.x TypeScript 的在线演示文稿&#xff08;幻灯片&#xff09;应用&#xff0c;还原了大部分 Office PowerPoint 常用功能&#xff0c;实现在线PPT的编辑、演示。支持导…...

编程新知 2026/3/27 18:14:12