当前位置： 首页 > news >正文

SparkSQL源码分析系列02-编译环境准备

news 2026/2/8 15:22:09

本文主要描述一些阅读Spark源码环境的准备工作，会涉及到源码编译，插件安装等。

1. 克隆代码。

打开IDEA，在Git下的Clone中，输入 https://github.com/apache/spark，克隆代码到本地，CheckOut到目标版本Spark3.4
在这里插入图片描述
在这里插入图片描述

2. 安装maven。

版本按照pom文件指定的版本安装，在IDEA中配置安装的路径。
在这里插入图片描述
在这里插入图片描述

3. 为IDEA安装 ANTLR 和 Scala 插件

在这里插入图片描述

4. 测试ANTLR的词法语法解析功能

在Spark源码项目中，搜索 SqlBaseParser.g4 文件，在 singleStatement 上右键，找到“Test Rule singleStatement”，在底部对话框中输入SQL语句，观察解析出的抽象语法树。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

注意：SQL语句一定要大写。

5. 编译源码

由于我们只做源码阅读，不做打包，所以只需要通过 compile 就行，package貌似报错更多，不容易打包成功，但是 compile 相对容易。多次 compile 尝试，直到 build success。
在这里插入图片描述

6. 运行测试类

在…/spark_branch3_4/sql/core/src/test/scala/org/apache/spark/sql目录下，打开 SQLQuerySuite 文件，在任意一个test模块上右键、运行，观察是否正常输出。
在这里插入图片描述
测试案例运行成功。至此，代表源码阅读环境准备完毕。

相关文章：

SparkSQL源码分析系列02-编译环境准备

本文主要描述一些阅读Spark源码环境的准备工作，会涉及到源码编译，插件安装等。 1. 克隆代码。 打开IDEA，在Git下的Clone中，输入 https://github.com/apache/spark，克隆代码到本地，CheckOut到目标版本Spar…...

编程日记 2023/8/23 6:04:17

【计算机网络】日志与守护进程

文章目录 日志日志的创建logmessage 函数日志左边部分实现日志右边部分实现 完整代码log.hpp(整体实现)err.hpp (错误信息枚举） 守护进程PGID SID TTY 的介绍shell中控制进程组的方式结论 为什么要有守护进程存在？守护进程的创建使用守护进程的条件守护进…...

编程日记 2023/8/23 6:03:16

设计模式之职责链模式(ChainOfResponsibility)的C++实现

1、职责链模式的提出 在软件开发过程中，发送者经常发送一个数据请求给特定的接收者对象，让其对请求数据进行处理（一个数据请求只能有一个对象对其处理）。如果发送的每个数据请求指定特定的接收者， 将带来发送者与接收…...

编程日记 2023/8/23 6:02:15

CGAL Mesh（网格数据）布尔操作

文章目录 一、简介二、实现代码三、实现效果参考资料一、简介 Mesh布尔操作是一种在三维计算机图形学中用于组合两个或多个网格（mesh）对象的方法。它可以将两个网格对象组合成一个新的对象，同时保留原始对象的拓扑结构和几何信息。Mesh布尔操作主要有以下三种类型： Union（…...

编程日记 2023/8/23 6:01:14

技术分享| WebRTC之SDP详解

一，什么是SDP WebRTC 是 Web Real-Time Communication，即网页实时通信的缩写，是 RTC 协议的一种Web实现，项目由 Google 开源，并和 IETF 和 W3C 制定了行业标准。 WebRTC是点对点通讯，他的通话建立需要交换…...

编程日记 2023/8/23 6:00:13

Flink Table API/SQL 多分支sink

背景 在某个场景中，需要从Kafka中获取数据，经过转换处理后，需要同时sink到多个输出源中(kafka、mysql、hologres)等。两次调用execute, 阿里云Flink vvr引擎报错： public static void main(String[] args) {final StreamExecuti…...

编程日记 2023/8/23 5:59:11

Vue3 中 导航守卫 的使用

在Vue 3中，导航守卫（Navigation Guards）用于在路由切换前后执行一些操作，例如验证用户权限、取消路由导航等。Vue 3中的导航守卫与Vue 2中的导航守卫略有不同。下面是Vue 3中导航守卫的使用方式： 全局前置守卫&#xf…...

编程日记 2023/8/23 5:58:09

云原生概论

云原生是一种新兴的技术趋势，它旨在将应用程序设计和部署方式从传统的基础设施转向云端。云原生应用程序是一种针对云环境进行优化的应用程序，能够充分利用云端提供的弹性和可扩展性。本文将探讨云原生的概念、优势、应用场景以及未来发展方向。 一、云…...

编程日记 2023/8/23 5:57:08

hive-sql

hive-常用SQL汇总 查看数据库 -- 查看所有的数据库 show databases; 使用默认的库 -- 下面的语句可以查看默认的库 use default ;查看某个库下的表 -- 查看所有的表 show tables ; -- 查看包含 stu的表 ，这种是通配的方法来查看 show tables like *stu*; 查…...

编程日记 2023/8/23 5:56:06

Rspack 创建 vue2/3 项目接入 antdv（rspack.config.js 配置 less 主题）

一、简介 Rspack CLI 官方文档。 rspack.config.js 官方文档。 二、创建 vue 项目 创建项目（文档中还提供了 Rspack 内置 monorepo 框架 Nx 的创建方式，根据需求进行选择） # npm 方式 $ npm create rspacklatest# yarn 方式 $ yarn create…...

编程日记 2023/8/23 5:55:04

基于centos7完成docker服务的一些基础操作

目录 要求完成 具体操作 1.安装docker服务，配置镜像加速器 2.下载系统镜像（Ubuntu、 centos） 3.基于下载的镜像创建两个容器 （容器名一个为自己名字全拼，一个为首名字字母） 4.容器的启动、 停止及重启…...

编程日记 2023/8/23 5:54:03

Microsoft Visual Studio + Qt插件编程出现错误error MSB4184问题

文章目录 报错解决 报错 C:\Users\Administrator\AppData\Local\QtMsBuild\qt_globals.targets(786,7): error MSB4184: 无法计算表达式“[System.IO.File]::ReadAllText(C:\Users\Administrator\AppData\Local\QtMsBuild\qt.natvis.xml)”。 未能找到文件“C:\Users\Administ…...

编程日记 2023/8/23 5:53:02

QT Quick之quick与C++混合编程

Qt quick能够生成非常绚丽界面，但有其局限性的，对于一些业务逻辑和复杂算法，比如低阶的网络编程如 QTcpSocket ，多线程，又如 XML 文档处理类库 QXmlStreamReader / QXmlStreamWriter 等等，在 QML 中要么不可…...

编程日记 2023/8/23 5:52:01

Ros noetic Move_base 相关状态位置的获取 实战使用教程

前言： 有一段时间没有更新，这篇文章是为了后续MPC路径跟踪算法开设的帖子用于更新我自己的思路，由于MPC算法，要镶嵌到整个导航任务中去，就绕不开这个move_base包中相关的参数设置和其中相关状态位置的获取和解读等等。 因为最近遇到小车在其他的环境中有些时候，不需要自己…...

编程日记 2023/8/23 5:51:00

【SpringBoot】SpringBoot项目与Vue对接接口的步骤

下面是SpringBoot项目与Vue对接接口的步骤： 创建SpringBoot项目，在项目中添加依赖，如Spring MVC、MyBatis等框架。 在SpringBoot项目中编写接口方法，使用注解标识请求方式，如GetMapping、PostMapping等，并…...

编程日记 2023/8/23 5:49:59

Glog安装与使用

安装 脚本 #!/bin/bash git clone https://github.com/google/glog.git cd glog git checkout v0.4.0 mkdir build && cd build cmake .. make -j4 echo "your password" | sudo -S make install使用 main.cc #include <glog/logging.h>int main(i…...

编程日记 2023/8/23 5:47:56

windows开发环境搭建

下载msys2&#xff0c;官网下载即可&#xff1a; MSYS2 安装其他的编译工具&#xff08;貌似不需要把中间的命令全部执行&#xff09;&#xff1a; MSYS2使用教程——win10系统64位安装msys2最新版&#xff08;msys2-x86_xxxx.exe&#xff09;_msys64_Dreamhai的博客-CSDN博…...

编程日记 2023/8/23 5:46:54

8月17日上课内容 第三章 LVS+Keepalived群集

本章结构 Keepalived概述 keepalived 概述 1.服务功能 故障自动切换 健康检查 节点服务器高可用 HA keepalived工作原理 Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案&#xff0c;可以解决静态路由出现的单点故障问题 在一个LVS服务集群中通常有主服务器 (MAST…...

编程日记 2023/8/23 5:45:53

Threejs学习05——球缓冲几何体背景贴图和环境贴图

实现随机多个三角形随机位置随机颜色展示效果 这是一个非常简单基础的threejs的学习应用&#xff01;本节主要学习的是球面缓冲几何体的贴图部分&#xff0c;这里有环境贴图以及背景贴图&#xff0c;这样可以有一种身临其境的效果&#xff01;这里环境贴图用的是一个.hdr的文件…...

编程日记 2023/8/23 5:44:50

LVS+Keepalived群集实验

目录 Keepalived 是什么 Keepalived 功能 Keepalived 模块 工作原理 脑裂现象及解决方案 脑裂 形成脑裂的原因 解决脑裂的几种方法&#xff1a; 为了减少或避免HA集群中出现脑裂现象&#xff0c;我们可以采取以下措施&#xff1a; Keepalived服务主要功能&#xff0…...

编程日记 2023/8/23 5:43:50

深入剖析AI大模型：大模型时代的 Prompt 工程全解析

今天聊的内容&#xff0c;我认为是AI开发里面非常重要的内容。它在AI开发里无处不在&#xff0c;当你对 AI 助手说 "用李白的风格写一首关于人工智能的诗"&#xff0c;或者让翻译模型 "将这段合同翻译成商务日语" 时&#xff0c;输入的这句话就是 Prompt。…...

编程新知 2026/2/7 5:56:30

大话软工笔记—需求分析概述

需求分析&#xff0c;就是要对需求调研收集到的资料信息逐个地进行拆分、研究&#xff0c;从大量的不确定“需求”中确定出哪些需求最终要转换为确定的“功能需求”。 需求分析的作用非常重要&#xff0c;后续设计的依据主要来自于需求分析的成果&#xff0c;包括: 项目的目的…...

编程新知 2026/1/28 10:58:50

【入坑系列】TiDB 强制索引在不同库下不生效问题

文章目录 背景SQL 优化情况线上SQL运行情况分析怀疑1：执行计划绑定问题？尝试：SHOW WARNINGS 查看警告探索 TiDB 的 USE_INDEX 写法Hint 不生效问题排查解决参考背景 项目中使用 TiDB 数据库，并对 SQL 进行优化了，添加了强制索引。 UAT 环境已经生效，但 PROD 环境强制索…...

编程新知 2026/1/31 21:56:58

Linux简单的操作

ls ls 查看当前目录 ll 查看详细内容 ls -a 查看所有的内容 ls --help 查看方法文档 pwd pwd 查看当前路径 cd cd 转路径 cd .. 转上一级路径 cd 名 转换路径 …...

编程新知 2026/1/20 14:36:39

postgresql|数据库|只读用户的创建和删除（备忘）

CREATE USER read_only WITH PASSWORD 密码 -- 连接到xxx数据库 \c xxx -- 授予对xxx数据库的只读权限 GRANT CONNECT ON DATABASE xxx TO read_only; GRANT USAGE ON SCHEMA public TO read_only; GRANT SELECT ON ALL TABLES IN SCHEMA public TO read_only; GRANT EXECUTE O…...

编程新知 2025/9/18 19:34:22

NLP学习路线图（二十三）：长短期记忆网络（LSTM）

在自然语言处理（NLP）领域，我们时刻面临着处理序列数据的核心挑战。无论是理解句子的结构、分析文本的情感，还是实现语言的翻译，都需要模型能够捕捉词语之间依时序产生的复杂依赖关系。传统的神经网络结构在处理这种序列依赖时显得力不从心，而循环神经网络（RNN） 曾被视为…...

编程新知 2026/2/1 7:05:28

什么？连接服务器也能可视化显示界面？：基于X11 Forwarding + CentOS + MobaXterm实战指南

文章目录 什么是X11？环境准备实战步骤1️⃣ 服务器端配置（CentOS）2️⃣ 客户端配置（MobaXterm）3️⃣ 验证X11 Forwarding4️⃣ 运行自定义GUI程序(Python示例)5️⃣ 成功效果![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/55aefaea8a9f477e86d065227851fe3d.pn…...

编程新知 2025/10/2 17:12:14

《C++ 模板》

目录 函数模板 类模板 非类型模板参数 模板特化 函数模板特化 类模板的特化 模板&#xff0c;就像一个模具&#xff0c;里面可以将不同类型的材料做成一个形状&#xff0c;其分为函数模板和类模板。 函数模板 函数模板可以简化函数重载的代码。格式&#xff1a;templa…...

编程新知 2025/6/11 3:20:47

保姆级教程：在无网络无显卡的Windows电脑的vscode本地部署deepseek

文章目录 1 前言2 部署流程2.1 准备工作2.2 Ollama2.2.1 使用有网络的电脑下载Ollama2.2.2 安装Ollama&#xff08;有网络的电脑&#xff09;2.2.3 安装Ollama&#xff08;无网络的电脑&#xff09;2.2.4 安装验证2.2.5 修改大模型安装位置2.2.6 下载Deepseek模型 2.3 将deepse…...

编程新知 2026/2/6 16:59:24

LLMs 系列实操科普（1）

写在前面&#xff1a; 本期内容我们继续 Andrej Karpathy 的《How I use LLMs》讲座内容&#xff0c;原视频时长 ~130 分钟&#xff0c;以实操演示主流的一些 LLMs 的使用&#xff0c;由于涉及到实操&#xff0c;实际上并不适合以文字整理&#xff0c;但还是决定尽量整理一份笔…...

编程新知 2026/1/31 11:35:24