当前位置： 首页 > article >正文

Spark-SQL连接Hive总结及实验

article 2026/1/13 4:10:44

一、核心模式与配置要点

1. 内嵌Hive

无需额外配置，直接使用，但生产环境中几乎不使用。

2. 外部Hive（spark-shell连接）

配置文件：将hive-site.xml（修改数据库连接为node01）、core-site.xml、hdfs-site.xml拷贝到Spark的conf/目录。

驱动：将MySQL驱动（如mysql-connector-java-5.1.49.jar）放入jars/目录。

验证：重启spark-shell，执行show tables验证连接。

3. Spark beeline（Thrift Server模式）

步骤：同外部Hive配置，启动Thrift Server后，通过beeline -u jdbc:hive2://node01:10000 -n root连接。

4. Spark-SQL CLI（命令行工具）

操作：将驱动和hive-site.xml放入对应目录，通过spark-sql.cmd启动，直接执行SQL（如show databases）。

5. 代码操作（Scala示例）

依赖：添加spark-hive_2.12和hive-exec依赖。

配置：

将hive-site.xml放入项目resources目录。

通过enableHiveSupport()启用Hive支持，设置仓库路径：

.config("spark.sql.warehouse.dir", "hdfs://node01:9000/user/hive/warehouse")

常见问题：

权限错误：添加System.setProperty("HADOOP_USER_NAME", "node01")（替换为实际用户名）。

数据库位置异常：需显式配置仓库路径到HDFS，避免默认存于本地

二、  实验

 

 

 

相关文章：

Spark-SQL连接Hive总结及实验

一、核心模式与配置要点 1. 内嵌Hive 无需额外配置，直接使用，但生产环境中几乎不使用。 2. 外部Hive（spark-shell连接） 配置文件：将hive-site.xml（修改数据库连接为node01）、core-site.xml、…...

编程日记 2026/1/13 4:10:44

ROS 2的跨平台优势：国产芯片与Ubuntu系统的深度协同

一、国产硬件全场景适配：从教育到工业的ROS 2革命 瑞芯微三剑客性能解析 芯片架构特性ROS 2优化方案典型延迟/算力RK3399双核A72四核A53启用rmw_fastrtps内存池隔离通信延迟≤1.5msRK3588四核A766TOPS NPUrknn_ros2中间件实现算法热加载目标检测15ms4KRK3576六核A…...

编程日记 2025/12/8 15:05:09

Linux Wlan-四次握手(eapol)框架流程

协议基础 基于 IEEE 802.1X 标准实现的协议 抓包基础 使用上一章文章的TPLINK wn722n v1网卡在2.4G 频段抓包（v2、v3是不支持混杂模式的） eapol的四个交互流程 根据不同的认证模式不同，两者的Auth流程有所不同，但是握手流程基…...

编程日记 2026/1/9 4:09:56

web组件和http协议

1.web组件 2.自定义元素 3.影子DOM 4.HTML模板 5.http协议 6.tcp ip协议...

编程日记 2026/1/12 16:24:59

软件工程师中级考试-上午知识点总结（下）

6. 知识产权和标准化 软件著作权客体：指的是受软件著作权保护的对象，即计算机程序和相关文档。知识产权具有严格的地域性。不受保护期限制：著名权、修改权、保护作品完整权；注意的是，发表权受保护期限制。专利权在期满…...

编程日记 2026/1/12 16:27:47

IO流--字节流详解

IO流 用于读写数据的（可以读写文件，或网络中的数据） 概述： I指 Input，称为输入流：负责从磁盘或网络上将数据读到内存中去 O指Output，称为输出流，负责写数据出去到网络或磁盘上 因…...

编程日记 2026/1/12 2:12:13

Cesium学习笔记——dem/tif地形的分块与加载

前言 在Cesium的学习中，学会读文档十分重要！！！在这里附上Cesium中英文文档1.117。 在Cesium项目中，在平坦坦地球中加入三维地形不仅可以增强真实感与可视化效果，还可以​​提升用户体验与交互性&#xff0c…...

编程日记 2026/1/11 20:27:04

FPGA 中 XSA、BIT 和 DCP 文件的区别

在 FPGA（现场可编程门阵列）开发中，XSA、BIT 和 DCP 文件是常见的文件类型，它们在功能、用途、文件内容等方面存在明显区别，以下是详细介绍： 1. XSA 文件 定义与功能 XSA（Xilinx Shell Archiv…...

编程日记 2025/12/8 3:04:58

Vmware esxi 给现有磁盘增加空间后并扩展系统里磁盘空间

当前EXSI上虚拟机所在的单独数据磁盘空间满了，需要对空间进行扩容，我们先在主机对磁盘容量进行调整，然后在系统里面对磁盘空间进行拓展，这些操作需要保留数据并且不改变现有的磁盘格局。 遵循大致操作流程是： 1.先登录…...

编程日记 2025/12/9 7:56:01

Java排序算法百科全书：原理、实现与实战指南

一、排序算法全景视图 1. 算法分类体系 graph TDA[排序算法] --> B[比较排序]A --> C[非比较排序]B --> B1[基本排序]B1 --> B11[冒泡排序]B1 --> B12[选择排序]B1 --> B13[插入排序]B --> B2[高效排序]B2 --> B21[快速排序]B2 --> B22[归并排序]B…...

编程日记 2026/1/11 0:50:57

开源脚本分享：用matlab处理ltspice生成的.raw双脉冲数据

Author :PNJIE DATE: 2025/04/21 V0.0 前言 该项目旨在使用Matlab处理LTspice的.raw文件，包括动态计算和绘图，部分脚本基于LTspice2Matlab项目： PeterFeicht/ltspice2matlab: LTspice2Matlab - 将LTspice数据导入MATLAB github地址&#x…...

编程日记 2026/1/4 17:59:32

(二)mac中Grafana监控Linux上的MySQL(Mysqld_exporter)

框架：GrafanaPrometheusMysqld_exporter 一、监控查看端安装 Grafana安装-CSDN博客 普罗米修斯Prometheus监控安装（mac）-CSDN博客 1.启动Grafana服务 brew services start grafana 打开浏览器输入http://localhost:3000进入grafana登录…...

编程日记 2026/1/11 6:15:06

c++基础·列表初始化

目录 一、列表初始化的核心优势 二、基础数据类型与数组初始化 1. 基础类型初始化 2. 数组初始化 三、类与结构体初始化 1. 构造函数匹配规则 2. 注意事项 四、标准容器初始化 五、聚合类型（Aggregate Types）初始化 1. 聚合类型定义 2. 初始化…...

编程日记 2025/12/8 15:15:33

RK3588上编译opencv 及基于c++实现图像的读入

参考博文： https://blog.csdn.net/qq_47432746/article/details/147203889 一、安装依赖包 sudo apt install build-essential cmake git pkg-config libgtk-3-dev libavcodec-dev libavformat-dev libswscale-dev libv4l-dev libxvidcore-dev libx264-dev libjpe…...

编程日记 2025/12/18 12:30:12

论文阅读：2025 arxiv AI Alignment: A Comprehensive Survey

总目录 大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328 AI Alignment: A Comprehensive Survey 人工智能对齐：全面调查 https://arxiv.org/pdf/2310.19852 https://alignmentsurvey.com/ https://www.doubao.com/cha…...

编程日记 2025/12/24 6:56:19

element-ui中的上传组件el-upload非自动上传监听不到success

当设置了:auto-upload"false" 监听不到success回调 要用自定义请求去监听 :http-request"requestUploadFile" //设置 auto-upload为false，要自定义请求http-request //:auto-upload"false" //:http-request"requestUploadFi…...

编程日记 2025/12/18 6:24:28

Git创建空分支并推送到远程仓库

new-empty-branch是新分支的名称 完全空提交（Git 2.23）【推荐】 git switch --orphan new-empty-branch git config user.email "youexample.com" git config user.name "Your Name" git commit --allow-empty -m "初始空提交…...

编程日记 2025/12/8 4:12:14

Github中项目的公开漏洞合集

前言 最近在搜CVE的时候，意外发现了GitHub Security Advisories。 可能对一些人来说，已经是老东西了。但我还是第一次见到。 觉得挺好用的，就分享出来。 GitHub Security Advisories GitHub Security Advisories 是 GitHub 提供的一项重要…...

编程日记 2026/1/13 5:57:44

蚂蚁全媒体总编刘鑫炜再添新职，出任共工新闻社新媒体研究院院长

2025年4月18日，共工新闻社正式宣布聘任蚂蚁全媒体总编刘鑫炜为新媒体研究院院长。此次任命标志着刘鑫炜在新媒体领域的专业能力与行业贡献再次获得权威机构认可。 刘鑫炜深耕新媒体领域多年，曾担任中国新闻传媒集团新媒体研究院院长、蚂蚁全媒体总编等职…...

编程日记 2026/1/11 0:46:59

吴恩达强化学习复盘(2)K-Means初始化|K的选择|算法优化

K-Means初始化 K-Means 算法的第一步是随机选择位置作为初始聚类中心（new one through newk），但如何进行随机猜测是需要探讨的问题。一般需要多次尝试初始猜测，以期望找到更好的聚类结果。 K 值选择及初始聚类中心选取方法 K 值…...

编程日记 2026/1/11 12:19:15

SQL优化案例分享 | PawSQL 近日推出 Lateral Join 重写优化算法

一、Lateral 查询语法介绍 Lateral 查询是SQL中的一种连接方式，它允许FROM子句中的子查询引用同一FROM子句中前面的表的列。虽然这种特性提供了强大的表达能力，但在某些场景下可能导致性能问题。PawSQL优化器近日实现了一种针对特定类型Lateral Join的重…...

编程日记 2026/1/11 16:42:32

电子电器架构 ---软件定义汽车的电子/电气（E/E）架构

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 周末洗了一个澡，换了一身衣服，出了门却不知道去哪儿，不知道去找谁，漫无目的走着，大概这就是成年人最深的孤独吧! 旧人不知我近况，新人不知我过…...

编程日记 2026/1/12 16:28:14

ONLYOFFICE协作空间3.1发布：虚拟数据房间中基于角色的表单填写、房间模板、改进访客管理等

全新升级的 ONLYOFFICE 协作空间有着约 40 项新功能和改进，将您的文档协作和管理体验提升到全新高度。阅读本文，了解所有优化功能。 关于 ONLYOFFICE ONLYOFFICE 是一个国际开源项目，专注于高级和安全的文档处理，可提供文本文档、…...

编程日记 2026/1/11 3:51:10

Docker如何更换镜像源提高拉取速度

在国内，由于网络政策和限制，直接访问DockerHub速度很慢，尤其是在拉取大型镜像时。为了解决这个问题，常用的方法就是更换镜像源。本文将详细介绍如何更换Docker镜像源，并提供当前可用的镜像源。 换源方法 方法1&#x…...

编程日记 2026/1/11 2:44:56

深入理解 HTML5 Web SQL 数据库：用法、现状与替代方案

一、引言 在 Web 开发的领域中，客户端存储一直是一个关键的话题。HTML5 带来了多种客户端存储的解决方案，其中 Web SQL 数据库曾经是一个备受关注的选项。尽管如今它已被废弃，但了解其原理、使用方法以及为何被替代，对于 Web 开发者来说仍然具有重要的意义。本文将深入探讨…...

编程日记 2026/1/12 15:05:41

【C++教程】C++中为什么优先使用 cout/cin流

在 C 中&#xff0c;优先使用 cout/cin 流而非 C 风格的 printf/scanf&#xff0c;主要出于以下设计理念和实际优势&#xff1a; 1. 类型安全&#xff08;Type Safety&#xff09; cout/cin 是类型安全的 流操作符&#xff08;<< 和 >>&#xff09;通过运算符重载自…...

编程日记 2025/6/11 14:00:28

示波器探头状态诊断与维护技术指南

一、探头性能劣化特征分析 信号保真度下降 ・时域表现&#xff1a;上升沿时间偏离标称值15%以上&#xff08;如1ns探头测得≥1.15ns&#xff09; ・频域特性&#xff1a;-3dB带宽衰减超过探头标称值20%基准稳定性异常 ・直流偏置电压漂移量&#xff1e;5mV&#xff08;预热30分…...

编程日记 2026/1/11 19:40:53

【 Git 全局忽略文件完全指南：配置、规则与最佳实践】

Git 全局忽略文件完全指南&#xff1a;配置、规则与最佳实践 前言 在软件开发过程中&#xff0c;我们经常遇到一些不需要被版本控制系统追踪的文件&#xff0c;例如IDE配置文件、编译生成的中间文件、日志文件等。虽然可以在每个项目中创建.gitignore文件&#xff0c;但对于开…...

编程日记 2026/1/12 10:40:15

FreeRTOS互斥信号量解决优先级翻转实战教程

FreeRTOS互斥信号量解决优先级翻转实战教程 大家好&#xff01;今天我们来深入探讨FreeRTOS中的优先级翻转问题&#xff0c;并通过互斥信号量来解决这个问题。上一篇文章我们已经了解了优先级翻转的现象&#xff0c;今天我们将动手实践&#xff0c;通过代码对比来直观感受互斥…...

编程日记 2026/1/12 2:29:49

第一篇：从哲学到管理——实践论与矛盾论如何重塑企业思维

引言&#xff1a;当革命哲学照亮现代商业 1937年&#xff0c;毛泽东在战火中写就的《实践论》《矛盾论》&#xff0c;为中国共产党提供了认识世界的方法论。今天&#xff0c;这两部著作正成为企业破解管理困局的“思维操作系统”&#xff1a; 战略模糊&#xff1a;据Gartner统…...

编程日记 2026/1/11 13:14:14