当前位置： 首页 > news >正文

spark sql执行引擎原理及配置

news 2026/5/13 3:50:19

如果我们想要给上层开发人员配置好一个统一的sql开发界面，让他们统一通过sql开发即可，可通过spark中的thriftserver服务实现，与hive中的thriftserver类似，配置好该服务后，上层通过db client或者代码中通过jdbc连接即可直接使用sql操作，
在这里插入图片描述
该服务会去请求metastore服务得到元数据后，再将sql语句及元数据给到执行引擎，转换成rdd代码执行。
一个配置案例如下:
1.确保已经配置好了Spark On Hive
2.启动ThriftServerl即可

#直接在root账户下启动即可
$SPARK HOME/sbin/start-thriftserver.sh
–hiveconf hive.server2.thrift.port=10000
–hiveconf hive.server2.thrift.bind.host=nodel
–master local[2]
#master选择local,每一条sql都是local进程执行
#master选择yarn,每一条sql都是在YARN集群中执行

相关文章：

spark sql执行引擎原理及配置

如果我们想要给上层开发人员配置好一个统一的sql开发界面，让他们统一通过sql开发即可，可通过spark中的thriftserver服务实现，与hive中的thriftserver类似，配置好该服务后，上层通过db client或者代码中通过jdbc连接即可…...

编程日记 2024/4/2 5:21:40

【C语言基础】：自定义类型(二) --＞联合和枚举

文章目录 一、联合体1.1 联合体类型的声明1.2 联合体的特点1.3 相同成员的结构体和联合体对比1.4 联合体大小的计算1.5 联合体练习 二、枚举类型2.1 枚举类型的声明2.2 枚举的优点 书山有路勤为径，学海无涯苦作舟。 创作不易，宝子们！如果这篇…...

编程日记 2024/4/2 5:20:39

【授时防火墙】GPS北斗卫星授时信号安全防护装置系统

【授时防火墙】GPS北斗卫星授时信号安全防护装置系统 【授时防火墙】GPS北斗卫星授时信号安全防护装置系统 1、装置概述 卫星信号安全防护装置（以下简称“防护装置”）是一款专门针对卫星导航授时安全的设备。该设备能接收 BD 系统和 GPS 系统卫星信号&am…...

编程日记 2024/4/2 5:19:38

关于 MySQL 优化（详解）

文章目录 关于 MySQL 优化一、硬件方面的优化1、关于 CPU2、关于内存3、关于磁盘 二、MySQL 配置文件1、 default-time-zone8:002、interactive_timeout 1203、wait_timeout 1204、open_files_limit 102405、group_concat_max_len 1024006、usermysql7、character-set-serv…...

编程日记 2024/4/2 5:18:38

Hive详解（5）

Hive 窗口函数 案例 需求：连续三天登陆的用户数据 步骤： -- 建表 create table logins (username string,log_date string ) row format delimited fields terminated by ; -- 加载数据 load data local inpath /opt/hive_data/login into table log…...

编程日记 2024/4/2 5:17:36

阿里云效codeup如何执行github flow工作流

在阿里云效中执行 GitHub 工作流，实质上是在使用 Git 进行版本控制的过程中遵循 GitHub Flow 的原则。GitHub Flow 是一种简洁高效的工作流程，特别适用于追求快速迭代的团队。下面是在阿里云效中执行 GitHub 工作流的基本步骤： 1. 准备工作 …...

编程日记 2024/4/2 5:16:35

node.js的模块化 与 CommonJS规范

一、node.js的模块化 (1)什么是模块化？ 将一个复杂的程序文件依据一定的规则拆分成为多个文件的过程就是模块化 在node.js中，模块化是指把一个大文件拆分成独立并且相互依赖的多个小模块，将每个js文件被认为单独的一个模块；模块…...

编程日记 2024/4/2 5:15:34

RK3588平台开发系列讲解（PWM开发篇）

目录 前⾔ 驱动文件 DTS 节点配置 PWM 流程 PWM 使⽤ 常⻅问题 PWM 在 U-Boot 与 kernel 之间的衔接问题 PWM Regulator 时 PWM pin 脚上下拉配置问题 前⾔ 脉宽调制（ PWM ， Pulse Width Modulation ）功能在嵌⼊式系统中是⾮常常⻅的…...

编程日记 2024/4/2 5:11:30

宝塔面板操作一个服务器域名部署多个网站

此处记录IP一样，端口不一样的操作方式： 宝塔面板操作： 1、创建第一个网站： 网站名用IP地址，默认80端口。 创建好后，直接IP访问就可以了。看到自带的默认首页 2、接下来部署第二个网站： 仍然是…...

编程日记 2024/4/2 5:05:25

surfer绘制等值线图

surfer介绍 Surfer软件，是美国Golden Software公司编制的一款以画三维图的软件。该软件具有强大的插值功能和绘制图件能力，可用来处理XYZ数据，是地质工作者常用的专业成图软件（来源于百度百科）。 surfer可以用来绘制…...

编程日记 2024/4/2 5:02:22

免费开源的 AI 绘图工具 ImgPilot

免费开源的 AI 绘图工具 ImgPilot 分类 开源分享 项目名: ImgPilot -- 通过提示词及涂鸦生成图片 Github 开源地址： GitHub - leptonai/imgpilot: Turn the draft into amazing artwork with the power of Real-Time Latent Consistency Model 在线地址&#xff…...

编程日记 2024/4/2 5:00:19

Java系统架构设计：构建稳定高效的软件基石

在当今数字化时代，软件系统的稳定性、可扩展性和性能至关重要。Java作为一种广泛应用的编程语言，其系统架构设计对于软件的成功实施具有决定性的影响。本文将探讨Java系统架构设计的重要性以及设计过程中的关键要素。 首先，Java系统架构设计…...

编程日记 2024/4/2 4:59:18

【IntermLM2】学习笔记

微调方式 在大模型的下游应用中，可以有两种微调方式 增量续训 即无监督的方式，让模型学习一些新知识，比如某些垂直领域的新知识 使用的数据有：书籍，文章，代码等有监督微调 为了让模型学会理解指令进行对话…...

编程日记 2024/4/2 4:58:17

【二叉树】Leetcode 230. 二叉搜索树中第K小的元素【中等】

二叉搜索树中第K小的元素 给定一个二叉搜索树的根节点 root ，和一个整数 k ，请你设计一个算法查找其中第 k 个最小元素（从 1 开始计数）。 示例1： 输入：root [3,1,4,null,2], k 1 输出：1 解…...

编程日记 2024/4/2 4:57:16

JS中常用的几种事件

在js中分为多种事件，比如点击事件，焦点事件，加载事件，鼠标事件等等... ... 点击事件 onclick点击事件，ondblclick双击事件 焦点事件 onblur元素失去焦点，onfocus元素获取焦点 加载事件 onload一个页面…...

编程日记 2024/4/2 4:55:14

Android WebView的使用与后退键处理

目录 前言首先，我们需要在布局文件中添加webView组件在Activity中获取webView实例，并加载网页内容 前言 webView是Android中常用的组件之一，用于展示网页内容。它可以加载HTML文件、URL链接等网页内容，并提供交互功能。在使用webV…...

编程日记 2024/4/2 4:52:12

【备忘录】Docker 2375远程端口安全漏洞解决

最近为了项目需要，把docker 的远程端口2375 给开放了。不出意外出意外了。没多久，网站报流量告警，第一反应就是开放2375这个端口问题导致，毫不迟疑直接切换服务器。关闭该台服务器的docker服务，并逐步清理掉挖矿进程&a…...

编程日记 2024/4/2 4:51:11

343. 整数拆分（力扣LeetCode）

文章目录 343. 整数拆分题目描述动态规划 343. 整数拆分 题目描述 给定一个正整数 n ，将其拆分为 k 个 正整数 的和（ k > 2 ），并使这些整数的乘积最大化。 返回 你可以获得的最大乘积 。 示例 1: 输入: n 2 输出: 1 解释:…...

编程日记 2024/4/2 4:49:09

Spring面试题系列-3

Spring框架是由于软件开发的复杂性而创建的。Spring使用的是基本的JavaBean来完成以前只可能由EJB完成的事情。然而，Spring的用途不仅仅限于服务器端的开发。从简单性、可测试性和松耦合性角度而言，绝大部分Java应用都可以从Spring中受益。 Spring的属性…...

编程日记 2024/4/2 4:44:04

【比特币】比特币的奥秘、禁令的深层逻辑与风云变幻

导语： 比特币(Bitcoin)，这个充满神秘色彩的数字货币，自诞生以来便成为各界瞩目的焦点。它背后所蕴含的Mining机制、禁令背后的深层逻辑以及市场的风云变幻，都让人欲罢不能。今天，我们将深入挖掘比特币的每一个角落&…...

编程日记 2024/4/2 4:39:58

Cursor编辑器AI操作完成音效插件：原理、实现与效能提升

1. 项目概述：一个提升编码体验的“听觉反馈”工具如果你和我一样，每天有大量时间与代码编辑器为伴，那么你一定对那种“沉浸式”的编码状态又爱又恨。爱的是心流状态下的高效产出，恨的是一旦被打断，重新进入状态需要耗费…...

编程新知 2026/5/13 3:30:59

口碑好的芯片老化座哪家专业

在芯片制造与测试领域，芯片老化座是一个至关重要的设备。它能够模拟芯片在长期使用中的各种环境条件，提前发现潜在问题，确保芯片在实际应用中的稳定性和可靠性。那么，口碑好的芯片老化座哪家专业呢？今天我们就来详细探…...

编程新知 2026/5/13 2:45:01

PyTorch自动微分知识点讲解

PyTorch自动微分知识点讲解 知识导图 PyTorch自动微分 ├── 基础认知 │ ├── 自动微分的核心概念 │ └── autograd模块的作用 ├── 梯度计算 │ ├── 梯度计算的规则 │ └── backward与grad的使用 └── 实战案例├── 单参数的更新└── 多参数的更…...

编程新知 2026/5/13 2:27:47

基于 4SAPI 的 API 网关智能监控与故障诊断系统：MTTR 降低 90%，系统可用性提升至 99.99%

前言 在微服务架构盛行的今天，API 网关已经成为企业系统的核心入口，承担着流量路由、负载均衡、认证授权、限流熔断等关键功能。API 网关的稳定性直接决定了整个系统的可用性。但传统的 API 网关监控模式已经难以满足现代企业的需求： 告警风…...

编程新知 2026/5/13 1:52:35

如何快速找回压缩包密码：ArchivePasswordTestTool完整使用指南

如何快速找回压缩包密码：ArchivePasswordTestTool完整使用指南 【免费下载链接】ArchivePasswordTestTool 利用7zip测试压缩包的功能 对加密压缩包进行自动化测试密码 项目地址: https://gitcode.com/gh_mirrors/ar/ArchivePasswordTestTool 你是否曾经遇到过…...

编程新知 2026/5/12 22:46:41

终极指南：如何一键下载国家智慧教育平台电子课本PDF

终极指南：如何一键下载国家智慧教育平台电子课本PDF 【免费下载链接】tchMaterial-parser 国家中小学智慧教育平台 电子课本下载工具，帮助您从智慧教育平台中获取电子课本的 PDF 文件网址并进行下载，让您更方便地获取课本内容。 项目地址: …...

编程新知 2026/5/12 21:01:37

AI时代算力、模型与安全的三角博弈：从Nvidia生态到工程实践

1. 项目概述：当算力、智能与安全交织的时代最近和几个在芯片设计、大模型应用以及安全服务公司工作的朋友聊天，大家不约而同地都聊到了一个话题：我们正处在一个由Nvidia芯片驱动的AI浪潮之巅，但这场盛宴似乎并非没有天花板。一方面…...

编程新知 2026/5/12 19:43:11

Active Record Doctor与多数据库支持：MySQL、PostgreSQL、SQLite兼容性详解

Active Record Doctor与多数据库支持：MySQL、PostgreSQL、SQLite兼容性详解 【免费下载链接】active_record_doctor Identify database issues before they hit production. 项目地址: https://gitcode.com/gh_mirrors/ac/active_record_doctor Active Recor…...

编程新知 2026/5/12 18:20:10

Mem Reduct：让电脑告别卡顿的必备内存清理神器

Mem Reduct：让电脑告别卡顿的必备内存清理神器 【免费下载链接】memreduct Lightweight real-time memory management application to monitor and clean system memory on your computer. 项目地址: https://gitcode.com/gh_mirrors/me/memreduct 你的电脑是…...

编程新知 2026/5/12 17:32:53

观察Taotoken Token Plan套餐在长期项目中的成本控制效果

🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度 观察Taotoken Token Plan套餐在长期项目中的成本控制效果 对于需要长期、稳定调用大模型API的项目而言，成本的可预测性…...

编程新知 2026/5/12 17:18:59