当前位置： 首页 > news >正文

spark sql执行引擎原理及配置

news 2025/10/14 10:28:00

如果我们想要给上层开发人员配置好一个统一的sql开发界面，让他们统一通过sql开发即可，可通过spark中的thriftserver服务实现，与hive中的thriftserver类似，配置好该服务后，上层通过db client或者代码中通过jdbc连接即可直接使用sql操作，
在这里插入图片描述
该服务会去请求metastore服务得到元数据后，再将sql语句及元数据给到执行引擎，转换成rdd代码执行。
一个配置案例如下:
1.确保已经配置好了Spark On Hive
2.启动ThriftServerl即可

#直接在root账户下启动即可
$SPARK HOME/sbin/start-thriftserver.sh
–hiveconf hive.server2.thrift.port=10000
–hiveconf hive.server2.thrift.bind.host=nodel
–master local[2]
#master选择local,每一条sql都是local进程执行
#master选择yarn,每一条sql都是在YARN集群中执行

相关文章：

spark sql执行引擎原理及配置

如果我们想要给上层开发人员配置好一个统一的sql开发界面，让他们统一通过sql开发即可，可通过spark中的thriftserver服务实现，与hive中的thriftserver类似，配置好该服务后，上层通过db client或者代码中通过jdbc连接即可…...

编程日记 2024/4/2 5:21:40

【C语言基础】：自定义类型(二) --＞联合和枚举

文章目录 一、联合体1.1 联合体类型的声明1.2 联合体的特点1.3 相同成员的结构体和联合体对比1.4 联合体大小的计算1.5 联合体练习 二、枚举类型2.1 枚举类型的声明2.2 枚举的优点 书山有路勤为径，学海无涯苦作舟。 创作不易，宝子们！如果这篇…...

编程日记 2024/4/2 5:20:39

【授时防火墙】GPS北斗卫星授时信号安全防护装置系统

【授时防火墙】GPS北斗卫星授时信号安全防护装置系统 【授时防火墙】GPS北斗卫星授时信号安全防护装置系统 1、装置概述 卫星信号安全防护装置（以下简称“防护装置”）是一款专门针对卫星导航授时安全的设备。该设备能接收 BD 系统和 GPS 系统卫星信号&am…...

编程日记 2024/4/2 5:19:38

关于 MySQL 优化（详解）

文章目录 关于 MySQL 优化一、硬件方面的优化1、关于 CPU2、关于内存3、关于磁盘 二、MySQL 配置文件1、 default-time-zone8:002、interactive_timeout 1203、wait_timeout 1204、open_files_limit 102405、group_concat_max_len 1024006、usermysql7、character-set-serv…...

编程日记 2024/4/2 5:18:38

Hive详解（5）

Hive 窗口函数 案例 需求：连续三天登陆的用户数据 步骤： -- 建表 create table logins (username string,log_date string ) row format delimited fields terminated by ; -- 加载数据 load data local inpath /opt/hive_data/login into table log…...

编程日记 2024/4/2 5:17:36

阿里云效codeup如何执行github flow工作流

在阿里云效中执行 GitHub 工作流，实质上是在使用 Git 进行版本控制的过程中遵循 GitHub Flow 的原则。GitHub Flow 是一种简洁高效的工作流程，特别适用于追求快速迭代的团队。下面是在阿里云效中执行 GitHub 工作流的基本步骤： 1. 准备工作 …...

编程日记 2024/4/2 5:16:35

node.js的模块化 与 CommonJS规范

一、node.js的模块化 (1)什么是模块化？ 将一个复杂的程序文件依据一定的规则拆分成为多个文件的过程就是模块化 在node.js中，模块化是指把一个大文件拆分成独立并且相互依赖的多个小模块，将每个js文件被认为单独的一个模块；模块…...

编程日记 2024/4/2 5:15:34

RK3588平台开发系列讲解（PWM开发篇）

目录 前⾔ 驱动文件 DTS 节点配置 PWM 流程 PWM 使⽤ 常⻅问题 PWM 在 U-Boot 与 kernel 之间的衔接问题 PWM Regulator 时 PWM pin 脚上下拉配置问题 前⾔ 脉宽调制（ PWM ， Pulse Width Modulation ）功能在嵌⼊式系统中是⾮常常⻅的…...

编程日记 2024/4/2 5:11:30

宝塔面板操作一个服务器域名部署多个网站

此处记录IP一样，端口不一样的操作方式： 宝塔面板操作： 1、创建第一个网站： 网站名用IP地址，默认80端口。 创建好后，直接IP访问就可以了。看到自带的默认首页 2、接下来部署第二个网站： 仍然是…...

编程日记 2024/4/2 5:05:25

surfer绘制等值线图

surfer介绍 Surfer软件，是美国Golden Software公司编制的一款以画三维图的软件。该软件具有强大的插值功能和绘制图件能力，可用来处理XYZ数据，是地质工作者常用的专业成图软件（来源于百度百科）。 surfer可以用来绘制…...

编程日记 2024/4/2 5:02:22

免费开源的 AI 绘图工具 ImgPilot

免费开源的 AI 绘图工具 ImgPilot 分类 开源分享 项目名: ImgPilot -- 通过提示词及涂鸦生成图片 Github 开源地址： GitHub - leptonai/imgpilot: Turn the draft into amazing artwork with the power of Real-Time Latent Consistency Model 在线地址&#xff…...

编程日记 2024/4/2 5:00:19

Java系统架构设计：构建稳定高效的软件基石

在当今数字化时代，软件系统的稳定性、可扩展性和性能至关重要。Java作为一种广泛应用的编程语言，其系统架构设计对于软件的成功实施具有决定性的影响。本文将探讨Java系统架构设计的重要性以及设计过程中的关键要素。 首先，Java系统架构设计…...

编程日记 2024/4/2 4:59:18

【IntermLM2】学习笔记

微调方式 在大模型的下游应用中，可以有两种微调方式 增量续训 即无监督的方式，让模型学习一些新知识，比如某些垂直领域的新知识 使用的数据有：书籍，文章，代码等有监督微调 为了让模型学会理解指令进行对话…...

编程日记 2024/4/2 4:58:17

【二叉树】Leetcode 230. 二叉搜索树中第K小的元素【中等】

二叉搜索树中第K小的元素 给定一个二叉搜索树的根节点 root ，和一个整数 k ，请你设计一个算法查找其中第 k 个最小元素（从 1 开始计数）。 示例1： 输入：root [3,1,4,null,2], k 1 输出：1 解…...

编程日记 2024/4/2 4:57:16

JS中常用的几种事件

在js中分为多种事件，比如点击事件，焦点事件，加载事件，鼠标事件等等... ... 点击事件 onclick点击事件，ondblclick双击事件 焦点事件 onblur元素失去焦点，onfocus元素获取焦点 加载事件 onload一个页面…...

编程日记 2024/4/2 4:55:14

Android WebView的使用与后退键处理

目录 前言首先，我们需要在布局文件中添加webView组件在Activity中获取webView实例，并加载网页内容 前言 webView是Android中常用的组件之一，用于展示网页内容。它可以加载HTML文件、URL链接等网页内容，并提供交互功能。在使用webV…...

编程日记 2024/4/2 4:52:12

【备忘录】Docker 2375远程端口安全漏洞解决

最近为了项目需要，把docker 的远程端口2375 给开放了。不出意外出意外了。没多久，网站报流量告警，第一反应就是开放2375这个端口问题导致，毫不迟疑直接切换服务器。关闭该台服务器的docker服务，并逐步清理掉挖矿进程&a…...

编程日记 2024/4/2 4:51:11

343. 整数拆分（力扣LeetCode）

文章目录 343. 整数拆分题目描述动态规划 343. 整数拆分 题目描述 给定一个正整数 n ，将其拆分为 k 个 正整数 的和（ k > 2 ），并使这些整数的乘积最大化。 返回 你可以获得的最大乘积 。 示例 1: 输入: n 2 输出: 1 解释:…...

编程日记 2024/4/2 4:49:09

Spring面试题系列-3

Spring框架是由于软件开发的复杂性而创建的。Spring使用的是基本的JavaBean来完成以前只可能由EJB完成的事情。然而，Spring的用途不仅仅限于服务器端的开发。从简单性、可测试性和松耦合性角度而言，绝大部分Java应用都可以从Spring中受益。 Spring的属性…...

编程日记 2024/4/2 4:44:04

【比特币】比特币的奥秘、禁令的深层逻辑与风云变幻

导语： 比特币(Bitcoin)，这个充满神秘色彩的数字货币，自诞生以来便成为各界瞩目的焦点。它背后所蕴含的Mining机制、禁令背后的深层逻辑以及市场的风云变幻，都让人欲罢不能。今天，我们将深入挖掘比特币的每一个角落&…...

编程日记 2024/4/2 4:39:58

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造，完美适配AGV和无人叉车。同时，集成以太网与语音合成技术，为各类高级系统（如MES、调度系统、库位管理、立库等）提供高效便捷的语音交互体验。 L…...

编程新知 2025/10/13 16:33:57

eNSP-Cloud(实现本地电脑与eNSP内设备之间通信)

说明： 想象一下，你正在用eNSP搭建一个虚拟的网络世界，里面有虚拟的路由器、交换机、电脑（PC）等等。这些设备都在你的电脑里面“运行”，它们之间可以互相通信，就像一个封闭的小王国。 但是&#…...

编程新知 2025/10/9 22:38:57

大数据学习栈记——Neo4j的安装与使用

本文介绍图数据库Neofj的安装与使用，操作系统：Ubuntu24.04，Neofj版本：2025.04.0。 Apt安装 Neofj可以进行官网安装：Neo4j Deployment Center - Graph Database & Analytics 我这里安装是添加软件源的方法 最新版…...

编程新知 2025/10/10 5:58:57

【kafka】Golang实现分布式Masscan任务调度系统

要求： 输出两个程序，一个命令行程序（命令行参数用flag）和一个服务端程序。 命令行程序支持通过命令行参数配置下发IP或IP段、端口、扫描带宽，然后将消息推送到kafka里面。 服务端程序： 从kafka消费者接收…...

编程新知 2025/10/12 5:26:58

label-studio的使用教程(导入本地路径)

文章目录 1. 准备环境2. 脚本启动2.1 Windows2.2 Linux 3. 安装label-studio机器学习后端3.1 pip安装(推荐)3.2 GitHub仓库安装 4. 后端配置4.1 yolo环境4.2 引入后端模型4.3 修改脚本4.4 启动后端 5. 标注工程5.1 创建工程5.2 配置图片路径5.3 配置工程类型标签5.4 配置模型5.…...

编程新知 2025/10/4 16:57:39

解决Ubuntu22.04 VMware失败的问题 ubuntu入门之二十八

现象1 打开VMware失败 Ubuntu升级之后打开VMware上报需要安装vmmon和vmnet，点击确认后如下提示 最终上报fail 解决方法 内核升级导致，需要在新内核下重新下载编译安装 查看版本 $ vmware -v VMware Workstation 17.5.1 build-23298084$ lsb_release…...

编程新知 2025/10/8 6:11:40

鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个生活电费的缴纳和查询小程序

一、项目初始化与配置 1. 创建项目 ohpm init harmony/utility-payment-app 2. 配置权限 // module.json5 {"requestPermissions": [{"name": "ohos.permission.INTERNET"},{"name": "ohos.permission.GET_NETWORK_INFO"…...

编程新知 2025/9/30 12:05:28

零基础在实践中学习网络安全-皮卡丘靶场（第九期-Unsafe Fileupload模块）（yakit方式）

本期内容并不是很难，相信大家会学的很愉快，当然对于有后端基础的朋友来说，本期内容更加容易了解，当然没有基础的也别担心，本期内容会详细解释有关内容 本期用到的软件：yakit（因为经过之前好多期…...

编程新知 2025/9/28 3:35:07

基于IDIG-GAN的小样本电机轴承故障诊断

目录 🔍 核心问题 一、IDIG-GAN模型原理 1. 整体架构 2. 核心创新点 (1) ​梯度归一化（Gradient Normalization）​​ (2) ​判别器梯度间隙正则化（Discriminator Gradient Gap Regularization）​​ (3) ​自注意力机制（Self-Attention）​​ 3. 完整损失函数 二…...

编程新知 2025/9/23 0:33:44

day36-多路IO复用

一、基本概念 （服务器多客户端模型） 定义：单线程或单进程同时监测若干个文件描述符是否可以执行IO操作的能力 作用：应用程序通常需要处理来自多条事件流中的事件，比如我现在用的电脑，需要同时处理键盘鼠标…...

编程新知 2025/9/29 18:20:37