当前位置： 首页 > news >正文

spark sql执行引擎原理及配置

news 2026/1/22 17:21:40

如果我们想要给上层开发人员配置好一个统一的sql开发界面，让他们统一通过sql开发即可，可通过spark中的thriftserver服务实现，与hive中的thriftserver类似，配置好该服务后，上层通过db client或者代码中通过jdbc连接即可直接使用sql操作，
在这里插入图片描述
该服务会去请求metastore服务得到元数据后，再将sql语句及元数据给到执行引擎，转换成rdd代码执行。
一个配置案例如下:
1.确保已经配置好了Spark On Hive
2.启动ThriftServerl即可

#直接在root账户下启动即可
$SPARK HOME/sbin/start-thriftserver.sh
–hiveconf hive.server2.thrift.port=10000
–hiveconf hive.server2.thrift.bind.host=nodel
–master local[2]
#master选择local,每一条sql都是local进程执行
#master选择yarn,每一条sql都是在YARN集群中执行

相关文章：

spark sql执行引擎原理及配置

如果我们想要给上层开发人员配置好一个统一的sql开发界面，让他们统一通过sql开发即可，可通过spark中的thriftserver服务实现，与hive中的thriftserver类似，配置好该服务后，上层通过db client或者代码中通过jdbc连接即可…...

编程日记 2024/4/2 5:21:40

【C语言基础】：自定义类型(二) --＞联合和枚举

文章目录 一、联合体1.1 联合体类型的声明1.2 联合体的特点1.3 相同成员的结构体和联合体对比1.4 联合体大小的计算1.5 联合体练习 二、枚举类型2.1 枚举类型的声明2.2 枚举的优点 书山有路勤为径，学海无涯苦作舟。 创作不易，宝子们！如果这篇…...

编程日记 2024/4/2 5:20:39

【授时防火墙】GPS北斗卫星授时信号安全防护装置系统

【授时防火墙】GPS北斗卫星授时信号安全防护装置系统 【授时防火墙】GPS北斗卫星授时信号安全防护装置系统 1、装置概述 卫星信号安全防护装置（以下简称“防护装置”）是一款专门针对卫星导航授时安全的设备。该设备能接收 BD 系统和 GPS 系统卫星信号&am…...

编程日记 2024/4/2 5:19:38

关于 MySQL 优化（详解）

文章目录 关于 MySQL 优化一、硬件方面的优化1、关于 CPU2、关于内存3、关于磁盘 二、MySQL 配置文件1、 default-time-zone8:002、interactive_timeout 1203、wait_timeout 1204、open_files_limit 102405、group_concat_max_len 1024006、usermysql7、character-set-serv…...

编程日记 2024/4/2 5:18:38

Hive详解（5）

Hive 窗口函数 案例 需求：连续三天登陆的用户数据 步骤： -- 建表 create table logins (username string,log_date string ) row format delimited fields terminated by ; -- 加载数据 load data local inpath /opt/hive_data/login into table log…...

编程日记 2024/4/2 5:17:36

阿里云效codeup如何执行github flow工作流

在阿里云效中执行 GitHub 工作流，实质上是在使用 Git 进行版本控制的过程中遵循 GitHub Flow 的原则。GitHub Flow 是一种简洁高效的工作流程，特别适用于追求快速迭代的团队。下面是在阿里云效中执行 GitHub 工作流的基本步骤： 1. 准备工作 …...

编程日记 2024/4/2 5:16:35

node.js的模块化 与 CommonJS规范

一、node.js的模块化 (1)什么是模块化？ 将一个复杂的程序文件依据一定的规则拆分成为多个文件的过程就是模块化 在node.js中，模块化是指把一个大文件拆分成独立并且相互依赖的多个小模块，将每个js文件被认为单独的一个模块；模块…...

编程日记 2024/4/2 5:15:34

RK3588平台开发系列讲解（PWM开发篇）

目录 前⾔ 驱动文件 DTS 节点配置 PWM 流程 PWM 使⽤ 常⻅问题 PWM 在 U-Boot 与 kernel 之间的衔接问题 PWM Regulator 时 PWM pin 脚上下拉配置问题 前⾔ 脉宽调制（ PWM ， Pulse Width Modulation ）功能在嵌⼊式系统中是⾮常常⻅的…...

编程日记 2024/4/2 5:11:30

宝塔面板操作一个服务器域名部署多个网站

此处记录IP一样，端口不一样的操作方式： 宝塔面板操作： 1、创建第一个网站： 网站名用IP地址，默认80端口。 创建好后，直接IP访问就可以了。看到自带的默认首页 2、接下来部署第二个网站： 仍然是…...

编程日记 2024/4/2 5:05:25

surfer绘制等值线图

surfer介绍 Surfer软件，是美国Golden Software公司编制的一款以画三维图的软件。该软件具有强大的插值功能和绘制图件能力，可用来处理XYZ数据，是地质工作者常用的专业成图软件（来源于百度百科）。 surfer可以用来绘制…...

编程日记 2024/4/2 5:02:22

免费开源的 AI 绘图工具 ImgPilot

免费开源的 AI 绘图工具 ImgPilot 分类 开源分享 项目名: ImgPilot -- 通过提示词及涂鸦生成图片 Github 开源地址： GitHub - leptonai/imgpilot: Turn the draft into amazing artwork with the power of Real-Time Latent Consistency Model 在线地址&#xff…...

编程日记 2024/4/2 5:00:19

Java系统架构设计：构建稳定高效的软件基石

在当今数字化时代，软件系统的稳定性、可扩展性和性能至关重要。Java作为一种广泛应用的编程语言，其系统架构设计对于软件的成功实施具有决定性的影响。本文将探讨Java系统架构设计的重要性以及设计过程中的关键要素。 首先，Java系统架构设计…...

编程日记 2024/4/2 4:59:18

【IntermLM2】学习笔记

微调方式 在大模型的下游应用中，可以有两种微调方式 增量续训 即无监督的方式，让模型学习一些新知识，比如某些垂直领域的新知识 使用的数据有：书籍，文章，代码等有监督微调 为了让模型学会理解指令进行对话…...

编程日记 2024/4/2 4:58:17

【二叉树】Leetcode 230. 二叉搜索树中第K小的元素【中等】

二叉搜索树中第K小的元素 给定一个二叉搜索树的根节点 root ，和一个整数 k ，请你设计一个算法查找其中第 k 个最小元素（从 1 开始计数）。 示例1： 输入：root [3,1,4,null,2], k 1 输出：1 解…...

编程日记 2024/4/2 4:57:16

JS中常用的几种事件

在js中分为多种事件，比如点击事件，焦点事件，加载事件，鼠标事件等等... ... 点击事件 onclick点击事件，ondblclick双击事件 焦点事件 onblur元素失去焦点，onfocus元素获取焦点 加载事件 onload一个页面…...

编程日记 2024/4/2 4:55:14

Android WebView的使用与后退键处理

目录 前言首先，我们需要在布局文件中添加webView组件在Activity中获取webView实例，并加载网页内容 前言 webView是Android中常用的组件之一，用于展示网页内容。它可以加载HTML文件、URL链接等网页内容，并提供交互功能。在使用webV…...

编程日记 2024/4/2 4:52:12

【备忘录】Docker 2375远程端口安全漏洞解决

最近为了项目需要，把docker 的远程端口2375 给开放了。不出意外出意外了。没多久，网站报流量告警，第一反应就是开放2375这个端口问题导致，毫不迟疑直接切换服务器。关闭该台服务器的docker服务，并逐步清理掉挖矿进程&a…...

编程日记 2024/4/2 4:51:11

343. 整数拆分（力扣LeetCode）

文章目录 343. 整数拆分题目描述动态规划 343. 整数拆分 题目描述 给定一个正整数 n ，将其拆分为 k 个 正整数 的和（ k > 2 ），并使这些整数的乘积最大化。 返回 你可以获得的最大乘积 。 示例 1: 输入: n 2 输出: 1 解释:…...

编程日记 2024/4/2 4:49:09

Spring面试题系列-3

Spring框架是由于软件开发的复杂性而创建的。Spring使用的是基本的JavaBean来完成以前只可能由EJB完成的事情。然而，Spring的用途不仅仅限于服务器端的开发。从简单性、可测试性和松耦合性角度而言，绝大部分Java应用都可以从Spring中受益。 Spring的属性…...

编程日记 2024/4/2 4:44:04

【比特币】比特币的奥秘、禁令的深层逻辑与风云变幻

导语： 比特币(Bitcoin)，这个充满神秘色彩的数字货币，自诞生以来便成为各界瞩目的焦点。它背后所蕴含的Mining机制、禁令背后的深层逻辑以及市场的风云变幻，都让人欲罢不能。今天，我们将深入挖掘比特币的每一个角落&…...

编程日记 2024/4/2 4:39:58

Auto-Coder使用GPT-4o完成：在用TabPFN这个模型构建一个预测未来3天涨跌的分类任务

通过akshare库，获取股票数据，并生成TabPFN这个模型 可以识别、处理的格式，写一个完整的预处理示例，并构建一个预测未来 3 天股价涨跌的分类任务 用TabPFN这个模型构建一个预测未来 3 天股价涨跌的分类任务，进行预测并输…...

编程新知 2025/9/20 4:34:47

【论文笔记】若干矿井粉尘检测算法概述

总的来说，传统机器学习、传统机器学习与深度学习的结合、LSTM等算法所需要的数据集来源于矿井传感器测量的粉尘浓度，通过建立回归模型来预测未来矿井的粉尘浓度。传统机器学习算法性能易受数据中极端值的影响。YOLO等计算机视觉算法所需要的数据集来源于…...

编程新知 2025/10/14 10:52:24

AI书签管理工具开发全记录（十九）：嵌入资源处理

1.前言 📝 在上一篇文章中，我们完成了书签的导入导出功能。本篇文章我们研究如何处理嵌入资源，方便后续将资源打包到一个可执行文件中。 2.embed介绍 🎯 Go 1.16 引入了革命性的 embed 包，彻底改变了静态资源管理的…...

编程新知 2026/1/20 7:21:44

算法：模拟

1.替换所有的问号 1576. 替换所有的问号 - 力扣（LeetCode） ​遍历字符串​：通过外层循环逐一检查每个字符。​遇到 ? 时处理​： 内层循环遍历小写字母（a 到 z）。对每个字母检查是否满足： ​与…...

编程新知 2026/1/22 16:42:10

C/C++ 中附加包含目录、附加库目录与附加依赖项详解

在 C/C 编程的编译和链接过程中，附加包含目录、附加库目录和附加依赖项是三个至关重要的设置，它们相互配合，确保程序能够正确引用外部资源并顺利构建。虽然在学习过程中，这些概念容易让人混淆，但深入理解它们的作用和联…...

编程新知 2026/1/15 5:48:35

[免费]微信小程序问卷调查系统(SpringBoot后端+Vue管理端)【论文+源码+SQL脚本】

大家好，我是java1234_小锋老师，看到一个不错的微信小程序问卷调查系统(SpringBoot后端Vue管理端)【论文源码SQL脚本】，分享下哈。 项目视频演示 【免费】微信小程序问卷调查系统(SpringBoot后端Vue管理端) Java毕业设计_哔哩哔哩_bilibili 项…...

编程新知 2026/1/15 5:04:39

Vue ③-生命周期 || 脚手架

生命周期 思考：什么时候可以发送初始化渲染请求？（越早越好） 什么时候可以开始操作dom？（至少dom得渲染出来） Vue生命周期： 一个Vue实例从 创建 到 销毁 的整个过程。 生命周期四个…...

编程新知 2026/1/20 9:03:21

Leetcode33（ 搜索旋转排序数组）

题目表述 整数数组 nums 按升序排列&#xff0c;数组中的值 互不相同 。 在传递给函数之前&#xff0c;nums 在预先未知的某个下标 k&#xff08;0 < k < nums.length&#xff09;上进行了 旋转&#xff0c;使数组变为 [nums[k], nums[k1], …, nums[n-1], nums[0], nu…...

编程新知 2026/1/17 19:18:25

基于谷歌ADK的 智能产品推荐系统(2): 模块功能详解

在我的上一篇博客&#xff1a;基于谷歌ADK的 智能产品推荐系统(1): 功能简介-CSDN博客 中我们介绍了个性化购物 Agent 项目&#xff0c;该项目展示了一个强大的框架&#xff0c;旨在模拟和实现在线购物环境中的智能导购。它不仅仅是一个简单的聊天机器人&#xff0c;更是一个集…...

编程新知 2026/1/22 16:48:59

链结构与工作量证明7️⃣：用 Go 实现比特币的核心机制

链结构与工作量证明：用 Go 实现比特币的核心机制 如果你用 Go 写过区块、算过哈希，也大致理解了非对称加密、数据序列化这些“硬核知识”，那么恭喜你，现在我们终于可以把这些拼成一条完整的“区块链”。 不过别急，这一节我们重点搞懂两件事： 区块之间是怎么连接成“链”…...

编程新知 2025/9/19 14:21:47