大数据课程K22——Spark的SparkSQL的API调用
文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州
▲ 本章节目的
⚪ 掌握Spark的通过api使用SparkSQL；
一、通过api使用SparkSQL
1. 实现步骤
1. 打开scala IDE开发环境，创建一个scala工程。
2. 导入spark相关依赖jar包。
3. 创建包路径以object类。
4. 写代码。
5）打jar包，并上传到linux虚拟机上
6）在spark的bin目录下
执行：sh spark-submit --class cn.tedu.sparksql.Demo01 ./sqlDemo01.jar
7）最后检验
2. 代码示例
package cn.tedu.sparksql
相关文章：
大数据课程K22——Spark的SparkSQL的API调用
文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州 ▲ 本章节目的 ⚪ 掌握Spark的通过api使用SparkSQL； 一、通过api使用SparkSQL 1. 实现步骤 1. 打开scala IDE开发环境，创建一个scala工程。 2. 导入spark相关依赖jar包。 3. 创建包路径以object类。 4.…...
数据结构学习系列之顺序表的两种删除方式
方式1：在顺序表的末端删除所存储的数据元素，代码如下：示例代码： int delete_seq_list_1(list_t *seq_list){if(NULL seq_list){printf("入参为NULL\n");return -1;}if(0 seq_list->count){printf("顺序表为空…...
机器学习笔记之最优化理论与方法(七)无约束优化问题——常用求解方法(上)
机器学习笔记之最优化理论与方法——基于无约束优化问题的常用求解方法[上] 引言总体介绍回顾：线搜索下降算法收敛速度的衡量方式线性收敛范围高阶收敛范围 二次终止性朴素算法：坐标轴交替下降法最速下降法(梯度下降法)梯度下降法的特点 针对最速下降法缺…...
ES-索引管理
前言 数据类型 搜索引擎是对数据的检索，所以我们先从生活中的数据说起。我们生活中的数据总体分为两种： 结构化数据非结构化数据 结构化数据： 也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数…...
linux中常用shell脚本整理
linux常见shell脚本整理 备份日志 #!/bin/bash # 每日创建新的备份日志-根据日期备份 tar -czf log-date %Y%m%d.tar.gz /var/log # 通过crontab 每日定时启动 00 03 * * 5 /root/logbak.sh 监控内存和磁盘容量，小于给定值时报警 #!/bin/bash # 实…...
介绍PHP
PHP是一种流行的服务器端编程语言，用于开发Web应用程序。它是一种开源的编程语言，具有易学易用的语法和强大的功能。PHP支持在服务器上运行的动态网页和Web应用程序的快速开发。 PHP可以与HTML标记语言结合使用，从而能够生成动态的Web页面&a…...
selenium+find_elements用法
1、假如我们遇到多个标签的class一样，比如像下面这样的 我们可以采用js语法去定位，比如： document.getElementsByClassName("ant-calendar-picker-input ant-input")[0]...
1DM+下载器_11.2.1魔改增强版下载
1DM「原：IDM」下载器是一款安卓端的下载工具，多语言解锁版直安装版本，号称是目前 Android 平台最快、最先进的下载管理器应用「支持通过Torrent下载」，而这个版本是改线程的最新idm版本，可用来下载视频、音乐、电影、T…...
vue3：3、项目目录和关键文件
关于vsvode的更改 <!-- 加上setup允许在script中直接编写组合式api --> <script setup> // 组件引入后直接用 import HelloWorld from ./components/HelloWorld.vue import TheWelcome from ./components/TheWelcome.vue</script><!-- 1、js放在最上面&am…...
ChatGPT实战与私有化大模型落地
文章目录 大模型现状baseline底座选择数据构造迁移方法评价思考 领域大模型训练技巧Tokenizer分布式深度学习数据并行管道并行向量并行分布式框架——Megatron-LM分布式深度学习框架——Colossal-AI分布式深度学习框架——DeepSpeedP-tuning 微调 资源消耗模型推理加速模型推理…...
10分钟从实现和使用场景聊聊并发包下的阻塞队列
上篇文章12分钟从Executor自顶向下彻底搞懂线程池中我们聊到线程池，而线程池中包含阻塞队列 这篇文章我们主要聊聊并发包下的阻塞队列 阻塞队列 什么是队列？ 队列的实现可以是数组、也可以是链表，可以实现先进先出的顺序队列，…...
Python入门学习13（面向对象）
一、类的定义和使用 类的使用语法： 创建类对象的语法： class Student:name None #学生的名字age None #学生的年龄def say_hi(self):print(f"Hi大家好，我是{self.name}")stu Student() stu.name &q…...
哈工大计算机网络课程网络安全基本原理之：身份认证
哈工大计算机网络课程网络安全基本原理之：身份认证 在日常生活中，在很多场景下我们都需要对当前身份做认证，比如使用密码、人脸识别、指纹识别等，这些都是身份认证的常用方式。本节介绍的身份认证，是在计算机网络安全…...
海外代购系统/代购网站怎么搭建
搭建海外代购系统/代购网站的详细步骤涉及到的内容非常多，本文将分为以下几个部分进行详细介绍：前端开发、后端管理系统的开发、数据库设计和代购流程的设计与实现。 一、前端开发 前端开发是整个代购网站的门面，它直接面向用户，…...
go-micro
go-micro Go Micro简介go-micro体系结构gin-go-micro使用consul实现服务注册与发现实现服务发现批量启动多个服务测试服务发现服务调用在微服务中使用ProtocolBuffergo-micro配置文件...
安装GPU驱动,CUDA Toolkit和配置与CUDA对应的Pytorch
如果有帮助,记得回来点个赞 目录 1.安装指定GPU驱动如果安装的GPU CUDA Version和CUDA Toolkit版本已经冲突怎么办? 2.安装指定版本的CUDA Toolkit如果我安装了CUDA Toolkit之后nvcc -V仍然显示旧的CUDA Toolkit版本怎么办? 3.安装与CUDA对应的Pytorch 1.安装指定GPU驱动 &…...
JavaScript单例模式
JavaScript单例模式 1 什么是单例模式2 实现一个基础的单例模式3 透明的单例模式4 用代理实现单例模式5 JavaScript 中的单例模式6 惰性单例 1 什么是单例模式 保证一个类只有一个实例，并提供一个访问它的全局访问点，这就是单例模式。 单例模式是一种常…...
centos下安装jenkins.war
https://get.jenkins.io/war-stable/ 下载jenkins.war包,(2.164.1 版本支持1.8，其他的都是jdk11),可以安装完成后更新jenkins.war的安装包启动jenkins命令 java -jar jenkins.war --httpPort8010访问http://IP:8010/jenkins （密码在/root/.jenkins/secre…...
App线上网络问题优化策略
在我们App开发过程中，网络是必不可少的，几乎很难想到有哪些app是不需要网络传输的，所以网络问题一般都是线下难以复现，一旦到了用户手里就会碰到很多疑难杂症，所以对于网络的监控是必不可少的，针对用户常见…...
PDF 工具箱
PDF 工具箱 V9.0.0.1 程序：VB.net 运行库：NET Framework 4.5 功能简介： 1、PDF文件多文件合并，可调整顺序。 2、PDF文件拆分，将每页拆分成独立的PDF文件。 3、PDF文件添加水印，文字或图片水印&…...
智慧工地云平台源码，基于微服务架构+Java+Spring Cloud +UniApp +MySql
智慧工地管理云平台系统，智慧工地全套源码，java版智慧工地源码，支持PC端、大屏端、移动端。 智慧工地聚焦建筑行业的市场需求，提供“平台网络终端”的整体解决方案，提供劳务管理、视频管理、智能监测、绿色施工、安全管…...
ESP32 I2S音频总线学习笔记（四）： INMP441采集音频并实时播放
简介 前面两期文章我们介绍了I2S的读取和写入，一个是通过INMP441麦克风模块采集音频，一个是通过PCM5102A模块播放音频，那如果我们将两者结合起来，将麦克风采集到的音频通过PCM5102A播放，是不是就可以做一个扩音器了呢…...
微服务商城-商品微服务
数据表 CREATE TABLE product (id bigint(20) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 商品id,cateid smallint(6) UNSIGNED NOT NULL DEFAULT 0 COMMENT 类别Id,name varchar(100) NOT NULL DEFAULT COMMENT 商品名称,subtitle varchar(200) NOT NULL DEFAULT COMMENT 商…...
UR 协作机器人「三剑客」：精密轻量担当（UR7e）、全能协作主力（UR12e）、重型任务专家（UR15）
UR协作机器人正以其卓越性能在现代制造业自动化中扮演重要角色。UR7e、UR12e和UR15通过创新技术和精准设计满足了不同行业的多样化需求。其中，UR15以其速度、精度及人工智能准备能力成为自动化领域的重要突破。UR7e和UR12e则在负载规格和市场定位上不断优化…...
3-11单元格区域边界定位(End属性)学习笔记
返回一个Range 对象，只读。该对象代表包含源区域的区域上端下端左端右端的最后一个单元格。等同于按键 End 向上键(End(xlUp))、End向下键(End(xlDown))、End向左键(End(xlToLeft)End向右键(End(xlToRight)) 注意：它移动的位置必须是相连的有内容的单元格…...
Mac下Android Studio扫描根目录卡死问题记录
环境信息 操作系统: macOS 15.5 (Apple M2芯片)Android Studio版本: Meerkat Feature Drop | 2024.3.2 Patch 1 (Build #AI-243.26053.27.2432.13536105, 2025年5月22日构建) 问题现象 在项目开发过程中，提示一个依赖外部头文件的cpp源文件需要同步，点…...
Xen Server服务器释放磁盘空间
disk.sh #!/bin/bashcd /run/sr-mount/e54f0646-ae11-0457-b64f-eba4673b824c # 全部虚拟机物理磁盘文件存储 a$(ls -l | awk {print $NF} | cut -d. -f1) # 使用中的虚拟机物理磁盘文件 b$(xe vm-disk-list --multiple | grep uuid | awk {print $NF})printf "%s\n"…...
中医有效性探讨
文章目录 西医是如何发展到以生物化学为药理基础的现代医学？传统医学奠基期（远古 - 17 世纪）近代医学转型期（17 世纪 - 19 世纪末）现代医学成熟期（20世纪至今） 中医的源远流长和一脉相承远古至…...
在QWebEngineView上实现鼠标、触摸等事件捕获的解决方案
这个问题我看其他博主也写了，要么要会员、要么写的乱七八糟。这里我整理一下，把问题说清楚并且给出代码，拿去用就行，照着葫芦画瓢。 问题 在继承QWebEngineView后，重写mousePressEvent或event函数无法捕获鼠标按下事…...
推荐 github 项目:GeminiImageApp(图片生成方向，可以做一定的素材)
推荐 github 项目:GeminiImageApp(图片生成方向，可以做一定的素材) 这个项目能干嘛? 使用 gemini 2.0 的 api 和 google 其他的 api 来做衍生处理 简化和优化了文生图和图生图的行为(我的最主要) 并且有一些目标检测和切割(我用不到) 视频和 imagefx 因为没 a…...