当前位置: 首页 > news >正文

Spark将execl表格文件导入到mysql中

实现代码

excel所需的pom依赖 

案例实现 


实现代码

package excel_mysqlimport org.apache.spark.sql.SparkSession
import java.util.Propertiesobject t1 {def main(args: Array[String]): Unit = {val spark = SparkSession.builder().appName("ExcelToMySQL") //项目名.master("local[*]").getOrCreate()// 读取Excel表val df = spark.read.format("com.crealytics.spark.excel") //需要的包.option("header", "true").load("file:///D:\\sparks\\src\\main\\datas\\d.xlsx") //本地excel文件路径// 创建MySQL连接配置val jdbcHostname = "192.168.10.137" //连接主机ipval jdbcPort = 3306 //端口val jdbcDatabase = "test" //数据库名val jdbcUsername = "root" //用户名val jdbcPassword = "123456" //mysql密码val jdbcUrl = s"jdbc:mysql://${jdbcHostname}:${jdbcPort}/${jdbcDatabase}"val connectionProperties = new Properties()connectionProperties.put("user", s"${jdbcUsername}")connectionProperties.put("password", s"${jdbcPassword}")// 将DataFrame写入MySQL表中df.write.mode("overwrite").jdbc(jdbcUrl, "user_info", connectionProperties) //导入目标的mysql数据库下的表名spark.stop()}
}

excel所需的pom依赖 

        <dependency><groupId>com.crealytics</groupId><artifactId>spark-excel_2.12</artifactId><version>0.13.7</version></dependency>

案例实现 

        准备的excel表: 

        放在路径下面: 

 

 执行代码:

 在mysql中查看:

 

相关文章:

Spark将execl表格文件导入到mysql中

实现代码 excel所需的pom依赖 案例实现 实现代码 package excel_mysqlimport org.apache.spark.sql.SparkSession import java.util.Propertiesobject t1 {def main(args: Array[String]): Unit {val spark SparkSession.builder().appName("ExcelToMySQL") /…...

Vue3-Eslint配置代码风格

prettier风格配置 官网&#xff1a;https://prettier.io Eslint&#xff1a;代码纠错&#xff0c;关注于规范 prettier&#xff1a;专注于代码格式化的插件&#xff0c;让代码更加美观 两者各有所长&#xff0c;配合使用优化代码 生效前提&#xff1a; 1&#xff09;禁用…...

“Install Js dependencies failed“JS SDK安装失败【Bug已解决-鸿蒙开发】

文章目录 项目场景:问题描述原因分析:解决方案:解决措施1解决方案2:其他解决方案解决方案3:此Bug解决方案总结项目场景: 在下载JS SDK时,出现下载失败的情况,并显示“Install Js dependencies failed”。 在使用版本为DevEco Studio 3.0.0.601 Beta1进行低代码开发时…...

接口测试入门8问(含答案+文档)

Q1&#xff1a;什么是接口测试&#xff0c;基础知识什么的讲讲吧&#xff01; A&#xff1a;你好&#xff0c;接口可以分下面几种 1、系统与系统之间的调用&#xff0c;比如银行会提供接口供电子商务网站调用&#xff0c;或者说&#xff0c;支付宝会提供接口给淘宝调用 2、上…...

【Spring之事务底层源码解析,持续更新中~~~】

文章目录 一、EnableTransactionManagement工作原理二、Spring事务基本执行原理三、Spring事务传播机制与分类四、Spring事务强制回滚五、TransactionSynchronization六、Spring事务详细执行流程 一、EnableTransactionManagement工作原理 二、Spring事务基本执行原理 三、Sp…...

吃火锅(Python)

题目描述 吃火锅 以上图片来自微信朋友圈&#xff1a;这种天气你有什么破事打电话给我基本没用。但是如果你说“吃火锅”&#xff0c;那就厉害了&#xff0c;我们的故事就开始了。 本题要求你实现一个程序&#xff0c;自动检查你朋友给你发来的信息里有没有 chi1 huo3 guo1。…...

深圳市东星制冷机电受邀莅临2024国际生物发酵展,济南与您相约

深圳市东星制冷机电有限公司受邀莅临2024国际生物发酵展&#xff0c;济南3月5-7日与您相约&#xff01; 展位号&#xff1a;1号馆A53 深圳市东星制冷机电有限公司&#xff0c;&#xff08;东星集团&#xff09;是一家专业生产制冷设备的外商独资大型集团企业,拥有30多年的生产…...

内网渗透(哈希传递)

概念 早期SMB协议明文在网络上传输数据&#xff0c;后来诞生了LM验证机制&#xff0c;LM机制由于过于简单&#xff0c;微软提出了WindowsNT挑战/响应机制&#xff0c;这就是NTLM。 哈希传递前提 同密码(攻击主机与实现主机两台要密码一致)。 NTLM协议 加密ntlm哈希 转换成…...

如何在langchain中对大模型的输出进行格式化

简介 我们知道在大语言模型中, 不管模型的能力有多强大&#xff0c;他的输入和输出基本上都是文本格式的&#xff0c;文本格式的输入输出虽然对人来说非常的友好&#xff0c;但是如果我们想要进行一些结构化处理的话还是会有一点点的不方便。 不用担心&#xff0c;langchain已…...

【送书活动二期】Java和MySQL数据库中关于小数的保存问题

之前总结过一篇文章mysql数据库&#xff1a;decimal类型与decimal长度用法详解&#xff0c;主要是个人学习期间遇到的mysql中关于decimal字段的详解&#xff0c;最近在群里遇到一个小伙伴提出的问题&#xff0c;也有部分涉及&#xff0c;今天就再大致总结一下Java和MySQL数据库…...

11月21日,每日信息差

今天是2023年11月21日&#xff0c;以下是为您准备的16条信息差 第一、国内首条PPP模式市域铁路台州S1线客运量破900万人次。PPP&#xff08;Public-Private Partnership&#xff09;是公共基础设施的一种项目运作模式&#xff0c;指社会资本与政府合作&#xff0c;参与公共基础…...

极速整理文件!Python自动化办公新利器

更多资料获取 &#x1f4da; 个人网站&#xff1a;ipengtao.com 当涉及到自动化办公和文件整理&#xff0c;Python确实是一个强大的工具。在这篇博客文章中&#xff0c;我将深入探讨《极速整理文件&#xff01;Python自动化办公新利器》这个话题&#xff0c;并提供更加丰富和全…...

电机控制学习

电机开发板...

leetcode 1670

leetcode 1670 解题思路 使用2个deque作为类的成员变量 code class FrontMiddleBackQueue { public:deque<int> left;deque<int> right;FrontMiddleBackQueue() {}void pushFront(int val) {left.push_front(val);if(left.size() right.size()2){right.push_fr…...

Nginx热部署

快捷查看指令 ctrlf 进行搜索会直接定位到需要的知识点和命令讲解&#xff08;如有不正确的地方欢迎各位小伙伴在评论区提意见&#xff0c;小编会及时修改&#xff09; Nginx热部署 首先来讲一下为什么要进行热部署 nginx 支持热加载 热部署 &#xff0c;在不打断用户请求的情…...

京东数据运营-京东数据平台-京东店铺数据分析-2023年10月京东烘干机品牌销售榜

鲸参谋监测的京东平台10月份烘干机市场销售数据已出炉&#xff01; 10月份&#xff0c;烘干机市场整体销售上涨。鲸参谋数据显示&#xff0c;今年10月份&#xff0c;京东平台上烘干机的销量将近5万件&#xff0c;环比增长约77%&#xff0c;同比增长约22%&#xff1b;销售额将近…...

java中的方法引用和Stream流

知识模块&#xff1a; 一.方法引用a.方法概述b.方法引用格式 二.Stream流1.Stream流概述2.Stream流操作步骤一.方法引用a.方法概述/*方法引用概述&#xff1a;当我们使用已有类中的方法作为Lambda表达式对应的接口中的抽象方法实现我们可以用方法引用来简化Lambda表达式*/impor…...

《第一行代码:Android》第三版-3.4.4体验Activity的生命周期

本文的代码是在主Activity中&#xff0c;重载了几个生命周期函数&#xff0c;在日志中打印出对应的日志信息&#xff0c;有两个按钮&#xff0c;负责启动另外的Activity&#xff0c;并回到主Activity 由此查看日志&#xff0c;来体会生命周期。 MainActivity.kt 文件如下 pac…...

用java编写一个网络聊天室

网络聊天室 服务器&#xff1a; 1.启动服务器&#xff0c;在服务器端循环监听客户端的连接 try {ServerSocket serverSocketnew ServerSocket(6622);System.out.println("服务器已启动");while(true){//把客户端实例添加到sockets里Socket socketserverSocket.acc…...

Opencv颜色追踪

废话不多说直接上代码&#xff01;&#xff01; # 这是一个示例 Python 脚本。 import cv2 import numpy as npdef track_object():# 打开摄像头外接cap cv2.VideoCapture(0)while True:# 读取摄像头帧# ret&#xff08;Return Value&#xff09;是一个布尔值&#xff0c;表示…...

为什么又来学习C语言?

我是一名来自民办二本院校的大三学生&#xff0c;早在大一上时学校就安排了C语言的课程&#xff0c;但是当时我很是浮躁&#xff0c;心不在学习&#xff0c;甚至想着回去复读&#xff0c;所以并没有吸纳多少C语言的知识。现在大三&#xff0c;有了考研想法&#xff0c;想重拾C语…...

如何优化Mars项目中的IndexedDB索引设计:提升移动端Web查询性能的完整指南

如何优化Mars项目中的IndexedDB索引设计&#xff1a;提升移动端Web查询性能的完整指南 【免费下载链接】Mars 腾讯移动 Web 前端知识库 项目地址: https://gitcode.com/gh_mirrors/mar/Mars Mars作为腾讯移动Web前端知识库&#xff0c;提供了丰富的移动端Web开发解决方案…...

高效系统维护:解决Windows性能问题的Dism++全面指南

高效系统维护&#xff1a;解决Windows性能问题的Dism全面指南 【免费下载链接】Dism-Multi-language Dism Multi-language Support & BUG Report 项目地址: https://gitcode.com/gh_mirrors/di/Dism-Multi-language Dism是一款功能强大的Windows系统维护工具&#x…...

PouchContainer安全最佳实践:从镜像安全到运行时保护的终极指南

PouchContainer安全最佳实践&#xff1a;从镜像安全到运行时保护的终极指南 【免费下载链接】pouch An Efficient Enterprise-class Container Engine 项目地址: https://gitcode.com/gh_mirrors/po/pouch PouchContainer作为企业级容器引擎&#xff0c;为生产环境提供了…...

IA-Lab AI 检测报告生成助手:双碳目标驱动下的检测机构效率引擎,重塑报告生成与合规审核新模式

在“双碳”目标持续推进的时代背景下&#xff0c;绿色发展已从政策导向转变为企业与机构必须面对的现实命题。对于检测认证&#xff08;TIC&#xff09;行业而言&#xff0c;这一变化尤为明显——碳排放核算、能源效率评估、环境数据监测等业务需求快速增长&#xff0c;检测报告…...

当Texstudio遇见AI:构想一个基于快马平台的智能LaTeX代码助手插件

作为一个长期使用LaTeX撰写学术论文的用户&#xff0c;我经常在Texstudio和各类在线工具之间来回切换。最近尝试了InsCode(快马)平台的AI辅助功能后&#xff0c;突然萌生了一个想法&#xff1a;如果能将AI代码生成能力直接集成到Texstudio里&#xff0c;该有多方便&#xff1f;…...

CAPL不只是写脚本:揭秘它在整车V流程中的五大实战角色(仿真/测试/诊断)

CAPL不只是写脚本&#xff1a;揭秘它在整车V流程中的五大实战角色&#xff08;仿真/测试/诊断&#xff09; 当汽车电子工程师第一次接触CAPL时&#xff0c;往往会被它的"脚本语言"标签所局限。实际上&#xff0c;在整车开发的V流程中&#xff0c;CAPL更像是一把瑞士军…...

WarcraftHelper:魔兽争霸III现代优化解决方案全玩家实战指南

WarcraftHelper&#xff1a;魔兽争霸III现代优化解决方案全玩家实战指南 【免费下载链接】WarcraftHelper Warcraft III Helper , support 1.20e, 1.24e, 1.26a, 1.27a, 1.27b 项目地址: https://gitcode.com/gh_mirrors/wa/WarcraftHelper WarcraftHelper是一款专为魔兽…...

BIOS 里 UEFI 呈灰色改不了?一招调整硬盘模式,轻松解锁引导设置

装系统或调试电脑时&#xff0c;不少人会遇到 BIOS 中 UEFI 引导模式呈灰色、无法切换为传统 Legacy 模式的问题&#xff0c;即便关闭了安全启动、恢复 OS 默认值&#xff0c;依旧无法修改&#xff0c;导致没法按需求选择引导方式&#xff0c;装系统、调试硬件的操作直接卡壳。…...

我花 3 天摸透了 Claude Code 的全部配置文件,这篇指南帮你少走弯路

我花 3 天摸透了 Claude Code 的全部配置文件&#xff0c;这篇指南帮你少走弯路"Claude Code 挺聪明&#xff0c;但就是不够懂我。"这句话我听了不下十遍。每次都要重复说"用中文回复"、"先读我的记忆文件"、"提交代码要写清楚原因"—…...