Java使用hive连接kyuubi

一、Maven依赖
<dependency><groupId>org.apache.hive</groupId><artifactId>hive-jdbc</artifactId><version>2.3.9</version>
</dependency>
二、相关配置信息
驱动类:org.apache.hive.jdbc.HiveDriver连接URL:jdbc:hive2://xxx:2181,xxx:2181/;principal=hadoop/xxx@EMR-GMxxx;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=kyuubi;?spark.app.name=test-kyuubi;kyuubi.engine.share.level=USER;spark.submit.deployMode=cluster;kyuubi.session.engine.check.interval=PT5M;kyuubi.session.engine.idle.timeout=PT30M;
【注意】:
principal 配置的信息为账号鉴权信息
zooKeeperNamespace 需要指定为 kyuubi
?后的参数为kyuubi配置参数
三、 Kerberos 身份验证
1、需要准备两个文件,可以从集群kerberos配置里拷贝
krb5 /app/data/config/kerberos/krb5.conf
krb5Keytab /app/data/config/kerberos/emr.keytab2、获取账号
krb5hadoop hadoop/xxxx@EMR-QX9xxxx3、加载代码
/*** 加载hive krb 配置*/public void loadingHiveKrbConfig() {try {log.info("加载hive krb 配置");System.setProperty("java.security.krb5.conf", krb5);Configuration configuration = new Configuration();configuration.setBoolean("hadoop.security.authorization", true);configuration.set("hadoop.security.authentication", "Kerberos");UserGroupInformation.setConfiguration(configuration);if (UserGroupInformation.isLoginKeytabBased()) {log.info("UserGroupInformation.isLoginKeytabBased() is ture");UserGroupInformation.getLoginUser().reloginFromKeytab();} else {log.info("UserGroupInformation.isLoginKeytabBased() is false");UserGroupInformation.loginUserFromKeytab(krb5hadoop, krb5Keytab);}log.info("ticketCache=====>" + UserGroupInformation.isLoginTicketBased());} catch (Exception e) {log.error("加载hive krb 配置 失败:", e);e.printStackTrace();}}
四、连接代码
Connection connection = null;HiveStatement statement = null;HiveQueryResultSet resultSet = null;try {loadingHiveKrbConfig();Class.forName("org.apache.hive.jdbc.HiveDriver"));connection = DriverManager.getConnection(url);statement = (HiveStatement) connection.createStatement();resultSet = (HiveQueryResultSet) statement.executeQuery(sql);} catch (Exception e) {e.printStackTrace();} finally {try {if (null != resultSet) {resultSet.close();}if (null != statement) {statement.close();}if (null != connection) {connection.close();}} catch (final Exception e) {e.printStackTrace();}}
相关文章:
Java使用hive连接kyuubi
一、Maven依赖 <dependency><groupId>org.apache.hive</groupId><artifactId>hive-jdbc</artifactId><version>2.3.9</version> </dependency> 二、相关配置信息 驱动类:org.apache.hive.jdbc.HiveDriver连接UR…...
性能测试基础知识(三)性能指标
性能测试基础知识(三)性能指标 前言一、时间特性1、响应时间2、并发数3、吞吐量(TPS) 二、资源特性1、CPU利用率2、内存利用率3、I/O利用率4、网络带宽使用率5、网络传输速率(MB/s) 三、实例场景 前言 性能…...
【 Redis】的乱码问题
问题描述: 使用RedisTemplate存储的数据,在 redis-cli 客户端查看时,key 和 value 都会携带类似\xac\xad\这样的字符串。 原因: 由于默认使用了 jdk 的序列化方式。以下是支持的序列化方式 项目一般都会有缓存,常常…...
虚拟机安装的问题
CentOS7报错: Host SMBus Controller not enabled! 1.在上图界面中直接输入root用户的密码登录到系统 2.输入命令,lsmod | grep i2c 3.输入命令,vi /etc/modprobe.d/blacklist.conf 创建黑名单,添加以下内容: blacklist i2c_piix…...
seldom之数据驱动
seldom之数据驱动 如果自动化某个功能,测试数据不一样而操作步骤是一样的,那么就可以使用参数化来节省测试代码。 seldom是我在维护一个Web UI自动化测试框,这里跟大家分享seldom参数化的实现。 GitHub:GitHub - SeldomQA/seld…...
设计模式:生成器模式
这个模式书上讲的比较简单,但是感觉精华应该是讲到了。 引用下其它博客的总结:生成器模式的核心在于分离构建算法和具体的构造实现,从而使得构建算法可以重用。 【设计模式】建造者模式_鼠晓的博客-CSDN博客...
Gradle同步任务一直不动问题(非网络情况)
最近更新ComposeViews的Kotlin和Compose版本,升级到Kotlin1.9和Compose1.4.3时遇见一个问题,Gradle同步时始终会卡在一个位置,同步了一晚上也没用 然后又试了两次还是不行,猜测可能是Gradle的问题,于是使用命令行进行同步,并打印debug日志 ./gradlew -debug -refresh-dependen…...
STM32使用HAL库BH1750光照度传感器
开发环境 单片机:STM32F103C8T6 光照度传感器:BH1750 IDE:KEILSTM32CUBEMX 单片机配置 1、STM32CUBEMX BH1750代码 1、头文件 /* ************************************************* BH1750光照数据计算(LUX) …...
qt代码练习
计时器练习 namespace Ui { class third; }class third : public QWidget {Q_OBJECTpublic:explicit third(QWidget *parent nullptr);~third();QLabel *labth1 new QLabel(this);QTextEdit *txtth1 new QTextEdit("闹钟",this);QLineEdit *leth1 new QLineEdit(t…...
PoseiSwap:首个基于模块化设施构建的订单簿 DEX
在前不久,PoseiSwap 曾以1000万美元的估值,获得了来自于ZebecLabs基金会的150万美元的融资。此后 PoseiSwap 又以2500万美元的估值,从GateLabs、EmurgoVentures、Republic以及CipholioVentures等行业顶级投资机构中,获得了新一轮未…...
Linux NameSpace 虚拟化 资源隔离
NameSpace NameSpace介绍 在操作系统中命名空间命名空间提供的是系统资源的隔离,其中系统资源包括了:进程、网络、文件系统等等 实际上linux系统实现命名空间主要目的之一就是为了实现轻量级虚拟化服务,也就是我们说的容器,在同…...
【Android Framework系列】第9章 AMS之Hook实现登录页跳转
1 前言 前面章节我们学习了【Android Framework系列】第5章 AMS启动流程和【Android Framework系列】第6章 AMS原理之Launcher启动流程,大概了解了AMS的原理及启动流程,这一章节我们通过反射和动态代理对不同Android版本下的AMS进行Hook,实现…...
哪些行业需要连接云专线?
在诸多行业之中,有一些行业对数据安全性要求高、业务需要实时性、业务需求复杂,往往需要建立起私密、高速、安全的传输通道,云专线是他们经常采用的方案。具体来讲,都有哪些行业需要连接云专线呢?请见下方。 1、金融行…...
【Mysql】group语句删除重复数据只保留一条
【Mysql】group语句删除重复数据只保留一条 【一】案例分析 假如在数据初始化的时候,insert脚本执行了两次,导致表里的数据都是重复的(没有设置唯一键)。这个时候再加上mybatis-plus的selectOne方法,就会出现报错。因…...
Git详解和命令大全
目录 一、Git 的基本概念二、Git 的安装和使用三、Git 的版本分支管理四、Git 的命令大全1. 常用命令2. 命令大全 五、版本分支管理的最佳实践六、Git 实践七、高级特性八、Git 的未来发展 Git 是一款开源的分布式版本控制系统,可以有效地处理从小到非常大的项目版本…...
北漂Java程序员入职五个月的收获总结
👨💻博主主页:小尘要自信 👨💻本文专栏:Java程序员的成长 👨💻上一篇文章:告别过去,拥抱未来:一个Java开发者的成长之路 👨&a…...
Android系统的进程管理(创建->优先级->回收)
一、进程的创建 1、概述 Android系统以Linux内核为基础,所以对于进程的管理自然离不开Linux本身提供的机制。例如: 通过fork来创建进行通过信号量来管理进程通过proc文件系统来查询和调整进程状态 等 对于Android来说,进程管理的主要内容…...
C#界面美化小技巧
1.窗体设置为无边框 FormBorderStyle的属性设置为none 2.窗体无边框,可以拖拽 private Point mPoint new Point(); private void Download_MouseDown(object sender, MouseEventArgs e) { mPoint.X e.X; mPoint.Y e.Y; …...
‘vite‘ 不是内部或外部命令,也不是可运行的程序 或批处理文件。
1.切换到工程目录下 2.执行npm install(最关键的一步了!!) 3. 最后直接运行:npm run dev 4.浏览器直接打开就行了!...
Linux下查阅帮助文档必学命令 man
Linux操作系统的使用中,我们经常会遇到很多问题,这个时候查询文档的能力至关重要,黄老师来推荐大家使用man,这时我们必须掌握的查阅能力: 最常用的命令: man 名称 man 数字(1~9) 名称 这里的数字分别代表:...
零依赖STL转STEP工具:5分钟实现3D格式无缝转换的完整指南
零依赖STL转STEP工具:5分钟实现3D格式无缝转换的完整指南 【免费下载链接】stltostp Convert stl files to STEP brep files 项目地址: https://gitcode.com/gh_mirrors/st/stltostp 在数字化制造和工程设计的交叉领域,STL到STEP格式转换已成为连…...
FreeRTOS和RT-Thread的内存管理怎么选?从pvPortMalloc到rt_malloc的配置详解
FreeRTOS与RT-Thread内存管理实战:从算法原理到工程配置 在嵌入式开发中,内存管理往往是决定系统稳定性的关键因素。当项目从裸机迁移到RTOS环境时,开发者会面临一个现实选择:继续使用标准C库的malloc/free,还是转向RT…...
HART协议实战:从帧结构解析到MCU数据处理的完整代码指南
1. HART协议基础与帧结构解析 第一次接触HART协议时,我被它独特的"模拟信号数字信号"叠加方式惊艳到了。想象一下,在工业现场常见的4-20mA模拟信号线上,还能叠加数字通信信号,就像在一条老式电话线上同时传输语音和宽带…...
Cadence Allegro PCB设计效率提升:自定义快捷键配置全攻略
1. 项目概述:为什么我们需要自定义快捷键?如果你是一名电子工程师,或者正在使用Cadence Allegro进行PCB设计,那么“效率”这个词对你来说一定不陌生。每天,我们都要在Allegro的复杂菜单和工具栏中穿梭,点击…...
对抗测试框架:用字节码增强与混沌工程提升系统韧性
1. 项目概述:一个对抗测试的“剧院”最近在开源社区里,我注意到一个名字挺有意思的项目,叫nanami7777777/anti-test-theater。乍一看,这个标题有点让人摸不着头脑——“反测试剧院”?测试和剧院能扯上什么关系…...
Arm Neoverse CMN-650错误处理与事务管理机制解析
1. Arm Neoverse CMN-650错误处理机制深度解析在现代多核处理器系统中,错误处理机制的设计直接影响着系统的可靠性和稳定性。Arm Neoverse CMN-650作为一款高性能一致性网状网络,其错误处理架构展现了精妙的设计理念。1.1 HN-I节点的错误分类与处理HN-I&…...
Coze(扣子)工作流使用攻略 操作指南(2026最新版)
Coze工作流(Workflow)是实现复杂AI任务的核心工具,它通过可视化拖拽节点的方式,将大模型、插件、代码、数据库等组件组合成自动化流程。适合处理多步骤、结构化任务(如内容生成、数据分析、图像处理、客服流程等&#…...
基于RK3568的边缘AIoT实战:多模态行为识别系统设计与优化
1. 项目概述:从赛题到全国一等奖的实战复盘去年,我们团队抱着“试试看”的心态参加了瑞芯微与飞凌嵌入式联合举办的全国大学生嵌入式设计大赛,最终捧回了全国一等奖的奖杯。现在比赛尘埃落定,我想把整个项目从破题、选型、开发到最…...
AI智能体技能开发实战:从awesome-agent-skills到工程化应用
1. 项目概述:一个智能体技能的知识宝库最近在折腾AI智能体(Agent)开发,发现一个挺有意思的现象:大家都能用LangChain、AutoGen这些框架搭出个智能体的架子,但真想让这个“智能体”干点具体、有用、甚至有点…...
Cursor编辑器光标主题自定义指南:从原理到实践
1. 项目概述:一个为开发者准备的“光标”资源宝库如果你是一名开发者,或者对提升代码编辑器的视觉体验和操作效率有追求,那么你很可能听说过或正在使用 Cursor 这款新兴的代码编辑器。它凭借深度集成的 AI 能力和现代化的设计,吸引…...
