当前位置: 首页 > news >正文

Flink SQL --Flink 整合 hive

1、整合
# 1、将依赖包上传到flink的lib目录下
flink-sql-connector-hive-3.1.2_2.12-1.15.2.jar# 2、重启flink集群
yarn application -list
yarn application -kill application_1699579932721_0003
yarn-session.sh -d# 3、重新进入sql命令行
sql-client.sh 
2、Hive catalog

catalog(元数据) ---> database ---> table ---> 数据 --- > 列

-- 1、开启hive的元数据服务
nohup hive --service metastore &-- 2、创建hive catalog
CREATE CATALOG myhive WITH ('type' = 'hive','hive-conf-dir' = '/usr/local/soft/hive-3.1.2/conf'
);-- 查看所有的catalog
-- default_catalog: 默认的元数据,将元数据保存在内存中
show catalogs;--3、切换catalog
use catalog myhive;--4、在flink中就可以使用hive中已经创建好的表
select * from student;
-- 可以从catalog开始定位一张表
select * from myhive.`default`.student;-- 将flink的表结构保存到hive catalog中
-- hive中可以看到flink创建的流表,但是在hive中不能查询flink的流表
create database flink;
use flink;
-- 创建flink动态表
CREATE TABLE students_kafka (`offset` BIGINT METADATA VIRTUAL, -- 偏移量`event_time` TIMESTAMP(3) METADATA FROM 'timestamp', --数据进入kafka的时间,可以当作事件时间使用sid STRING,name STRING,age INT,sex STRING,clazz STRING
) WITH ('connector' = 'kafka','topic' = 'students', -- 数据的topic'properties.bootstrap.servers' = 'master:9092,node1:9092,node2:9092', -- broker 列表'properties.group.id' = 'testGroup', -- 消费者组'scan.startup.mode' = 'earliest-offset', -- 读取数据的位置earliest-offset latest-offset'format' = 'csv' -- 读取数据的格式
);
3、Hive functions

在Flink中的使用hive中的函数:

-- 加载hive函数
LOAD MODULE hive WITH ('hive-version' = '3.1.2');-- 使用hive的函数
select split('java,spark',',');

相关文章:

Flink SQL --Flink 整合 hive

1、整合 # 1、将依赖包上传到flink的lib目录下 flink-sql-connector-hive-3.1.2_2.12-1.15.2.jar# 2、重启flink集群 yarn application -list yarn application -kill application_1699579932721_0003 yarn-session.sh -d# 3、重新进入sql命令行 sql-client.sh 2、Hive cata…...

demo(一)eureka----服务注册与提供

下面写一个简单的demo验证下eureka&#xff0c;实现服务注册、服务发现。 一、单节点&#xff1a; 1、api&#xff1a; 封装其他组件需要共用的dto 2、eureka-service服务注册中心&#xff1a; &#xff08;1&#xff09;pom: <?xml version"1.0" encoding&q…...

core dump(介绍,status中的core dump标志,应用--调试),ulimit命令

目录 core dump(核心转储) 引入 介绍 core dump标志 引入 介绍 应用 -- gdb调试 注意点 ulimit命令 -a -c 示例 -- core file大小问题 core dump(核心转储) 引入 我们可以看到,不同的signal对应不同的编号和action:其中action主要分为term和coreterm就是终止的意…...

使用键盘管理器更改键盘快捷键,让键盘真正迎合你的使用习惯

如果默认快捷键不适合你&#xff0c;你肯定会想知道如何在Windows 11中更改键盘快捷键。 也许你已经习惯了macOS键盘&#xff0c;或者像我一样在Windows和Mac之间切换工作/游戏——如果是这样的话&#xff0c;重新配置默认的Windows快捷方式&#xff0c;使其与Mac上的快捷方式…...

putty保存登录账号和密码

putty作为一个免费的远程登录连接工具&#xff0c;其功能和性能还是很不错的&#xff0c;但是有一个很明显的缺点&#xff0c;就是无法保存用户名和密码。 在这里就针对这个问题&#xff0c;分享一种能够快速保存用户名和密码的方法。 1&#xff0c;创建一个桌面快捷方式。 …...

GRS认证是什么认证为何如此重要

在全球化日益盛行的今天&#xff0c;环保和可持续性成为了企业发展的关键词。其中&#xff0c;GRS认证作为企业实现可持续生产和全球环境保护的一个重要手段&#xff0c;越来越受到人们的关注。那么&#xff0c;GRS认证究竟是什么认证呢?   GRS&#xff0c;全称为Global Rec…...

基于pytest-bdd的项目目录结构和命名规范

pytest-bdd 的文件的命名规范 pytest-bdd 是基于pytest 之上&#xff0c;所以需要遵循pytest 的命名规则才能进行测试&#xff0c;具体有&#xff1a; 测试文件名必须以*test.py或者test*.py命名测试函数必须以 test_开头 在pytest-bdd中存在两类文件&#xff1a; 以 .feat…...

web前端开发网页设计课堂作业/html练习《课程表》

目标图&#xff1a; 代码解析&#xff1a; 代码解析1<table border"3" align"center"><输入内容(的) 边界"3px" 位置"居中">2<tr><td colspan"7" align"center">课程表</td><t…...

用欧拉路径判断图同构推出reverse合法性:1116T4

http://cplusoj.com/d/senior/p/SS231116D 假设我们要把 a a a 变成 b b b&#xff0c;我们在 a i a_i ai​ 和 a i 1 a_{i1} ai1​ 之间连边&#xff0c; b b b 同理&#xff0c;则 a a a 能变成 b b b 的充要条件是两图 A , B A,B A,B 同构。 必要性显然&#xff0…...

高阶数据结构---树状数组

文章目录 楼兰图腾一个简单的整数问题 一个简单的整数问题2谜一样的牛 一、楼兰图腾OJ链接 二、一个简单的整数问题OJ链接 三、一个简单的整数问题2OJ链接 四、谜一样的牛OJ链接...

如何保护PayPal账户安全:防止多个PayPal账号关联?

PayPal是一家全球领先的在线支付平台&#xff0c;已经成为全球最受欢迎的在线支付工具之一&#xff0c;广泛应用于电子商务、跨境交易和个人之间的付款&#xff0c;很多跨境卖家的支付平台都会选择PayPal。PayPal支持全球多个国家和20多种货币在线支付&#xff0c;并且能即时收…...

关于 Spring :松耦合、可配置、IOC、AOP

关于 Spring &#xff1a;松耦合、可配置、IOC、AOP 文章目录 关于 Spring &#xff1a;松耦合、可配置、IOC、AOP一、关于 Spring1、概述2、Spring 的“松耦合”体现在哪3、Spring 的“可配置”体现在哪4、Spring 的 IOC 容器的主要作用5、Spring 的 AOP 容器的主要作用 一、关…...

pytorch tensor数据类型转换为python数据

一、item() input: x torch.tensor([1.0]) x.item()output: 1.0二、tolist() input: a torch.randn(2, 2) a.tolist() a[0,0].tolist()output: [[0.012766935862600803, 0.5415473580360413],[-0.08909505605697632, 0.7729271650314331]]0.012766935862600803...

HarmonyOS开发:动态共享包的依赖问题

一、共享包的依赖方式 在需要依赖的模块包目录下oh-package.json5文件中添加依赖&#xff1a; "dependencies": {"ohos/srpaasUI": "file:../../srpaasUI","ohos/srbusiness": "file:../../feature/srbusiness"} 引入之后…...

中睿天下加入中关村华安关键信息基础设施安全保护联盟

近日&#xff0c;中睿天下正式加入中关村华安关键信息基础设施安全保护联盟&#xff0c;成为其会员单位。 中关村华安关键信息基础设施安全保护联盟是由北京市科学技术委员会、中关村科技园区管理委员会指导支持&#xff0c;经北京市民政局批准&#xff0c;于2023年8月正式注册…...

【c++STL算数仿函数,关系仿函数,逻辑仿函数】

文章目录 C STL中的算数、关系和逻辑仿函数1. 算数仿函数2. 关系仿函数3. 逻辑仿函数 C STL中的算数、关系和逻辑仿函数 STL&#xff08;Standard Template Library&#xff09;是C标准库的一部分&#xff0c;提供了许多强大的工具和功能&#xff0c;其中包括仿函数&#xff0…...

产品经理的能力模型是什么?

一个产品的成功需要团队成员利用自己的技能共同合作完成。作为团队的核心和产品的主导者&#xff0c;产品经理需要具备一定的能力模型&#xff0c;以更好地完成工作。下面从五个方面进行解答。 首先&#xff0c;产品经理需要具备需求分析的能力。需求是用户在特定场景下产生的欲…...

缓存和DB一致性

读操作&#xff0c;一般是先查询缓存&#xff0c;查询不到再查询数据库&#xff0c;最后回写进缓存。 写操作&#xff0c;究竟是先删除(更新)缓存&#xff0c;再更新数据库&#xff0c;还是先更新数据库&#xff0c;再删除(更新)缓存呢&#xff1f; 1、给缓存设置过期时间 适用…...

netty websockt之断连重试

断连重试有以下两点考虑&#xff1a; 1、连接异常&#xff0c;比如网络抖动导致连接失败&#xff1b; 2、连接过程中断开连接重试&#xff1b; 主要用到两个工具类&#xff1a; ChannelFutureListener监听ChannelFuture..isSuccess()&#xff1b; ChannelInboundHandlerAd…...

【Gateway】基于ruoyi-cloud-plus项目,gateway局部过滤器和过滤返回以及集成nacos

1.使用Gateway路由转发 1.1标题引入依赖 <dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-gateway</artifactId></dependency>1.2添加YML配置 spring:cloud:gateway:# 打印请求日志(自定义)…...

【云计算学习之路】学习Centos7系统:服务搭建(NFS)

文章目录【云计算学习之路】学习Centos7系统:服务搭建(NFS)前言一、NFS 核心原理与架构1.1 NFS 服务简介1.2 NFS 核心依赖与守护进程、端口机制1.2.1 基础依赖组件1.2.2 NFS 核心守护进程1.2.3 核心通信端口规则1.3 NFS 完整工作流程&#xff08;附原理图解&#xff09;1.4 常用…...

告别繁琐标注:Windows上最轻量级实时屏幕画笔工具完全指南

告别繁琐标注&#xff1a;Windows上最轻量级实时屏幕画笔工具完全指南 【免费下载链接】gInk An easy to use on-screen annotation software inspired by Epic Pen. 项目地址: https://gitcode.com/gh_mirrors/gi/gInk 你是否曾在视频会议中手忙脚乱地寻找标注工具&…...

SCP-Firmware缓冲区溢出漏洞(CVE-2024-9413)分析与防护

1. 漏洞概述与影响范围解析CVE-2024-9413是近期在SCP-Firmware中发现的一个高危安全漏洞&#xff0c;其核心问题在于应用程序处理器&#xff08;AP&#xff09;可能通过特定操作触发系统控制处理器&#xff08;SCP&#xff09;固件中的缓冲区溢出。这种漏洞类型在嵌入式系统安全…...

从一根线到稳定画面:深入解读HDMI TMDS差分信号的PCB设计要点(阻抗控制与端接电容)

从一根线到稳定画面&#xff1a;深入解读HDMI TMDS差分信号的PCB设计要点&#xff08;阻抗控制与端接电容&#xff09; 在4K/8K超高清视频逐渐普及的今天&#xff0c;HDMI接口作为消费电子领域最主流的数字视频传输标准&#xff0c;其信号完整性设计直接决定了最终画质表现。许…...

基于周期性折射率调制的微型高分辨率光纤光谱仪技术解析

1. 项目概述&#xff1a;当光谱仪“瘦身”遇上“高能”挑战在材料分析实验室里&#xff0c;你可能会看到一台冰箱大小的光谱仪&#xff0c;它需要稳定的光学平台、恒温恒湿的环境&#xff0c;以及一位经验丰富的操作员。而在农田、生产线旁&#xff0c;或者野外环境监测站&…...

GPT-4的1.8T参数与2%激活率:MoE架构原理与工程真相

1. 项目概述&#xff1a;参数规模与稀疏激活的真相拆解“GPT-4 Has 1.8 Trillion Parameters. It Uses 2% of Them Per Token.”——这句话过去两年在技术社区反复刷屏&#xff0c;常被当作“大模型已突破算力瓶颈”的佐证&#xff0c;也常被误读为“GPT-4只用360亿参数&#x…...

2026 BI指标管理平台设计与最佳实践

引言关于衡石科技&#xff08;HENGSHI&#xff09;&#xff1a;衡石科技是国内领先的嵌入式BI PaaS平台提供商&#xff0c;其核心产品HENGSHI SENSE以"让数据分析无处不在"为使命&#xff0c;为企业提供从数据连接、数据准备、指标管理、可视化分析到智能问答的全链路…...

飞书多维表格还能这么玩?我用它搭了个超好用的 AI 批量生图工具

大家好&#xff01;上一篇文章我分享了一个飞书多维表格自动化插件的核心功能&#xff0c;很多朋友都在问&#xff1a;这个插件到底能解决什么实际问题&#xff1f;今天就用我最近刚搭好的一个实战案例&#xff0c;给大家好好拆解一下。我用飞书多维表格&#xff0c;从零搭建了…...

MyBatis拦截器实现数据权限控制:原理、实现与PageHelper兼容方案

1. 项目概述与核心痛点在开发企业级后台管理系统时&#xff0c;数据权限控制是一个绕不开的经典难题。前端菜单和按钮的权限&#xff0c;我们通常可以通过配置角色与资源的关系来实现&#xff0c;相对直观。但到了后端&#xff0c;特别是数据库查询层面&#xff0c;问题就复杂多…...

嵌入式条码扫描头:从核心原理到八大行业应用实战

1. 项目概述&#xff1a;从“扫码”到“感知”的嵌入式革命每次在超市收银台听到“嘀”的一声&#xff0c;或者在快递驿站看到工作人员拿着手持设备快速扫过包裹&#xff0c;我们都在与条码扫描技术打交道。但你是否想过&#xff0c;这些看似简单的“扫码”动作背后&#xff0c…...