【Apache Paimon】-- 14 -- Spark 集成 Paimon 之 Filesystem Catalog 与 Hive Catalog 实践
目录
1. 背景介绍
2. 环境准备
2.1、技术栈说明
2.2、环境依赖
2.3、硬件与软件环境
2.4、主要工具清单
2.5、Maven 项目结构
2.6、maven pom.xml 依赖
3. Spark 与 Paimon Filesystem Catalog 集成
3.1、HDFS FileSystem catalog
3.1.1、代码内容
3.1.2、运行输出结果
3.1.2.1、Spark 运行日志
3.1.2.2、HDFS 文件目录
3.1.3、创建 hive 的 paimon 格式外部表并查询
3.2、S3 FileSystem catalog
3.2.1、代码内容
3.2.2、运行输出结果
3.2.2.1、Spark 运行日志
3.2.2.2、S3 存储目录
3.3、OSS FileSystem catalog
3.3.1、代码内容
3.3.2、运行输出结果
3.3.2.1、Spark 运行日志
3.3.2.2、OSS 存储目录
4. Spark 与 Paimon Hive Catalog 集成
4.1、代码内容
4.2、运行输出结果
4.2.1、Spark 运行日志
4.2.2、查询 Hive 表
5. 参考
1. 背景介绍
- 为什么选择将 Spark 与 Paimon 集成，解决什么问题？
- 文件系统 Catalog 和 Hive Catalog 的适用场景？
2. 环境准备
2.1、技术栈说明
- Spark、Paimon 的版本选择及其兼容性说明
- Paimon 0.8、0.9 支持版本：Spark 3.1
相关文章：
【Apache Paimon】-- 14 -- Spark 集成 Paimon 之 Filesystem Catalog 与 Hive Catalog 实践
目录 1. 背景介绍 2. 环境准备 2.1、技术栈说明 2.2、环境依赖 2.3、硬件与软件环境 2.4、主要工具清单 2.5、Maven 项目结构 2.6、maven pom.xml 依赖 3. Spark 与 Paimon Filesystem Catalog 集成 3.1、HDFS FileSystem catalog 3.1.1、代码内容 3.1.2、运行输出…...
renben-openstack-使用操作
管理员操作 (1)上传一个qcow2格式的centos7镜像 (2)管理员------>云主机类型------>创建云主机类型 名称：Centos7 VCPU数量：1 内存： 1024 根磁盘： 10G 其他的默认 点击创建云主机类型即可 界面会显示如下 创建公网络 (1)创建…...
开源CMS建站系统的安全优势有哪些？
近年来，用户们用开源CMS系统搭建网站的比例也越来越高，它为用户提供了便捷的网站建设解决方案。其中，亿坊CMS建站系统更因安全方面备受用户欢迎，下面带大家一起全面地了解一下。 一、什么是开源CMS？ 开源CMS指的是那…...
基于mybatis-plus历史背景下的多租户平台改造
前言 别误会，本篇【并不是】 要用mybatis-plus自身的多租户方案：在表中加一个tenant_id字段来区分不同的租户数据。并不是的！ 而是在假设业务系统已经使用mybatis-plus多数据源的前提下，如何实现业务数据库隔开的多租户系统。 这…...
后台管理系统用户退出登录方案实现
退出登录一直是一个通用的前端实现方案，对于退出登录而言，它的触发时机一般有两种： 1. 用户主动退出，即用户点击登录按钮之后退出； 2. 用户被动退出，Token过期或被 其他人"顶下来" 时退出&…...
)
C# 对象和类型(结构)
❝ 类和结构的区别 字段、属性和方法 按值和引用传送参数 方法重载 构造函数和静态构造函数 只读字段 Object类，其他类型都从该类派生而来 结构 如何将类保持在堆中，通过这种方式可以在数据的生存期上获得很大的灵活性，但性能会有一定的损失。…...
利用AI优化SEO关键词提升网站排名的策略与技巧
内容概要 随着数字化时代的发展，网站的可见性和流量成为了各个行业品牌获取客户的关键。特别是在竞争激烈的市场中，如何有效地提升网站排名成为了站长和营销人员的关注重点。利用AI技术优化SEO关键词无疑是一种行之有效的方法，通过分析和处理…...
“多维像素”多模态雷视融合技术构建自动驾驶超级感知能力｜上海昱感微电子创始人蒋宏GADS演讲预告
2025年1月14日，第四届全球自动驾驶峰会将在北京中关村国家自主创新示范区展示交易中心-会议中心举行。经过三年的发展，全球自动驾驶峰会已经成长为国内自动驾驶领域最具影响力、规模最大的产业峰会之一。在主会场下午的城市NOA专题论坛上，上海…...
基于机器学习的故障诊断（入门向）
一、原始信号的特征提取 1.EMD经验模态分解的作用 信号分析：EMD可以将信号分解为多个IMFs，每个IMF代表信号中的一个特定频率和幅度调制的成分。这使得EMD能够提供对信号的时频特征进行分析的能力（特征提取用到的）。信号去噪&…...
【延伸学习】智能软开关优化配置对比算例【sop】
目录 1 主要内容 算例模型 目标函数 2 部分程序 3 程序结果 3.1 sop选址定容优化模型 3.2 对比算例（不含sop） 3.3 对比算例（含光伏选址） 4 下载链接 1 主要内容 之前分享了《基于改进灵敏度分析的有源配电网智能软开关优…...
pytest 参数介绍
命令行参数描述常见使用案例-v / --verbose显示每个测试用例的详细信息，包括测试名称和状态pytest -v-s / --captureno禁用输出捕获，允许 print() 输出显示pytest -s-q / --quiet安静模式，减少输出，仅显示每个测试的通过/失败结果…...
源代码编译安装X11及相关库、vim，配置vim（1）
一、目录结构 如下。 所有X11及相关库装到mybuild，源代码下载到src下，解压，进入，编译安装。编译时指定--prefix到相同的目录，即上图中mybuild。 ./configure --prefixpwd/../../mybuild [CFLAGS"-I/path/to/X11…...
Node.js JXcore 打包教程
Node.js JXcore 打包教程 介绍 Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行时环境，它允许开发者使用 JavaScript 编写服务器端和网络应用程序。JXcore 是一个流行的 Node.js 发行版，它支持将 Node.js 应用程序打包成单一的可执行文件，使得部署和分发变得更加容易…...
windows 下基于docker 部署 guacamole
背景 Apache Guacamole 是一种无客户端或插件的远程桌面网关。它支持多个标准协议，如 VNC、RDP 和 SSH等。记录下部署过程。 步骤 1， 安装docker desktop choco install docker-desktop -y 注： 若windows 11还未安装wsl，则需要…...
『SQLite』子查询可以这样用
摘要：本节主要讲子查询的使用，可以在查询、更新、修改、删除等操作中使用。 什么是子查询？ 子查询是一种在 SELECT-SQL 语言中嵌套查询下层的程序模块。当一个查询是另一个查询的条件时，称之为子查询（Sub Query&#…...
夯实前端基础之HTML篇
知识点概览 HTML部分 1. DOM和BOM有什么区别？ DOM（Document Object Model） 当网页被加载时，浏览器会创建页面的对象文档模型，HTML DOM 模型被结构化为对象树 用途： 主要用于网页内容的动态修改和交互&…...
VVenC 编码器源码结构与接口函数介绍
VVenC VVenC（Fraunhofer Versatile Video Encoder）是由德国弗劳恩霍夫海因里希研究所（Fraunhofer Heinrich Hertz Institute, HHI）开发的一个开源的高效视频编码器。它实现了最新的视频编码标准——Versatile Video Coding (VVC)…...
【C++习题】20. 两个数组的交集
题目：349. 两个数组的交集 - 力扣（LeetCode） 链接🔗：349. 两个数组的交集 - 力扣（LeetCode） 题目： 代码： class Solution { public:// 函数功能：求两个数组…...
小R的蛋糕分享
小R的蛋糕分享 问题描述 小R手里有一个大小为 n 行 m 列的矩形蛋糕，每个小正方形区域都有一个代表美味度的整数。小R打算切割出一个正方形的小蛋糕给自己，而剩下的部分将给小S。她希望两人吃的部分的美味度之和尽量接近。 我们定义小R吃到的部分的美味度…...
基于Arduino的FPV头部追踪相机系统
构建FPV头部追踪相机：让你置身于遥控车辆之中！ 在遥控车辆和模型飞行器的世界中，第一人称视角（FPV）体验一直是爱好者们追求的目标。通过FPV头部追踪相机，你可以像坐在车辆或飞行器内部一样，自由…...
RocketMQ延迟消息机制
两种延迟消息 RocketMQ中提供了两种延迟消息机制 指定固定的延迟级别 通过在Message中设定一个MessageDelayLevel参数，对应18个预设的延迟级别指定时间点的延迟级别 通过在Message中设定一个DeliverTimeMS指定一个Long类型表示的具体时间点。到了时间点后…...
PPT|230页| 制造集团企业供应链端到端的数字化解决方案：从需求到结算的全链路业务闭环构建
制造业采购供应链管理是企业运营的核心环节，供应链协同管理在供应链上下游企业之间建立紧密的合作关系，通过信息共享、资源整合、业务协同等方式，实现供应链的全面管理和优化，提高供应链的效率和透明度，降低供应链的成…...
Python实现prophet 理论及参数优化
文章目录 Prophet理论及模型参数介绍Python代码完整实现prophet 添加外部数据进行模型优化 之前初步学习prophet的时候，写过一篇简单实现，后期随着对该模型的深入研究，本次记录涉及到prophet 的公式以及参数调优，从公式可以更直观…...
2021-03-15 iview一些问题
1.iview 在使用tree组件时，发现没有set类的方法，只有get，那么要改变tree值，只能遍历treeData，递归修改treeData的checked，发现无法更改，原因在于check模式下，子元素的勾选状态跟父节…...
ETLCloud可能遇到的问题有哪些？常见坑位解析
数据集成平台ETLCloud，主要用于支持数据的抽取（Extract）、转换（Transform）和加载（Load）过程。提供了一个简洁直观的界面，以便用户可以在不同的数据源之间轻松地进行数据迁移和转换。…...
Matlab | matlab常用命令总结
常用命令 一、 基础操作与环境二、 矩阵与数组操作（核心）三、 绘图与可视化四、 编程与控制流五、 符号计算 (Symbolic Math Toolbox)六、 文件与数据 I/O七、 常用函数类别重要提示这是一份 MATLAB 常用命令和功能的总结，涵盖了基础操作、矩阵运算、绘图、编程和文件处理等…...
零基础在实践中学习网络安全-皮卡丘靶场（第九期-Unsafe Fileupload模块）（yakit方式）
本期内容并不是很难，相信大家会学的很愉快，当然对于有后端基础的朋友来说，本期内容更加容易了解，当然没有基础的也别担心，本期内容会详细解释有关内容 本期用到的软件：yakit（因为经过之前好多期…...
08. C#入门系列【类的基本概念】：开启编程世界的奇妙冒险
C#入门系列【类的基本概念】：开启编程世界的奇妙冒险 嘿，各位编程小白探险家！欢迎来到 C# 的奇幻大陆！今天咱们要深入探索这片大陆上至关重要的 “建筑”—— 类！别害怕，跟着我，保准让你轻松搞…...
搭建DNS域名解析服务器(正向解析资源文件)
正向解析资源文件 1）准备工作 服务端及客户端都关闭安全软件 [rootlocalhost ~]# systemctl stop firewalld [rootlocalhost ~]# setenforce 0 2）服务端安装软件：bind 1.配置yum源 [rootlocalhost ~]# cat /etc/yum.repos.d/base.repo [Base…...
iview框架主题色的应用
1.下载 less要使用3.0.0以下的版本 npm install less2.7.3 npm install less-loader4.0.52./src/config/theme.js文件 module.exports {yellow: {theme-color: #FDCE04},blue: {theme-color: #547CE7} }在sass中使用theme配置的颜色主题，无需引入，直接可…...