【Apache Paimon】-- 14 -- Spark 集成 Paimon 之 Filesystem Catalog 与 Hive Catalog 实践
目录
1. 背景介绍
2. 环境准备
2.1、技术栈说明
2.2、环境依赖
2.3、硬件与软件环境
2.4、主要工具清单
2.5、Maven 项目结构
2.6、maven pom.xml 依赖
3. Spark 与 Paimon Filesystem Catalog 集成
3.1、HDFS FileSystem catalog
3.1.1、代码内容
3.1.2、运行输出结果
3.1.2.1、Spark 运行日志
3.1.2.2、HDFS 文件目录
3.1.3、创建 hive 的 paimon 格式外部表并查询
3.2、S3 FileSystem catalog
3.2.1、代码内容
3.2.2、运行输出结果
3.2.2.1、Spark 运行日志
3.2.2.2、S3 存储目录
3.3、OSS FileSystem catalog
3.3.1、代码内容
3.3.2、运行输出结果
3.3.2.1、Spark 运行日志
3.3.2.2、OSS 存储目录
4. Spark 与 Paimon Hive Catalog 集成
4.1、代码内容
4.2、运行输出结果
4.2.1、Spark 运行日志
4.2.2、查询 Hive 表
5. 参考
1. 背景介绍
- 为什么选择将 Spark 与 Paimon 集成，解决什么问题？
- 文件系统 Catalog 和 Hive Catalog 的适用场景？
2. 环境准备
2.1、技术栈说明
- Spark、Paimon 的版本选择及其兼容性说明
- Paimon 0.8、0.9 支持版本：Spark 3.1
相关文章：
【Apache Paimon】-- 14 -- Spark 集成 Paimon 之 Filesystem Catalog 与 Hive Catalog 实践
目录 1. 背景介绍 2. 环境准备 2.1、技术栈说明 2.2、环境依赖 2.3、硬件与软件环境 2.4、主要工具清单 2.5、Maven 项目结构 2.6、maven pom.xml 依赖 3. Spark 与 Paimon Filesystem Catalog 集成 3.1、HDFS FileSystem catalog 3.1.1、代码内容 3.1.2、运行输出…...
renben-openstack-使用操作
管理员操作 (1)上传一个qcow2格式的centos7镜像 (2)管理员------>云主机类型------>创建云主机类型 名称：Centos7 VCPU数量：1 内存： 1024 根磁盘： 10G 其他的默认 点击创建云主机类型即可 界面会显示如下 创建公网络 (1)创建…...
开源CMS建站系统的安全优势有哪些？
近年来，用户们用开源CMS系统搭建网站的比例也越来越高，它为用户提供了便捷的网站建设解决方案。其中，亿坊CMS建站系统更因安全方面备受用户欢迎，下面带大家一起全面地了解一下。 一、什么是开源CMS？ 开源CMS指的是那…...
基于mybatis-plus历史背景下的多租户平台改造
前言 别误会，本篇【并不是】 要用mybatis-plus自身的多租户方案：在表中加一个tenant_id字段来区分不同的租户数据。并不是的！ 而是在假设业务系统已经使用mybatis-plus多数据源的前提下，如何实现业务数据库隔开的多租户系统。 这…...
后台管理系统用户退出登录方案实现
退出登录一直是一个通用的前端实现方案，对于退出登录而言，它的触发时机一般有两种： 1. 用户主动退出，即用户点击登录按钮之后退出； 2. 用户被动退出，Token过期或被 其他人"顶下来" 时退出&…...
)
C# 对象和类型(结构)
❝ 类和结构的区别 字段、属性和方法 按值和引用传送参数 方法重载 构造函数和静态构造函数 只读字段 Object类，其他类型都从该类派生而来 结构 如何将类保持在堆中，通过这种方式可以在数据的生存期上获得很大的灵活性，但性能会有一定的损失。…...
利用AI优化SEO关键词提升网站排名的策略与技巧
内容概要 随着数字化时代的发展，网站的可见性和流量成为了各个行业品牌获取客户的关键。特别是在竞争激烈的市场中，如何有效地提升网站排名成为了站长和营销人员的关注重点。利用AI技术优化SEO关键词无疑是一种行之有效的方法，通过分析和处理…...
“多维像素”多模态雷视融合技术构建自动驾驶超级感知能力｜上海昱感微电子创始人蒋宏GADS演讲预告
2025年1月14日，第四届全球自动驾驶峰会将在北京中关村国家自主创新示范区展示交易中心-会议中心举行。经过三年的发展，全球自动驾驶峰会已经成长为国内自动驾驶领域最具影响力、规模最大的产业峰会之一。在主会场下午的城市NOA专题论坛上，上海…...
基于机器学习的故障诊断（入门向）
一、原始信号的特征提取 1.EMD经验模态分解的作用 信号分析：EMD可以将信号分解为多个IMFs，每个IMF代表信号中的一个特定频率和幅度调制的成分。这使得EMD能够提供对信号的时频特征进行分析的能力（特征提取用到的）。信号去噪&…...
【延伸学习】智能软开关优化配置对比算例【sop】
目录 1 主要内容 算例模型 目标函数 2 部分程序 3 程序结果 3.1 sop选址定容优化模型 3.2 对比算例（不含sop） 3.3 对比算例（含光伏选址） 4 下载链接 1 主要内容 之前分享了《基于改进灵敏度分析的有源配电网智能软开关优…...
pytest 参数介绍
命令行参数描述常见使用案例-v / --verbose显示每个测试用例的详细信息，包括测试名称和状态pytest -v-s / --captureno禁用输出捕获，允许 print() 输出显示pytest -s-q / --quiet安静模式，减少输出，仅显示每个测试的通过/失败结果…...
源代码编译安装X11及相关库、vim，配置vim（1）
一、目录结构 如下。 所有X11及相关库装到mybuild，源代码下载到src下，解压，进入，编译安装。编译时指定--prefix到相同的目录，即上图中mybuild。 ./configure --prefixpwd/../../mybuild [CFLAGS"-I/path/to/X11…...
Node.js JXcore 打包教程
Node.js JXcore 打包教程 介绍 Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行时环境，它允许开发者使用 JavaScript 编写服务器端和网络应用程序。JXcore 是一个流行的 Node.js 发行版，它支持将 Node.js 应用程序打包成单一的可执行文件，使得部署和分发变得更加容易…...
windows 下基于docker 部署 guacamole
背景 Apache Guacamole 是一种无客户端或插件的远程桌面网关。它支持多个标准协议，如 VNC、RDP 和 SSH等。记录下部署过程。 步骤 1， 安装docker desktop choco install docker-desktop -y 注： 若windows 11还未安装wsl，则需要…...
『SQLite』子查询可以这样用
摘要：本节主要讲子查询的使用，可以在查询、更新、修改、删除等操作中使用。 什么是子查询？ 子查询是一种在 SELECT-SQL 语言中嵌套查询下层的程序模块。当一个查询是另一个查询的条件时，称之为子查询（Sub Query&#…...
夯实前端基础之HTML篇
知识点概览 HTML部分 1. DOM和BOM有什么区别？ DOM（Document Object Model） 当网页被加载时，浏览器会创建页面的对象文档模型，HTML DOM 模型被结构化为对象树 用途： 主要用于网页内容的动态修改和交互&…...
VVenC 编码器源码结构与接口函数介绍
VVenC VVenC（Fraunhofer Versatile Video Encoder）是由德国弗劳恩霍夫海因里希研究所（Fraunhofer Heinrich Hertz Institute, HHI）开发的一个开源的高效视频编码器。它实现了最新的视频编码标准——Versatile Video Coding (VVC)…...
【C++习题】20. 两个数组的交集
题目：349. 两个数组的交集 - 力扣（LeetCode） 链接🔗：349. 两个数组的交集 - 力扣（LeetCode） 题目： 代码： class Solution { public:// 函数功能：求两个数组…...
小R的蛋糕分享
小R的蛋糕分享 问题描述 小R手里有一个大小为 n 行 m 列的矩形蛋糕，每个小正方形区域都有一个代表美味度的整数。小R打算切割出一个正方形的小蛋糕给自己，而剩下的部分将给小S。她希望两人吃的部分的美味度之和尽量接近。 我们定义小R吃到的部分的美味度…...
基于Arduino的FPV头部追踪相机系统
构建FPV头部追踪相机：让你置身于遥控车辆之中！ 在遥控车辆和模型飞行器的世界中，第一人称视角（FPV）体验一直是爱好者们追求的目标。通过FPV头部追踪相机，你可以像坐在车辆或飞行器内部一样，自由…...
装饰模式（Decorator Pattern）重构java邮件发奖系统实战
前言 现在我们有个如下的需求，设计一个邮件发奖的小系统， 需求 1.数据验证 → 2. 敏感信息加密 → 3. 日志记录 → 4. 实际发送邮件 装饰器模式（Decorator Pattern）允许向一个现有的对象添加新的功能，同时又不改变其…...
)
Java 语言特性(面试系列2)
一、SQL 基础 1. 复杂查询 （1）连接查询（JOIN） 内连接（INNER JOIN）：返回两表匹配的记录。 SELECT e.name, d.dept_name FROM employees e INNER JOIN departments d ON e.dept_id d.dept_id; 左…...
对WWDC 2025 Keynote 内容的预测
借助我们以往对苹果公司发展路径的深入研究经验，以及大语言模型的分析能力，我们系统梳理了多年来苹果 WWDC 主题演讲的规律。在 WWDC 2025 即将揭幕之际，我们让 ChatGPT 对今年的 Keynote 内容进行了一个初步预测，聊作存档。等到明…...
【服务器压力测试】本地PC电脑作为服务器运行时出现卡顿和资源紧张（Windows/Linux）
要让本地PC电脑作为服务器运行时出现卡顿和资源紧张的情况，可以通过以下几种方式模拟或触发： 1. 增加CPU负载 运行大量计算密集型任务，例如： 使用多线程循环执行复杂计算（如数学运算、加密解密等）。运行图…...
Android Bitmap治理全解析：从加载优化到泄漏防控的全生命周期管理
引言 Bitmap（位图）是Android应用内存占用的“头号杀手”。一张1080P（1920x1080）的图片以ARGB_8888格式加载时，内存占用高达8MB（192010804字节）。据统计，超过60%的应用OOM崩溃与Bitm…...
是否存在路径（FIFOBB算法）
题目描述 一个具有 n 个顶点e条边的无向图，该图顶点的编号依次为0到n-1且不存在顶点与自身相连的边。请使用FIFOBB算法编写程序，确定是否存在从顶点 source到顶点 destination的路径。 输入 第一行两个整数，分别表示n 和 e 的值（1…...
安卓基础（aar）
重新设置java21的环境，临时设置 $env:JAVA_HOME "D:\Android Studio\jbr" 查看当前环境变量 JAVA_HOME 的值 echo $env:JAVA_HOME 构建ARR文件 ./gradlew :private-lib:assembleRelease 目录是这样的： MyApp/ ├── app/ …...
Xen Server服务器释放磁盘空间
disk.sh #!/bin/bashcd /run/sr-mount/e54f0646-ae11-0457-b64f-eba4673b824c # 全部虚拟机物理磁盘文件存储 a$(ls -l | awk {print $NF} | cut -d. -f1) # 使用中的虚拟机物理磁盘文件 b$(xe vm-disk-list --multiple | grep uuid | awk {print $NF})printf "%s\n"…...
基于PHP的连锁酒店管理系统
有需要请加文章底部Q哦 可远程调试 基于PHP的连锁酒店管理系统 一 介绍 连锁酒店管理系统基于原生PHP开发，数据库mysql，前端bootstrap。系统角色分为用户和管理员。 技术栈 phpmysqlbootstrapphpstudyvscode 二 功能 用户 1 注册/登录/注销 2 个人中…...
Vue ③-生命周期 || 脚手架
生命周期 思考：什么时候可以发送初始化渲染请求？（越早越好） 什么时候可以开始操作dom？（至少dom得渲染出来） Vue生命周期： 一个Vue实例从 创建 到 销毁 的整个过程。 生命周期四个…...