【Apache Paimon】-- 14 -- Spark 集成 Paimon 之 Filesystem Catalog 与 Hive Catalog 实践
目录
1. 背景介绍
2. 环境准备
2.1、技术栈说明
2.2、环境依赖
2.3、硬件与软件环境
2.4、主要工具清单
2.5、Maven 项目结构
2.6、maven pom.xml 依赖
3. Spark 与 Paimon Filesystem Catalog 集成
3.1、HDFS FileSystem catalog
3.1.1、代码内容
3.1.2、运行输出结果
3.1.2.1、Spark 运行日志
3.1.2.2、HDFS 文件目录
3.1.3、创建 hive 的 paimon 格式外部表并查询
3.2、S3 FileSystem catalog
3.2.1、代码内容
3.2.2、运行输出结果
3.2.2.1、Spark 运行日志
3.2.2.2、S3 存储目录
3.3、OSS FileSystem catalog
3.3.1、代码内容
3.3.2、运行输出结果
3.3.2.1、Spark 运行日志
3.3.2.2、OSS 存储目录
4. Spark 与 Paimon Hive Catalog 集成
4.1、代码内容
4.2、运行输出结果
4.2.1、Spark 运行日志
4.2.2、查询 Hive 表
5. 参考
1. 背景介绍
- 为什么选择将 Spark 与 Paimon 集成，解决什么问题？
- 文件系统 Catalog 和 Hive Catalog 的适用场景？
2. 环境准备
2.1、技术栈说明
- Spark、Paimon 的版本选择及其兼容性说明
- Paimon 0.8、0.9 支持版本：Spark 3.1
相关文章：
【Apache Paimon】-- 14 -- Spark 集成 Paimon 之 Filesystem Catalog 与 Hive Catalog 实践
目录 1. 背景介绍 2. 环境准备 2.1、技术栈说明 2.2、环境依赖 2.3、硬件与软件环境 2.4、主要工具清单 2.5、Maven 项目结构 2.6、maven pom.xml 依赖 3. Spark 与 Paimon Filesystem Catalog 集成 3.1、HDFS FileSystem catalog 3.1.1、代码内容 3.1.2、运行输出…...
renben-openstack-使用操作
管理员操作 (1)上传一个qcow2格式的centos7镜像 (2)管理员------>云主机类型------>创建云主机类型 名称：Centos7 VCPU数量：1 内存： 1024 根磁盘： 10G 其他的默认 点击创建云主机类型即可 界面会显示如下 创建公网络 (1)创建…...
开源CMS建站系统的安全优势有哪些？
近年来，用户们用开源CMS系统搭建网站的比例也越来越高，它为用户提供了便捷的网站建设解决方案。其中，亿坊CMS建站系统更因安全方面备受用户欢迎，下面带大家一起全面地了解一下。 一、什么是开源CMS？ 开源CMS指的是那…...
基于mybatis-plus历史背景下的多租户平台改造
前言 别误会，本篇【并不是】 要用mybatis-plus自身的多租户方案：在表中加一个tenant_id字段来区分不同的租户数据。并不是的！ 而是在假设业务系统已经使用mybatis-plus多数据源的前提下，如何实现业务数据库隔开的多租户系统。 这…...
后台管理系统用户退出登录方案实现
退出登录一直是一个通用的前端实现方案，对于退出登录而言，它的触发时机一般有两种： 1. 用户主动退出，即用户点击登录按钮之后退出； 2. 用户被动退出，Token过期或被 其他人"顶下来" 时退出&…...
)
C# 对象和类型(结构)
❝ 类和结构的区别 字段、属性和方法 按值和引用传送参数 方法重载 构造函数和静态构造函数 只读字段 Object类，其他类型都从该类派生而来 结构 如何将类保持在堆中，通过这种方式可以在数据的生存期上获得很大的灵活性，但性能会有一定的损失。…...
利用AI优化SEO关键词提升网站排名的策略与技巧
内容概要 随着数字化时代的发展，网站的可见性和流量成为了各个行业品牌获取客户的关键。特别是在竞争激烈的市场中，如何有效地提升网站排名成为了站长和营销人员的关注重点。利用AI技术优化SEO关键词无疑是一种行之有效的方法，通过分析和处理…...
“多维像素”多模态雷视融合技术构建自动驾驶超级感知能力｜上海昱感微电子创始人蒋宏GADS演讲预告
2025年1月14日，第四届全球自动驾驶峰会将在北京中关村国家自主创新示范区展示交易中心-会议中心举行。经过三年的发展，全球自动驾驶峰会已经成长为国内自动驾驶领域最具影响力、规模最大的产业峰会之一。在主会场下午的城市NOA专题论坛上，上海…...
基于机器学习的故障诊断（入门向）
一、原始信号的特征提取 1.EMD经验模态分解的作用 信号分析：EMD可以将信号分解为多个IMFs，每个IMF代表信号中的一个特定频率和幅度调制的成分。这使得EMD能够提供对信号的时频特征进行分析的能力（特征提取用到的）。信号去噪&…...
【延伸学习】智能软开关优化配置对比算例【sop】
目录 1 主要内容 算例模型 目标函数 2 部分程序 3 程序结果 3.1 sop选址定容优化模型 3.2 对比算例（不含sop） 3.3 对比算例（含光伏选址） 4 下载链接 1 主要内容 之前分享了《基于改进灵敏度分析的有源配电网智能软开关优…...
pytest 参数介绍
命令行参数描述常见使用案例-v / --verbose显示每个测试用例的详细信息，包括测试名称和状态pytest -v-s / --captureno禁用输出捕获，允许 print() 输出显示pytest -s-q / --quiet安静模式，减少输出，仅显示每个测试的通过/失败结果…...
源代码编译安装X11及相关库、vim，配置vim（1）
一、目录结构 如下。 所有X11及相关库装到mybuild，源代码下载到src下，解压，进入，编译安装。编译时指定--prefix到相同的目录，即上图中mybuild。 ./configure --prefixpwd/../../mybuild [CFLAGS"-I/path/to/X11…...
Node.js JXcore 打包教程
Node.js JXcore 打包教程 介绍 Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行时环境，它允许开发者使用 JavaScript 编写服务器端和网络应用程序。JXcore 是一个流行的 Node.js 发行版，它支持将 Node.js 应用程序打包成单一的可执行文件，使得部署和分发变得更加容易…...
windows 下基于docker 部署 guacamole
背景 Apache Guacamole 是一种无客户端或插件的远程桌面网关。它支持多个标准协议，如 VNC、RDP 和 SSH等。记录下部署过程。 步骤 1， 安装docker desktop choco install docker-desktop -y 注： 若windows 11还未安装wsl，则需要…...
『SQLite』子查询可以这样用
摘要：本节主要讲子查询的使用，可以在查询、更新、修改、删除等操作中使用。 什么是子查询？ 子查询是一种在 SELECT-SQL 语言中嵌套查询下层的程序模块。当一个查询是另一个查询的条件时，称之为子查询（Sub Query&#…...
夯实前端基础之HTML篇
知识点概览 HTML部分 1. DOM和BOM有什么区别？ DOM（Document Object Model） 当网页被加载时，浏览器会创建页面的对象文档模型，HTML DOM 模型被结构化为对象树 用途： 主要用于网页内容的动态修改和交互&…...
VVenC 编码器源码结构与接口函数介绍
VVenC VVenC（Fraunhofer Versatile Video Encoder）是由德国弗劳恩霍夫海因里希研究所（Fraunhofer Heinrich Hertz Institute, HHI）开发的一个开源的高效视频编码器。它实现了最新的视频编码标准——Versatile Video Coding (VVC)…...
【C++习题】20. 两个数组的交集
题目：349. 两个数组的交集 - 力扣（LeetCode） 链接🔗：349. 两个数组的交集 - 力扣（LeetCode） 题目： 代码： class Solution { public:// 函数功能：求两个数组…...
小R的蛋糕分享
小R的蛋糕分享 问题描述 小R手里有一个大小为 n 行 m 列的矩形蛋糕，每个小正方形区域都有一个代表美味度的整数。小R打算切割出一个正方形的小蛋糕给自己，而剩下的部分将给小S。她希望两人吃的部分的美味度之和尽量接近。 我们定义小R吃到的部分的美味度…...
基于Arduino的FPV头部追踪相机系统
构建FPV头部追踪相机：让你置身于遥控车辆之中！ 在遥控车辆和模型飞行器的世界中，第一人称视角（FPV）体验一直是爱好者们追求的目标。通过FPV头部追踪相机，你可以像坐在车辆或飞行器内部一样，自由…...
华为云AI开发平台ModelArts
华为云ModelArts：重塑AI开发流程的“智能引擎”与“创新加速器”！ 在人工智能浪潮席卷全球的2025年，企业拥抱AI的意愿空前高涨，但技术门槛高、流程复杂、资源投入巨大的现实，却让许多创新构想止步于实验室。数据科学家…...
业务系统对接大模型的基础方案：架构设计与关键步骤
业务系统对接大模型：架构设计与关键步骤 在当今数字化转型的浪潮中，大语言模型（LLM）已成为企业提升业务效率和创新能力的关键技术之一。将大模型集成到业务系统中，不仅可以优化用户体验，还能为业务决策提供…...
PPT|230页| 制造集团企业供应链端到端的数字化解决方案：从需求到结算的全链路业务闭环构建
制造业采购供应链管理是企业运营的核心环节，供应链协同管理在供应链上下游企业之间建立紧密的合作关系，通过信息共享、资源整合、业务协同等方式，实现供应链的全面管理和优化，提高供应链的效率和透明度，降低供应链的成…...
Qt Widget类解析与代码注释
#include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent): QWidget(parent), ui(new Ui::Widget) {ui->setupUi(this); }Widget::~Widget() {delete ui; }//解释这串代码，写上注释 当然可以！这段代码是 Qt …...
ElasticSearch搜索引擎之倒排索引及其底层算法
文章目录 一、搜索引擎1、什么是搜索引擎？2、搜索引擎的分类3、常用的搜索引擎4、搜索引擎的特点二、倒排索引1、简介2、为什么倒排索引不用B+树1.创建时间长，文件大。2.其次，树深，IO次数可怕。3.索引可能会失效。4.精准度差。三. 倒排索引四、算法1、Term Index的算法2、 …...
实现弹窗随键盘上移居中
实现弹窗随键盘上移的核心思路 在Android中，可以通过监听键盘的显示和隐藏事件，动态调整弹窗的位置。关键点在于获取键盘高度，并计算剩余屏幕空间以重新定位弹窗。 // 在Activity或Fragment中设置键盘监听 val rootView findViewById<V…...
Spring数据访问模块设计
前面我们已经完成了IoC和web模块的设计，聪明的码友立马就知道了，该到数据访问模块了，要不就这俩玩个6啊，查库势在必行，至此，它来了。 一、核心设计理念 1、痛点在哪 应用离不开数据（数据库、No…...
如何理解 IP 数据报中的 TTL？
目录 前言理解 前言 面试灵魂一问：说说对 IP 数据报中 TTL 的理解？我们都知道，IP 数据报由首部和数据两部分组成，首部又分为两部分：固定部分和可变部分，共占 20 字节，而即将讨论的 TTL 就位于首…...
深度学习习题2
1.如果增加神经网络的宽度，精确度会增加到一个特定阈值后，便开始降低。造成这一现象的可能原因是什么？ A、即使增加卷积核的数量，只有少部分的核会被用作预测 B、当卷积核数量增加时，神经网络的预测能力会降低 C、当卷…...
：观察者模式)
JS设计模式(4)：观察者模式
JS设计模式(4):观察者模式 一、引入 在开发中，我们经常会遇到这样的场景：一个对象的状态变化需要自动通知其他对象，比如： 电商平台中，商品库存变化时需要通知所有订阅该商品的用户；新闻网站中࿰…...