天坑！Spark+Hive+Paimon+Dolphinscheduler
背景：
数据中台项目使用Spark+Hive+Paimon做湖仓底层，调度任务使用的是基于Dolphinscheduler进行二开。在做离线脚本任务开发时，在Paimon库下执行非查询类SQL报错。
INSERT报错
DELETE报错
现状：
原始逻辑为数据中台中选择的Paimon数据源，实际上在Dolphinscheduler中是选择的Hive数据源。所以在Dolphinscheduler中，实际上是选择了一个SQL类型的任务节点，数据原类型选择Hive。执行后就会报以上两个错误。
排查思路以及解决方案：
在这种多组件复杂环境的情况下去排查问题，需要分段排查。首先确认是否是数据中台代码的问题。
1. 脱离数据中台直接在Dolphinscheduler创建一个工作流，任务节点选择SQL，选择Hive数据源执行insert代码。发现是同样的报错。
所以可以先排除是数据中台在创建Dolphinscheduler工作流的问题，但这不代表原逻辑正确。
2. Dolphinscheduler只是一个调度，除非是他无法实现这个功能，基本上不会出现问题，所以继续向下排查。
3. 排查Spark+Hive+Paimon
分别来看一下这三个组件在数据中台中的作用
Spark+Hive
在我们的中台中，是Spark on Hive 是Hive只作为存储角色，Spark负责sql解析优化，执行。也就是Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。
具体步骤如下：
-
通过SparkSQL，加载Hive的配置文件，获取到
相关文章：
天坑！Spark+Hive+Paimon+Dolphinscheduler
背景： 数据中台项目使用Spark+Hive+Paimon做湖仓底层，调度任务使用的是基于Dolphinscheduler进行二开。在做离线脚本任务开发时，在Paimon库下执行非查询类SQL报错。 INSERT报错 DELETE报错 现状： 原始逻辑为数据中台中选择的Paimon数据源，实际上在Dolphinscheduler中是…...
JAVA——IO框架
目录 一、框架 二、导入框架步骤 三、测试 一、框架 框架就是为了解决某类问题，编写的一套类、接口等。大多数框架都是第三方研发的 好处: 在框架的基础上开发，提高开发效率 框架的形式：一般是把类、接口编译成class形式，再…...
项目管理系统如何实现项目申报流程自动化？
传统的项目申报流程往往繁琐复杂，涉及众多环节和部门间的协作，不仅耗时费力，还容易因人为疏忽而导致错误或延误。随着信息技术的飞速发展，项目管理系统的出现为项目申报流程的自动化提供了可能，极大地提升了申报效率和…...
ndb9300public-ndb2excel简介
1 引言 ndb9300是一个自己定义的机载导航数据库劳作（不敢称为项目）代号，其中3表示是第3种数据库。 多年前，对在役民航客机中的某型机载导航数据库的二进制文件进行分析，弄明白它的数据结构后做了几个工具，…...
C++：const成员
const修饰成员变量，要在初始化列表中进行初始化。 const修饰成员函数，要放在函数后，称为常函数。常函数不能修改普通成员变量。 const修饰的对象，称为常对象。常对象不能修改普通成员变量，只能读取。 常对象只能使用…...
基于ROS的激光雷达点云物体检测
环境 RTX 2060（后面关于算力） ubuntu 18.04 ROS melodic （ubuntu 18.04安装ROS melodic可以参看我这篇文章ubuntu 18.04安装ROS系统） CUDA 10.0 cudnn 7.6.5 caffe cmake 3.18.0（不能低于3.12.2） opencv 3…...
大模型训练环境搭建
硬件资源说明 本教程基于GPU 3090的服务器 资源类型 型号 核心指标 CPU Intel(R) Xeon(R) Bronze 3204 CPU 1.90GHz 12核 内存 / 125Gi GPU NVIDIA GeForce RTX 3090 24G显存 注意：接下来的部分命令需要使用科学上网，需要事先配置好。 安…...
使用Java调用GeoTools实现全球国家矢量数据入库实战
目录 前言 一、相关数据介绍 1、无空间参考的数据 2、有空间参考的数据 3、空间信息表物理模型 二、全球国家空间数据入库 1、后台实体类图 2、后台实体对象关键代码 三、时空数据入库实践 1、读取无空间参考数据 2、入库成果及注意事项 四、总结 前言 在当今世界&…...
计算机毕业设计 基于Python的广东旅游数据分析系统的设计与实现 Python+Django+Vue Python爬虫 附源码 讲解 文档
🍊作者：计算机编程-吉哥 🍊简介：专业从事JavaWeb程序开发，微信小程序开发，定制化项目、 源码、代码讲解、文档撰写、ppt制作。做自己喜欢的事，生活就是快乐的。 🍊心愿：点…...
Springboo通过http请求下载文件到服务器
这个方法将直接处理从URL下载数据并将其保存到文件的整个过程。下面是一个这样的方法示例： import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.HttpURLConnection…...
使用CSS实现酷炫加载
使用CSS实现酷炫加载 效果展示 整体页面布局 <div class"container"></div>使用JavaScript添加loading加载动画的元素 document.addEventListener("DOMContentLoaded", () > {let container document.querySelector(".container&q…...
【STM32-HAL库】AHT10温湿度传感器使用（STM32F407ZGT6配置i2c）（附带工程下载连接）
一、温湿度传感器： 温湿度传感器是一种能够检测环境中的温度和湿度，并将其转化为电信号输出的装置。它在智能家居、工业自动化、气象监测、农业等领域有着广泛的应用。 原理： 温湿度传感器通常基于不同的物理原理，以下是一些常见…...
深入理解网络通信: 长连接、短连接与WebSocket
在现代网络应用开发中,选择合适的通信方式对于应用的性能、效率和用户体验至关重要。本文将深入探讨三种常见的网络通信方式:长连接、短连接和WebSocket,分析它们的特点、区别以及适用场景。 1. 短连接 © ivwdcwso (ID: u012172506) 1.1 定义 短连接是指客户端和服务器…...
Linux·环境变量与进程地址空间
1. 命令行参数 各位可能见过main函数也是有参数的，只是我们平时写的代码都比较简单，用不到main函数的参数，下面我们看一下main函数的参数是什么又是怎么用的 我们看这样一段代码 其编译运行后的效果是这样的 我们将main函数后面的那两个参数叫…...
MYSQL 乐观锁
乐观锁是一种用于处理并发控制的策略，特别适用于读多写少的场景。在 MySQL 数据库中，乐观锁通常通过版本号或时间戳来实现。下面将详细介绍乐观锁的概念、实现方式以及在 MySQL 中的应用。 1. 乐观锁的概念 乐观锁的基本思想是：在对数据进行…...
SpringCloud入门（十二）全局过滤器和跨域
一、全局过滤器 全局过滤器的作用也是处理一切进入网关的请求和微服务响应，与GatewayFilter的作用一样。 区别在于GatewayFilter通过配置定义，处理逻辑是固定的，如果我们希望拦截请求，做自己的业务逻辑则没办法实现。而GlobalFilt…...
51单片机系列-按键检测原理
🌈个人主页：羽晨同学 💫个人格言:“成为自己未来的主人~” 独立按键是检测低电平的。 下面我们来看一张对应的电路原理图： 在这张图当中，P1，P2，P3内部都上拉了电阻，但是P0没有&am…...
基于元神操作系统实现NTFS文件操作（五）
1. 背景 本文主要介绍$Root元文件的解析。先介绍元文件的构成及各个部分的结构，然后结合上一篇博文中读取到的元文件内容，对测试磁盘中目标分区的根目录进行展示。 2. $Root元文件解析 （1）$Root元文件的结构 $Root元文件由两部…...
AutoCAD学习
AutoCAD学习 最基本操作 命令用途说明空格键确认键也可以是重复刚才的命令回车键也是确认键鼠标右键也可以选择确认LINE、L直线命令绘制直线DLI线性尺寸标注DIMLINEAR鼠标滚轮滚动放大缩小视图界面鼠标中键按住移动视图DAL对齐线性标注DIMALIGNED F8 正交模式ORTHOMODE Tab 切换…...
go的一些知识点
一.package 1.新建项目 新建一个itying文件夹，在里面使用命令 就能生成一个go项目。生成一个go.mod 2.调用别的包的代码 按照下面的目录层级生成代码 //clac.go package calcfunc Add(x, y int) int {return x y } func Sub(x, y int) int {return x - y }…...
C++初阶-list的底层
目录 1.std::list实现的所有代码 2.list的简单介绍 2.1实现list的类 2.2_list_iterator的实现 2.2.1_list_iterator实现的原因和好处 2.2.2_list_iterator实现 2.3_list_node的实现 2.3.1. 避免递归的模板依赖 2.3.2. 内存布局一致性 2.3.3. 类型安全的替代方案 2.3.…...
＜6＞-MySQL表的增删查改
目录 一，create（创建表） 二，retrieve（查询表） 1，select列 2，where条件 三，update（更新表） 四，delete（删除表…...
Oracle查询表空间大小
1 查询数据库中所有的表空间以及表空间所占空间的大小 SELECTtablespace_name,sum( bytes ) / 1024 / 1024 FROMdba_data_files GROUP BYtablespace_name; 2 Oracle查询表空间大小及每个表所占空间的大小 SELECTtablespace_name,file_id,file_name,round( bytes / ( 1024 …...
用docker来安装部署freeswitch记录
今天刚才测试一个callcenter的项目，所以尝试安装freeswitch 1、使用轩辕镜像 - 中国开发者首选的专业 Docker 镜像加速服务平台 编辑下面/etc/docker/daemon.json文件为 {"registry-mirrors": ["https://docker.xuanyuan.me"] }同时可以进入轩…...
LINUX 69 FTP 客服管理系统 man 5 /etc/vsftpd/vsftpd.conf
FTP 客服管理系统 实现kefu123登录，不允许匿名访问，kefu只能访问/data/kefu目录，不能查看其他目录 创建账号密码 useradd kefu echo 123|passwd -stdin kefu [rootcode caozx26420]# echo 123|passwd --stdin kefu 更改用户 kefu 的密码…...
Linux 中如何提取压缩文件 ？
Linux 是一种流行的开源操作系统，它提供了许多工具来管理、压缩和解压缩文件。压缩文件有助于节省存储空间，使数据传输更快。本指南将向您展示如何在 Linux 中提取不同类型的压缩文件。 1. Unpacking ZIP Files ZIP 文件是非常常见的，要在 …...
纯 Java 项目（非 SpringBoot）集成 Mybatis-Plus 和 Mybatis-Plus-Join
纯 Java 项目（非 SpringBoot）集成 Mybatis-Plus 和 Mybatis-Plus-Join 1、依赖1.1、依赖版本1.2、pom.xml 2、代码2.1、SqlSession 构造器2.2、MybatisPlus代码生成器2.3、获取 config.yml 配置2.3.1、config.yml2.3.2、项目配置类 2.4、ftl 模板2.4.1、…...
【MATLAB代码】基于最大相关熵准则（MCC）的三维鲁棒卡尔曼滤波算法（MCC-KF），附源代码|订阅专栏后可直接查看
文章所述的代码实现了基于最大相关熵准则（MCC）的三维鲁棒卡尔曼滤波算法（MCC-KF），针对传感器观测数据中存在的脉冲型异常噪声问题，通过非线性加权机制提升滤波器的抗干扰能力。代码通过对比传统KF与MCC-KF在含异常值场景下的表现，验证了后者在状态估计鲁棒性方面的显著优…...
数学建模-滑翔伞伞翼面积的设计，运动状态计算和优化 ！
我们考虑滑翔伞的伞翼面积设计问题以及运动状态描述。滑翔伞的性能主要取决于伞翼面积、气动特性以及飞行员的重量。我们的目标是建立数学模型来描述滑翔伞的运动状态，并优化伞翼面积的设计。 一、问题分析 滑翔伞在飞行过程中受到重力、升力和阻力的作用。升力和阻力与伞翼面…...
论文阅读：Matting by Generation
今天介绍一篇关于 matting 抠图的文章，抠图也算是计算机视觉里面非常经典的一个任务了。从早期的经典算法到如今的深度学习算法，已经有很多的工作和这个任务相关。这两年 diffusion 模型很火，大家又开始用 diffusion 模型做各种 CV 任务了&am…...