天坑！Spark+Hive+Paimon+Dolphinscheduler
背景：
数据中台项目使用Spark+Hive+Paimon做湖仓底层，调度任务使用的是基于Dolphinscheduler进行二开。在做离线脚本任务开发时，在Paimon库下执行非查询类SQL报错。
INSERT报错
DELETE报错
现状：
原始逻辑为数据中台中选择的Paimon数据源，实际上在Dolphinscheduler中是选择的Hive数据源。所以在Dolphinscheduler中，实际上是选择了一个SQL类型的任务节点，数据原类型选择Hive。执行后就会报以上两个错误。
排查思路以及解决方案：
在这种多组件复杂环境的情况下去排查问题，需要分段排查。首先确认是否是数据中台代码的问题。
1. 脱离数据中台直接在Dolphinscheduler创建一个工作流，任务节点选择SQL，选择Hive数据源执行insert代码。发现是同样的报错。
所以可以先排除是数据中台在创建Dolphinscheduler工作流的问题，但这不代表原逻辑正确。
2. Dolphinscheduler只是一个调度，除非是他无法实现这个功能，基本上不会出现问题，所以继续向下排查。
3. 排查Spark+Hive+Paimon
分别来看一下这三个组件在数据中台中的作用
Spark+Hive
在我们的中台中，是Spark on Hive 是Hive只作为存储角色，Spark负责sql解析优化，执行。也就是Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。
具体步骤如下：
-
通过SparkSQL，加载Hive的配置文件，获取到
相关文章：
天坑！Spark+Hive+Paimon+Dolphinscheduler
背景： 数据中台项目使用Spark+Hive+Paimon做湖仓底层，调度任务使用的是基于Dolphinscheduler进行二开。在做离线脚本任务开发时，在Paimon库下执行非查询类SQL报错。 INSERT报错 DELETE报错 现状： 原始逻辑为数据中台中选择的Paimon数据源，实际上在Dolphinscheduler中是…...
JAVA——IO框架
目录 一、框架 二、导入框架步骤 三、测试 一、框架 框架就是为了解决某类问题，编写的一套类、接口等。大多数框架都是第三方研发的 好处: 在框架的基础上开发，提高开发效率 框架的形式：一般是把类、接口编译成class形式，再…...
项目管理系统如何实现项目申报流程自动化？
传统的项目申报流程往往繁琐复杂，涉及众多环节和部门间的协作，不仅耗时费力，还容易因人为疏忽而导致错误或延误。随着信息技术的飞速发展，项目管理系统的出现为项目申报流程的自动化提供了可能，极大地提升了申报效率和…...
ndb9300public-ndb2excel简介
1 引言 ndb9300是一个自己定义的机载导航数据库劳作（不敢称为项目）代号，其中3表示是第3种数据库。 多年前，对在役民航客机中的某型机载导航数据库的二进制文件进行分析，弄明白它的数据结构后做了几个工具，…...
C++：const成员
const修饰成员变量，要在初始化列表中进行初始化。 const修饰成员函数，要放在函数后，称为常函数。常函数不能修改普通成员变量。 const修饰的对象，称为常对象。常对象不能修改普通成员变量，只能读取。 常对象只能使用…...
基于ROS的激光雷达点云物体检测
环境 RTX 2060（后面关于算力） ubuntu 18.04 ROS melodic （ubuntu 18.04安装ROS melodic可以参看我这篇文章ubuntu 18.04安装ROS系统） CUDA 10.0 cudnn 7.6.5 caffe cmake 3.18.0（不能低于3.12.2） opencv 3…...
大模型训练环境搭建
硬件资源说明 本教程基于GPU 3090的服务器 资源类型 型号 核心指标 CPU Intel(R) Xeon(R) Bronze 3204 CPU 1.90GHz 12核 内存 / 125Gi GPU NVIDIA GeForce RTX 3090 24G显存 注意：接下来的部分命令需要使用科学上网，需要事先配置好。 安…...
使用Java调用GeoTools实现全球国家矢量数据入库实战
目录 前言 一、相关数据介绍 1、无空间参考的数据 2、有空间参考的数据 3、空间信息表物理模型 二、全球国家空间数据入库 1、后台实体类图 2、后台实体对象关键代码 三、时空数据入库实践 1、读取无空间参考数据 2、入库成果及注意事项 四、总结 前言 在当今世界&…...
计算机毕业设计 基于Python的广东旅游数据分析系统的设计与实现 Python+Django+Vue Python爬虫 附源码 讲解 文档
🍊作者：计算机编程-吉哥 🍊简介：专业从事JavaWeb程序开发，微信小程序开发，定制化项目、 源码、代码讲解、文档撰写、ppt制作。做自己喜欢的事，生活就是快乐的。 🍊心愿：点…...
Springboo通过http请求下载文件到服务器
这个方法将直接处理从URL下载数据并将其保存到文件的整个过程。下面是一个这样的方法示例： import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.HttpURLConnection…...
使用CSS实现酷炫加载
使用CSS实现酷炫加载 效果展示 整体页面布局 <div class"container"></div>使用JavaScript添加loading加载动画的元素 document.addEventListener("DOMContentLoaded", () > {let container document.querySelector(".container&q…...
【STM32-HAL库】AHT10温湿度传感器使用（STM32F407ZGT6配置i2c）（附带工程下载连接）
一、温湿度传感器： 温湿度传感器是一种能够检测环境中的温度和湿度，并将其转化为电信号输出的装置。它在智能家居、工业自动化、气象监测、农业等领域有着广泛的应用。 原理： 温湿度传感器通常基于不同的物理原理，以下是一些常见…...
深入理解网络通信: 长连接、短连接与WebSocket
在现代网络应用开发中,选择合适的通信方式对于应用的性能、效率和用户体验至关重要。本文将深入探讨三种常见的网络通信方式:长连接、短连接和WebSocket,分析它们的特点、区别以及适用场景。 1. 短连接 © ivwdcwso (ID: u012172506) 1.1 定义 短连接是指客户端和服务器…...
Linux·环境变量与进程地址空间
1. 命令行参数 各位可能见过main函数也是有参数的，只是我们平时写的代码都比较简单，用不到main函数的参数，下面我们看一下main函数的参数是什么又是怎么用的 我们看这样一段代码 其编译运行后的效果是这样的 我们将main函数后面的那两个参数叫…...
MYSQL 乐观锁
乐观锁是一种用于处理并发控制的策略，特别适用于读多写少的场景。在 MySQL 数据库中，乐观锁通常通过版本号或时间戳来实现。下面将详细介绍乐观锁的概念、实现方式以及在 MySQL 中的应用。 1. 乐观锁的概念 乐观锁的基本思想是：在对数据进行…...
SpringCloud入门（十二）全局过滤器和跨域
一、全局过滤器 全局过滤器的作用也是处理一切进入网关的请求和微服务响应，与GatewayFilter的作用一样。 区别在于GatewayFilter通过配置定义，处理逻辑是固定的，如果我们希望拦截请求，做自己的业务逻辑则没办法实现。而GlobalFilt…...
51单片机系列-按键检测原理
🌈个人主页：羽晨同学 💫个人格言:“成为自己未来的主人~” 独立按键是检测低电平的。 下面我们来看一张对应的电路原理图： 在这张图当中，P1，P2，P3内部都上拉了电阻，但是P0没有&am…...
基于元神操作系统实现NTFS文件操作（五）
1. 背景 本文主要介绍$Root元文件的解析。先介绍元文件的构成及各个部分的结构，然后结合上一篇博文中读取到的元文件内容，对测试磁盘中目标分区的根目录进行展示。 2. $Root元文件解析 （1）$Root元文件的结构 $Root元文件由两部…...
AutoCAD学习
AutoCAD学习 最基本操作 命令用途说明空格键确认键也可以是重复刚才的命令回车键也是确认键鼠标右键也可以选择确认LINE、L直线命令绘制直线DLI线性尺寸标注DIMLINEAR鼠标滚轮滚动放大缩小视图界面鼠标中键按住移动视图DAL对齐线性标注DIMALIGNED F8 正交模式ORTHOMODE Tab 切换…...
go的一些知识点
一.package 1.新建项目 新建一个itying文件夹，在里面使用命令 就能生成一个go项目。生成一个go.mod 2.调用别的包的代码 按照下面的目录层级生成代码 //clac.go package calcfunc Add(x, y int) int {return x y } func Sub(x, y int) int {return x - y }…...
UVa 255 Correct Move
题目分析 这是一道关于国际象棋棋盘上王和后移动规则的模拟问题。题目描述了一个 888 \times 888 的棋盘，格子编号从 000 到 636363，编号方式为逐行排列（第 000 行：0∼70 \sim 70∼7，第 111 行：8∼158 \sim…...
如何高效配置Diva Mod Manager：初音未来MOD管理完整操作指南
如何高效配置Diva Mod Manager：初音未来MOD管理完整操作指南 【免费下载链接】DivaModManager 项目地址: https://gitcode.com/gh_mirrors/di/DivaModManager Diva Mod Manager是一款专为《初音未来：Project Diva Mega Mix》设计的MOD管理工具&a…...
2026年AI面试准确率TOP榜：92%一致性背后，谁在定义行业新标准？
当年ChatGPT的横空出世，让全世界第一次见识到通用大模型的对话能力；DeepSeek 的爆发，则将AI的火种真正播撒到中国各行各业的毛细血管中，而在人力资源行业作为数字化转型的前沿阵地，首当其冲迎来了AI的全面渗透 &#x…...
具身智能：软件测试从业者的新赛道
当软件测试的触角还在数字世界里深耕代码逻辑、验证功能完整性时，具身智能正以“AI实体”的姿态，打破虚拟与现实的边界，为测试行业开辟出一片全新的疆域。作为软件测试从业者，理解具身智能的技术内核、发展现状与未来趋势…...
XBOX360 KINECT体感游戏合集109个
实体机模拟器都可以用，模拟器游戏说明： 1，解压后把游戏文件夹放进模拟器Roms文件夹 2、模拟器运行文件为xenia_canary.exe。点击File—Open，找到游戏目录下的Roms文件夹，一直打开下级文件夹，直到看到以20位…...
掌握AI视频制作：Pixelle-Video智能创作平台实战指南
掌握AI视频制作：Pixelle-Video智能创作平台实战指南 【免费下载链接】Pixelle-Video 🚀 AI 全自动短视频引擎 | AI Fully Automated Short Video Engine 项目地址: https://gitcode.com/GitHub_Trending/pi/Pixelle-Video 你是否曾经梦想过拥有一…...
13个 AI Agent 的基础概念
1、AgentAgent依靠大语言模型作为核心，同时拥有任务规划、信息记忆以及工具调用三大能力，能够自行拆分繁杂任务，反复执行操作，接收实时反馈并一步步推进流程直至任务收尾。它跳出了单纯输出文字的局限，不再只会被动听从…...
Python核心基础
本文摘要：Python核心基础章节系统讲解了编程基础知识，主要包括：1.字面量的概念与写法，强调字符串必须使用引号包裹；2.变量与常量的定义与使用，介绍命名规则和三种命名风格；3.注释的两种形式&…...
YOLOv8无人机红外识别检测系统（项目源码+YOLO数据集+模型权重+UI界面+python+深度学习+环境配置）
摘要 面向无人机平台的红外目标检测在夜间及低能见度环境下具有重要应用价值。本文基于YOLOv8构建了一套针对车辆与行人的红外检测系统，数据集包含4类目标（Car、DontCare、OtherVehicle、Person），共计10128张训练图像、715张验证…...
LiveSplit终极指南：为速度跑者量身定制的精准计时神器
LiveSplit终极指南：为速度跑者量身定制的精准计时神器 【免费下载链接】LiveSplit A sleek, highly customizable timer for speedrunners. 项目地址: https://gitcode.com/gh_mirrors/li/LiveSplit LiveSplit是一款专为速度跑者打造的轻量级、高度可定制的计…...