天坑！Spark+Hive+Paimon+Dolphinscheduler
背景：
数据中台项目使用Spark+Hive+Paimon做湖仓底层，调度任务使用的是基于Dolphinscheduler进行二开。在做离线脚本任务开发时，在Paimon库下执行非查询类SQL报错。
INSERT报错
DELETE报错
现状：
原始逻辑为数据中台中选择的Paimon数据源，实际上在Dolphinscheduler中是选择的Hive数据源。所以在Dolphinscheduler中，实际上是选择了一个SQL类型的任务节点，数据原类型选择Hive。执行后就会报以上两个错误。
排查思路以及解决方案：
在这种多组件复杂环境的情况下去排查问题，需要分段排查。首先确认是否是数据中台代码的问题。
1. 脱离数据中台直接在Dolphinscheduler创建一个工作流，任务节点选择SQL，选择Hive数据源执行insert代码。发现是同样的报错。
所以可以先排除是数据中台在创建Dolphinscheduler工作流的问题，但这不代表原逻辑正确。
2. Dolphinscheduler只是一个调度，除非是他无法实现这个功能，基本上不会出现问题，所以继续向下排查。
3. 排查Spark+Hive+Paimon
分别来看一下这三个组件在数据中台中的作用
Spark+Hive
在我们的中台中，是Spark on Hive 是Hive只作为存储角色，Spark负责sql解析优化，执行。也就是Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。
具体步骤如下：
-
通过SparkSQL，加载Hive的配置文件，获取到
相关文章：
天坑！Spark+Hive+Paimon+Dolphinscheduler
背景： 数据中台项目使用Spark+Hive+Paimon做湖仓底层，调度任务使用的是基于Dolphinscheduler进行二开。在做离线脚本任务开发时，在Paimon库下执行非查询类SQL报错。 INSERT报错 DELETE报错 现状： 原始逻辑为数据中台中选择的Paimon数据源，实际上在Dolphinscheduler中是…...
JAVA——IO框架
目录 一、框架 二、导入框架步骤 三、测试 一、框架 框架就是为了解决某类问题，编写的一套类、接口等。大多数框架都是第三方研发的 好处: 在框架的基础上开发，提高开发效率 框架的形式：一般是把类、接口编译成class形式，再…...
项目管理系统如何实现项目申报流程自动化？
传统的项目申报流程往往繁琐复杂，涉及众多环节和部门间的协作，不仅耗时费力，还容易因人为疏忽而导致错误或延误。随着信息技术的飞速发展，项目管理系统的出现为项目申报流程的自动化提供了可能，极大地提升了申报效率和…...
ndb9300public-ndb2excel简介
1 引言 ndb9300是一个自己定义的机载导航数据库劳作（不敢称为项目）代号，其中3表示是第3种数据库。 多年前，对在役民航客机中的某型机载导航数据库的二进制文件进行分析，弄明白它的数据结构后做了几个工具，…...
C++：const成员
const修饰成员变量，要在初始化列表中进行初始化。 const修饰成员函数，要放在函数后，称为常函数。常函数不能修改普通成员变量。 const修饰的对象，称为常对象。常对象不能修改普通成员变量，只能读取。 常对象只能使用…...
基于ROS的激光雷达点云物体检测
环境 RTX 2060（后面关于算力） ubuntu 18.04 ROS melodic （ubuntu 18.04安装ROS melodic可以参看我这篇文章ubuntu 18.04安装ROS系统） CUDA 10.0 cudnn 7.6.5 caffe cmake 3.18.0（不能低于3.12.2） opencv 3…...
大模型训练环境搭建
硬件资源说明 本教程基于GPU 3090的服务器 资源类型 型号 核心指标 CPU Intel(R) Xeon(R) Bronze 3204 CPU 1.90GHz 12核 内存 / 125Gi GPU NVIDIA GeForce RTX 3090 24G显存 注意：接下来的部分命令需要使用科学上网，需要事先配置好。 安…...
使用Java调用GeoTools实现全球国家矢量数据入库实战
目录 前言 一、相关数据介绍 1、无空间参考的数据 2、有空间参考的数据 3、空间信息表物理模型 二、全球国家空间数据入库 1、后台实体类图 2、后台实体对象关键代码 三、时空数据入库实践 1、读取无空间参考数据 2、入库成果及注意事项 四、总结 前言 在当今世界&…...
计算机毕业设计 基于Python的广东旅游数据分析系统的设计与实现 Python+Django+Vue Python爬虫 附源码 讲解 文档
🍊作者：计算机编程-吉哥 🍊简介：专业从事JavaWeb程序开发，微信小程序开发，定制化项目、 源码、代码讲解、文档撰写、ppt制作。做自己喜欢的事，生活就是快乐的。 🍊心愿：点…...
Springboo通过http请求下载文件到服务器
这个方法将直接处理从URL下载数据并将其保存到文件的整个过程。下面是一个这样的方法示例： import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.HttpURLConnection…...
使用CSS实现酷炫加载
使用CSS实现酷炫加载 效果展示 整体页面布局 <div class"container"></div>使用JavaScript添加loading加载动画的元素 document.addEventListener("DOMContentLoaded", () > {let container document.querySelector(".container&q…...
【STM32-HAL库】AHT10温湿度传感器使用（STM32F407ZGT6配置i2c）（附带工程下载连接）
一、温湿度传感器： 温湿度传感器是一种能够检测环境中的温度和湿度，并将其转化为电信号输出的装置。它在智能家居、工业自动化、气象监测、农业等领域有着广泛的应用。 原理： 温湿度传感器通常基于不同的物理原理，以下是一些常见…...
深入理解网络通信: 长连接、短连接与WebSocket
在现代网络应用开发中,选择合适的通信方式对于应用的性能、效率和用户体验至关重要。本文将深入探讨三种常见的网络通信方式:长连接、短连接和WebSocket,分析它们的特点、区别以及适用场景。 1. 短连接 © ivwdcwso (ID: u012172506) 1.1 定义 短连接是指客户端和服务器…...
Linux·环境变量与进程地址空间
1. 命令行参数 各位可能见过main函数也是有参数的，只是我们平时写的代码都比较简单，用不到main函数的参数，下面我们看一下main函数的参数是什么又是怎么用的 我们看这样一段代码 其编译运行后的效果是这样的 我们将main函数后面的那两个参数叫…...
MYSQL 乐观锁
乐观锁是一种用于处理并发控制的策略，特别适用于读多写少的场景。在 MySQL 数据库中，乐观锁通常通过版本号或时间戳来实现。下面将详细介绍乐观锁的概念、实现方式以及在 MySQL 中的应用。 1. 乐观锁的概念 乐观锁的基本思想是：在对数据进行…...
SpringCloud入门（十二）全局过滤器和跨域
一、全局过滤器 全局过滤器的作用也是处理一切进入网关的请求和微服务响应，与GatewayFilter的作用一样。 区别在于GatewayFilter通过配置定义，处理逻辑是固定的，如果我们希望拦截请求，做自己的业务逻辑则没办法实现。而GlobalFilt…...
51单片机系列-按键检测原理
🌈个人主页：羽晨同学 💫个人格言:“成为自己未来的主人~” 独立按键是检测低电平的。 下面我们来看一张对应的电路原理图： 在这张图当中，P1，P2，P3内部都上拉了电阻，但是P0没有&am…...
基于元神操作系统实现NTFS文件操作（五）
1. 背景 本文主要介绍$Root元文件的解析。先介绍元文件的构成及各个部分的结构，然后结合上一篇博文中读取到的元文件内容，对测试磁盘中目标分区的根目录进行展示。 2. $Root元文件解析 （1）$Root元文件的结构 $Root元文件由两部…...
AutoCAD学习
AutoCAD学习 最基本操作 命令用途说明空格键确认键也可以是重复刚才的命令回车键也是确认键鼠标右键也可以选择确认LINE、L直线命令绘制直线DLI线性尺寸标注DIMLINEAR鼠标滚轮滚动放大缩小视图界面鼠标中键按住移动视图DAL对齐线性标注DIMALIGNED F8 正交模式ORTHOMODE Tab 切换…...
go的一些知识点
一.package 1.新建项目 新建一个itying文件夹，在里面使用命令 就能生成一个go项目。生成一个go.mod 2.调用别的包的代码 按照下面的目录层级生成代码 //clac.go package calcfunc Add(x, y int) int {return x y } func Sub(x, y int) int {return x - y }…...
Golang dig框架与GraphQL的完美结合
将 Go 的 Dig 依赖注入框架与 GraphQL 结合使用，可以显著提升应用程序的可维护性、可测试性以及灵活性。 Dig 是一个强大的依赖注入容器，能够帮助开发者更好地管理复杂的依赖关系，而 GraphQL 则是一种用于 API 的查询语言，能够提…...
在四层代理中还原真实客户端ngx_stream_realip_module
一、模块原理与价值 PROXY Protocol 回溯 第三方负载均衡（如 HAProxy、AWS NLB、阿里 SLB）发起上游连接时，将真实客户端 IP/Port 写入 PROXY Protocol v1/v2 头。Stream 层接收到头部后，ngx_stream_realip_module 从中提取原始信息…...
相机从app启动流程
一、流程框架图 二、具体流程分析 1、得到cameralist和对应的静态信息 目录如下： 重点代码分析： 启动相机前，先要通过getCameraIdList获取camera的个数以及id，然后可以通过getCameraCharacteristics获取对应id camera的capabilities（静态信息）进行一些openCamera前的…...
深度学习习题2
1.如果增加神经网络的宽度，精确度会增加到一个特定阈值后，便开始降低。造成这一现象的可能原因是什么？ A、即使增加卷积核的数量，只有少部分的核会被用作预测 B、当卷积核数量增加时，神经网络的预测能力会降低 C、当卷…...
《Docker》架构
文章目录 架构模式单机架构应用数据分离架构应用服务器集群架构读写分离/主从分离架构冷热分离架构垂直分库架构微服务架构容器编排架构什么是容器，docker，镜像，k8s 架构模式 单机架构 单机架构其实就是应用服务器和单机服务器都部署在同一…...
二维FDTD算法仿真
二维FDTD算法仿真，并带完全匹配层，输入波形为高斯波、平面波 FDTD_二维/FDTD.zip , 6075 FDTD_二维/FDTD_31.m , 1029 FDTD_二维/FDTD_32.m , 2806 FDTD_二维/FDTD_33.m , 3782 FDTD_二维/FDTD_34.m , 4182 FDTD_二维/FDTD_35.m , 4793...
GraphRAG优化新思路-开源的ROGRAG框架
目前的如微软开源的GraphRAG的工作流程都较为复杂，难以孤立地评估各个组件的贡献，传统的检索方法在处理复杂推理任务时可能不够有效，特别是在需要理解实体间关系或多跳知识的情况下。先说结论，看完后感觉这个框架性能上不会比Grap…...
智能照明系统：具备认知能力的“光神经网络”
智能照明系统是物联网技术与传统照明深度融合的产物，其本质是通过感知环境、解析需求、自主决策的闭环控制，重构光与人、空间、环境的关系。这一系统由智能光源、多维传感器、边缘计算单元及云端管理平台构成，形成具备认知能力的“光神经网络…...
Docker 镜像上传到 AWS ECR：从构建到推送的全流程
一、在 EC2 实例中安装 Docker（适用于 Amazon Linux 2） 步骤 1：连接到 EC2 实例 ssh -i your-key.pem ec2-useryour-ec2-public-ip步骤 2：安装 Docker sudo yum update -y sudo amazon-linux-extras enable docker sudo yum in…...
【Zephyr 系列 14】使用 MCUboot 实现 BLE OTA 升级机制：构建安全可靠的固件分发系统
🧠关键词：Zephyr、MCUboot、OTA 升级、BLE DFU、双分区、Bootloader、安全固件管理 📌面向读者：希望基于 Zephyr 为 BLE 设备加入安全 OTA 升级功能的开发者 📊预计字数：5200+ 字 🧭 前言：为什么你需要 OTA？ 随着设备部署数量增多与产品生命周期延长，远程升级（…...