当前位置： 首页 > news >正文

天坑！Spark+Hive+Paimon+Dolphinscheduler

news 2026/4/2 9:14:27

背景：

数据中台项目使用Spark+Hive+Paimon做湖仓底层，调度任务使用的是基于Dolphinscheduler进行二开。在做离线脚本任务开发时，在Paimon库下执行非查询类SQL报错。

INSERT报错

DELETE报错

 现状：

原始逻辑为数据中台中选择的Paimon数据源，实际上在Dolphinscheduler中是选择的Hive数据源。所以在Dolphinscheduler中，实际上是选择了一个SQL类型的任务节点，数据原类型选择Hive。执行后就会报以上两个错误。

排查思路以及解决方案：

在这种多组件复杂环境的情况下去排查问题，需要分段排查。首先确认是否是数据中台代码的问题。

1. 脱离数据中台直接在Dolphinscheduler创建一个工作流，任务节点选择SQL，选择Hive数据源执行insert代码。发现是同样的报错。

所以可以先排除是数据中台在创建Dolphinscheduler工作流的问题，但这不代表原逻辑正确。

2. Dolphinscheduler只是一个调度，除非是他无法实现这个功能，基本上不会出现问题，所以继续向下排查。

3. 排查Spark+Hive+Paimon

分别来看一下这三个组件在数据中台中的作用

Spark+Hive

在我们的中台中，是Spark on Hive 是Hive只作为存储角色，Spark负责sql解析优化，执行。也就是Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。

具体步骤如下：

  • 通过SparkSQL，加载Hive的配置文件，获取到

相关文章：

天坑！Spark+Hive+Paimon+Dolphinscheduler

背景： 数据中台项目使用Spark+Hive+Paimon做湖仓底层，调度任务使用的是基于Dolphinscheduler进行二开。在做离线脚本任务开发时，在Paimon库下执行非查询类SQL报错。 INSERT报错 DELETE报错 现状： 原始逻辑为数据中台中选择的Paimon数据源，实际上在Dolphinscheduler中是…...

编程日记 2024/10/4 21:08:37

JAVA——IO框架

目录 一、框架 二、导入框架步骤 三、测试 一、框架 框架就是为了解决某类问题，编写的一套类、接口等。大多数框架都是第三方研发的 好处: 在框架的基础上开发，提高开发效率 框架的形式：一般是把类、接口编译成class形式，再…...

编程日记 2024/10/4 21:04:34

项目管理系统如何实现项目申报流程自动化？

传统的项目申报流程往往繁琐复杂，涉及众多环节和部门间的协作，不仅耗时费力，还容易因人为疏忽而导致错误或延误。随着信息技术的飞速发展，项目管理系统的出现为项目申报流程的自动化提供了可能，极大地提升了申报效率和…...

编程日记 2024/10/4 21:03:32

ndb9300public-ndb2excel简介

1 引言 ndb9300是一个自己定义的机载导航数据库劳作（不敢称为项目）代号，其中3表示是第3种数据库。 多年前，对在役民航客机中的某型机载导航数据库的二进制文件进行分析，弄明白它的数据结构后做了几个工具&#xff0c…...

编程日记 2024/10/4 20:58:27

C++：const成员

const修饰成员变量，要在初始化列表中进行初始化。 const修饰成员函数，要放在函数后，称为常函数。常函数不能修改普通成员变量。 const修饰的对象，称为常对象。常对象不能修改普通成员变量，只能读取。 常对象只能使用…...

编程日记 2024/10/4 20:56:25

基于ROS的激光雷达点云物体检测

环境 RTX 2060（后面关于算力） ubuntu 18.04 ROS melodic （ubuntu 18.04安装ROS melodic可以参看我这篇文章ubuntu 18.04安装ROS系统） CUDA 10.0 cudnn 7.6.5 caffe cmake 3.18.0（不能低于3.12.2） opencv 3…...

编程日记 2024/10/4 20:55:24

大模型训练环境搭建

硬件资源说明 本教程基于GPU 3090的服务器 资源类型 型号 核心指标 CPU Intel(R) Xeon(R) Bronze 3204 CPU 1.90GHz 12核 内存 / 125Gi GPU NVIDIA GeForce RTX 3090 24G显存 注意：接下来的部分命令需要使用科学上网，需要事先配置好。 安…...

编程日记 2024/10/4 20:54:23

使用Java调用GeoTools实现全球国家矢量数据入库实战

目录 前言 一、相关数据介绍 1、无空间参考的数据 2、有空间参考的数据 3、空间信息表物理模型 二、全球国家空间数据入库 1、后台实体类图 2、后台实体对象关键代码 三、时空数据入库实践 1、读取无空间参考数据 2、入库成果及注意事项 四、总结 前言 在当今世界&…...

编程日记 2024/10/4 20:52:19

计算机毕业设计 基于Python的广东旅游数据分析系统的设计与实现 Python+Django+Vue Python爬虫 附源码 讲解 文档

🍊作者：计算机编程-吉哥 🍊简介：专业从事JavaWeb程序开发，微信小程序开发，定制化项目、 源码、代码讲解、文档撰写、ppt制作。做自己喜欢的事，生活就是快乐的。 🍊心愿：点…...

编程日记 2024/10/4 20:51:19

Springboo通过http请求下载文件到服务器

这个方法将直接处理从URL下载数据并将其保存到文件的整个过程。下面是一个这样的方法示例： import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.HttpURLConnection…...

编程日记 2024/10/4 20:50:17

使用CSS实现酷炫加载

使用CSS实现酷炫加载 效果展示 整体页面布局 <div class"container"></div>使用JavaScript添加loading加载动画的元素 document.addEventListener("DOMContentLoaded", () > {let container document.querySelector(".container&q…...

编程日记 2024/10/4 20:49:16

【STM32-HAL库】AHT10温湿度传感器使用（STM32F407ZGT6配置i2c）（附带工程下载连接）

一、温湿度传感器&#xff1a; 温湿度传感器是一种能够检测环境中的温度和湿度&#xff0c;并将其转化为电信号输出的装置。它在智能家居、工业自动化、气象监测、农业等领域有着广泛的应用。 原理&#xff1a; 温湿度传感器通常基于不同的物理原理&#xff0c;以下是一些常见…...

编程日记 2024/10/4 20:44:11

深入理解网络通信: 长连接、短连接与WebSocket

在现代网络应用开发中,选择合适的通信方式对于应用的性能、效率和用户体验至关重要。本文将深入探讨三种常见的网络通信方式:长连接、短连接和WebSocket,分析它们的特点、区别以及适用场景。 1. 短连接 © ivwdcwso (ID: u012172506) 1.1 定义 短连接是指客户端和服务器…...

编程日记 2024/10/4 20:37:02

Linux·环境变量与进程地址空间

1. 命令行参数 各位可能见过main函数也是有参数的&#xff0c;只是我们平时写的代码都比较简单&#xff0c;用不到main函数的参数&#xff0c;下面我们看一下main函数的参数是什么又是怎么用的 我们看这样一段代码 其编译运行后的效果是这样的 我们将main函数后面的那两个参数叫…...

编程日记 2024/10/4 20:36:01

MYSQL 乐观锁

乐观锁是一种用于处理并发控制的策略&#xff0c;特别适用于读多写少的场景。在 MySQL 数据库中&#xff0c;乐观锁通常通过版本号或时间戳来实现。下面将详细介绍乐观锁的概念、实现方式以及在 MySQL 中的应用。 1. 乐观锁的概念 乐观锁的基本思想是&#xff1a;在对数据进行…...

编程日记 2024/10/4 20:33:59

SpringCloud入门（十二）全局过滤器和跨域

一、全局过滤器 全局过滤器的作用也是处理一切进入网关的请求和微服务响应&#xff0c;与GatewayFilter的作用一样。 区别在于GatewayFilter通过配置定义&#xff0c;处理逻辑是固定的&#xff0c;如果我们希望拦截请求&#xff0c;做自己的业务逻辑则没办法实现。而GlobalFilt…...

编程日记 2024/10/4 20:31:58

51单片机系列-按键检测原理

&#x1f308;个人主页&#xff1a;羽晨同学 &#x1f4ab;个人格言:“成为自己未来的主人~” 独立按键是检测低电平的。 下面我们来看一张对应的电路原理图&#xff1a; 在这张图当中&#xff0c;P1&#xff0c;P2&#xff0c;P3内部都上拉了电阻&#xff0c;但是P0没有&am…...

编程日记 2024/10/4 20:30:57

基于元神操作系统实现NTFS文件操作（五）

1. 背景 本文主要介绍$Root元文件的解析。先介绍元文件的构成及各个部分的结构&#xff0c;然后结合上一篇博文中读取到的元文件内容&#xff0c;对测试磁盘中目标分区的根目录进行展示。 2. $Root元文件解析 &#xff08;1&#xff09;$Root元文件的结构 $Root元文件由两部…...

编程日记 2024/10/4 20:26:53

AutoCAD学习

AutoCAD学习 最基本操作 命令用途说明空格键确认键也可以是重复刚才的命令回车键也是确认键鼠标右键也可以选择确认LINE、L直线命令绘制直线DLI线性尺寸标注DIMLINEAR鼠标滚轮滚动放大缩小视图界面鼠标中键按住移动视图DAL对齐线性标注DIMALIGNED F8 正交模式ORTHOMODE Tab 切换…...

编程日记 2024/10/4 20:25:52

go的一些知识点

一.package 1.新建项目 新建一个itying文件夹&#xff0c;在里面使用命令 就能生成一个go项目。生成一个go.mod 2.调用别的包的代码 按照下面的目录层级生成代码 //clac.go package calcfunc Add(x, y int) int {return x y } func Sub(x, y int) int {return x - y }…...

编程日记 2024/10/4 20:24:51

Qwen3-0.6B-FP8数据库智能查询：用自然语言生成SQL语句

Qwen3-0.6B-FP8数据库智能查询&#xff1a;用自然语言生成SQL语句 你有没有过这样的经历&#xff1f;面对一个数据库&#xff0c;明明知道数据就在里面&#xff0c;却因为不懂SQL而束手无策。想查“上个月哪个产品卖得最好”&#xff0c;或者“找出最近三个月复购率最高的客户…...

编程新知 2026/4/2 8:58:32

好写作AI｜从研究空白到初稿呈现：AI在博士论文起步阶段的价值

家人们&#xff0c;谁懂啊&#xff1f; 博士第一年&#xff0c;导师问&#xff1a;“你的研究空白是什么&#xff1f;” 你胸有成竹&#xff1a;“A理论在B场景的应用研究不足&#xff01;” 导师&#xff1a;“那是文献缺口&#xff0c;不是研究空白。” 你懵了&#xff1a;“…...

编程新知 2026/4/2 8:22:03

社区居家养老实训室设备配置与空间布局

社区居家养老实训室是衔接养老服务理论与实操的核心载体&#xff0c;其设备配置需贴合居家养老实际场景&#xff0c;空间布局需兼顾实操便利性与场景真实性&#xff0c;以下结合实操需求&#xff0c;分模块给出具体可落地的配置与布局方案&#xff0c;适配各类院校及培训机构建…...

编程新知 2026/4/2 8:16:01

CasRel在企业搜索中的应用：构建结构化语义索引提升召回质量

CasRel在企业搜索中的应用&#xff1a;构建结构化语义索引提升召回质量 1. 引言&#xff1a;当搜索遇到瓶颈 你有没有遇到过这种情况&#xff1a;在公司内部的知识库里搜索“2024年第三季度华东区的销售数据”&#xff0c;结果返回了一堆包含“销售”、“数据”、“华东”等关…...

编程新知 2026/4/2 5:50:01

前端进阶 课程二十六、：Flex布局进阶与实战（复杂布局）

一、学习目标 掌握Flex布局嵌套规则，实现容器内多层Flex嵌套； 运用Flex完成头部+内容区+底部、卡片详情、响应式导航三大复杂布局； 解决Flex项目溢出、对齐失效、高度自适应等常见问题； 区分Flex与float布局，明确Flex的现代布局优势。 二、核心知识点+实战代码 1. Fl…...

编程新知 2026/4/2 4:35:21

雪花算法：分布式世界的“身份证号”

嘿&#xff0c;朋友&#xff01;想象一下&#xff0c;你是一家拥有几千台服务器的互联网大厂架构师。现在有个小麻烦&#xff1a;你的订单系统每秒钟要生成几万个订单号。如果让数据库自己搞&#xff08;自增ID&#xff09;&#xff0c;几台数据库凑在一起&#xff0c;肯定会出…...

编程新知 2026/4/2 3:36:10

从零到一：阿里云天池街景符号识别Baseline实战指南

从零到一&#xff1a;阿里云天池街景符号识别Baseline实战指南 街景符号识别是计算机视觉领域一项极具挑战性的任务&#xff0c;它要求模型能够准确识别并理解街道场景中的各类符号信息。对于刚接触深度学习实战的开发者来说&#xff0c;如何从零开始构建一个完整的识别系统往往…...

编程新知 2026/4/2 3:36:07

基于vue的非遗文化传承平台[vue]-计算机毕业设计源码+LW文档

摘要&#xff1a;非物质文化遗产&#xff08;非遗&#xff09;作为民族文化的重要组成部分&#xff0c;承载着人类社会的文明和历史记忆。随着现代社会的快速发展&#xff0c;非遗文化的传承面临着诸多挑战。为了更好地保护和传承非遗文化&#xff0c;本文设计并实现了一个基于…...

编程新知 2026/4/2 2:28:50

构建企业级AI智能体：LangGraph多智能体框架实战指南

构建企业级AI智能体&#xff1a;LangGraph多智能体框架实战指南 【免费下载链接】langgraph Build resilient language agents as graphs. 项目地址: https://gitcode.com/GitHub_Trending/la/langgraph 在当今AI应用开发中&#xff0c;开发者面临着一个核心挑战&#x…...

编程新知 2026/4/2 1:16:08

小米智能家居跨区域协同控制技术指南

小米智能家居跨区域协同控制技术指南 【免费下载链接】ha_xiaomi_home Xiaomi Home Integration for Home Assistant 项目地址: https://gitcode.com/GitHub_Trending/ha/ha_xiaomi_home 随着智能家居设备数量的快速增长&#xff0c;多区域设备协同工作已成为提升居住体…...

编程新知 2026/4/2 0:32:58