当前位置： 首页 > news >正文

基于Kettle开发的web版数据集成开源工具(data-integration)-应用篇

news 2025/7/4 7:05:47

目录

  • 📚第一章 基本流程梳理
    • 📗页面基本操作
    • 📗对应后台服务流程
  • 📚第二章 二开思路
    • 📗前端
    • 📗后端

🔼上一集：基于Kettle开发的web版数据集成开源工具(data-integration)-介绍篇

*️⃣主目录：ETL&ELT专栏

📚第一章 基本流程梳理

📗页面基本操作

从登录开始->新建项目->保存项目->运行项目开始(问题还是挺多的，不过主要还是借鉴任务编排这一块，无伤大雅)
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

select role_name,`describe` from dp_portal_role

📗对应后台服务流程

参照页面基本操作，梳理后台对应的服务及表等
在这里插入图片描述

  • 项目主要对应两种表
    • 项目信息表 dp_portal_project ：项目编号、名称、描述、类型、状态，分组编号、名称
    • 项目附件信息表 dp_portal_project_file ：项目编号、项目文件内容project_file、项目版本号；其中project_file字段通过JSON串存放项目内容
  • 运行项目
    • 调用更新项目信息接口 ProjectServiceApiController.updateSelective
    • 前端通过调用websocket服务，调用运行接口 ProjectExecutorController.executeById
      • @MessageMapping和@SendToUser注解是用来处理WebSocket消息并实现广播或点对点消息推送的:
        1. WebSocket客户端向服务器发送一条指向/executeById路径的消息。
        2. 服务器端通过@MessageMapping找到并执行executeById方法。
        3. 方法内部完成业务逻辑处理后，返回的结果会被自动通过WebSocket协议推送给对应用户，即在每个已认证用户的特定通道上发布结果。
          在这里插入图片描述
          在这里插入图片描述
      • projectExecutorService.asyncExecuteByFile
        • executeByFile.execute.start()
          • 构建TransMeta 对象,buildTransMeta(json转xml)
          • 设置本地引擎执行
          • 创建执行器
          • 启动
        • 调用Kettle本地引擎
          在这里插入图片描述

📚第二章 二开思路

通过上面的流程梳理，发现任务编排工作流主要在前端，各种字段属性和kettle对应都是前端传给后台的，后台直接保存的JSON串，我这里只需要任务编排这块功能，springcloud也用不到，后面如果借鉴该项目，大概要做哪些事？

📗前端

应该可以直接复用，我们用的也是vue2+element架构

📗后端

该项目涉及的技术组件比较多，用到了springcloud,相对来说有点麻烦，到了具体开发阶段，涉及的就比较多了，下一步可以先简单点，就导出一个作业文件，提取相关代码，能够成功执行作业之后，在开始大刀阔斧的开展工作，一步一步推进：

  • kettle本地引擎执行代码
  • 作业文件组装、转换代码

相关文章：

基于Kettle开发的web版数据集成开源工具(data-integration)-应用篇

目录 📚第一章 基本流程梳理📗页面基本操作📗对应后台服务流程 📚第二章 二开思路📗前端📗后端 🔼上一集：基于Kettle开发的web版数据集成开源工具(data-integration)-介绍篇 *️⃣主…...

编程日记 2024/1/5 15:33:32

51单片机三种编译模式的相互关系

51单片机三种编译模式的相互关系 编译模式默认存储类型RAM使用规模变量使用特点SAMLLdata128B片内RAM使用规模CPU访问数据速度快，但存储容量较小COMPACTpdata258B片外分页RAM速度和容量介于上下两者之间LARGExdata64KB片外RAMCPU访问数据的速度较慢，但存…...

编程日记 2024/1/5 15:32:31

java 千帆大模型 流式返回

聊天有两个接口,第一个是获取token, 第二个是聊天接口,具体参照官方文档 下面是流式调用聊天接口,单次的,不含上下文 Value("${qianfan.apiKey}")private String apiKey;Value("${qianfan.secretKey}")private String secretKey;Value("${qianfan.to…...

编程日记 2024/1/5 15:30:30

全新互联网洗衣洗鞋小程序平台新模式

互联网洗衣洗鞋新模式， 全新软件升级 对接各大平台 扩大营销渠道，增加效益！...

编程日记 2024/1/5 15:29:29

js 对于一些脚本中对于url的一些参数获取

js 对于一些脚本中对于url的一些参数获取 获取当前浏览器的链接上的参数(不使用vue / react 等框架）仅用在一些脚本上的使用 获取当前浏览器的链接上的参数(不使用vue / react 等框架）仅用在一些脚本上的使用 const query {} const params new URLSear…...

编程日记 2024/1/5 15:28:28

IEDA中tomcat日志乱码解决

文章目录 乱码样式原因解决方案参考 乱码样式 原因 乱码原因是编码格式的问题，编码格式不统一，导致显示乱码。 解决方案 统一编码格式。 打开tomcat的配置文件，conf/logging.properties,进行如下修改 进入idea的安装文件中，b…...

编程日记 2024/1/5 15:27:27

计算机网络实验（六）：三层交换机实现VLAN间路由

一、实验名称：三层交换机实现VLAN间路由 二、实验原理 2.1. VLAN基本配置 在交换网络中，为了实现对物理网络的逻辑划分，引入了VLAN（虚拟局域网）的概念。VLAN通过将不同的设备划分到不同的虚拟网络中，实现了逻辑隔离。基本配置包括在交换机上创建VLAN、将端口划分到相应…...

编程日记 2024/1/5 15:25:25

Flutter中showModalBottomSheet的属性介绍和使用

在Flutter中，showModalBottomSheet是一个常用的工具，用于在屏幕底部显示模态底部面板。了解其属性将帮助您更好地定制和控制底部模态框的外观和行为。 showModalBottomSheet的常用属性 1. context: 类型: BuildContext描述: 表示当前构建上下文&#…...

编程日记 2024/1/5 15:24:23

机器学习 -- k近邻算法

场景 我学习Python的初衷是学习人工智能，满足现有的业务场景。所以必须要看看机器学习这一块。今天看了很久，做个总结。 机器学习分为深度学习和传统机器学习 深度学习 深度学习模型通常非常复杂，包含多层神经网络，每一层都包含…...

编程日记 2024/1/5 15:23:22

安全测试之SSRF请求伪造

前言 SSRF漏洞是一种在未能获取服务器权限时，利用服务器漏洞，由攻击者构造请求，服务器端发起请求的安全漏洞，攻击者可以利用该漏洞诱使服务器端应用程序向攻击者选择的任意域发出HTTP请求。 很多Web应用都提供了从其他的服务器上…...

编程日记 2024/1/5 15:19:19

php composer安装

引言 Composer 是 PHP 中的依赖管理工具。它允许您声明您的项目所依赖的库，并且它将为您管理（安装/更新）它们。 官网链接：Introduction - Composer 安装 要在当前目录中快速安装 Composer，请在终端中运行以下脚本。…...

编程日记 2024/1/5 15:18:18

【MyBatis】MyBatis基础操作

文章目录 前言注解方式书写 MyBatis打印 MyBatis 日志参数传递MyBatis 增加操作返回主键 MyBatis 删除操作MyBatis 修改操作MyBatis 查找操作1. 对查询结果进行别名2. Results注解3. 开启驼峰命名（推荐） XML 配置文件方法书写 MyBatis配置数据库的相关配…...

编程日记 2024/1/5 15:17:16

Automatic merge failed； fix conflicts and then commit the result.如何处理

当你在Git中遇到 “Automatic merge failed; fix conflicts and then commit the result.” 的错误时，这意味着你尝试合并两个分支时出现了冲突。Git无法自动解决这些冲突，因此需要你手动解决。以下是处理这种情况的步骤： 找出冲突文件: 运行…...

编程日记 2024/1/5 15:15:14

一文读懂 $mash 通证 “Fair Launch” 规则（幸运池玩法解读篇）

Solmash 是 Solana 生态中由社区主导的铭文资产 LaunchPad 平台，该平台旨在为 Solana 原生铭文项目，以及通过其合作伙伴 SoBit 跨链桥桥接到 Solana 的 Bitcoin 生态铭文项目提供更广泛的启动机会。有了 Solmash，将会有更多的 Solana 生态的铭…...

编程日记 2024/1/5 15:11:11

Qt3D QGeometryRenderer几何体渲染类使用说明

Qt3D中的QGeometryRenderer派生出来的几何体类包括： Qt3DExtras::QConeMesh, Qt3DExtras::QCuboidMesh, Qt3DExtras::QCylinderMesh, Qt3DExtras::QExtrudedTextMesh, Qt3DExtras::QPlaneMesh, Qt3DExtras::QSphereMesh, Qt3DExtras::QTorusMesh, and Qt3DRender::QMesh 有球…...

编程日记 2024/1/5 15:09:09

pandasDataFrame读和写csv文件

从.csv文件读数据 import pandas as pd# 从CSV文件中读取数据 train_df pd.read_csv("datasets/train01.csv") val_df pd.read_csv("datasets/val01.csv") test_df pd.read_csv("datasets/test01.csv")# 显示数据框的前几行，确保…...

编程日记 2024/1/5 15:08:08

力扣122. 买卖股票的最佳时机 II

动态规划 思路： 假设 dp[i][0] 是第 i 天手上没有股票时的最大利润， dp[i][1] 是第 i 天手上有 1 支股票的最大利润；dp[i][0] 的迁移状态为： dp[i - 1][0]，前一天手上已经没有股票，没有发生交易&#xff1…...

编程日记 2024/1/5 15:06:05

Go语言断言和类型查询

Go语言断言和类型查询 1、类型断言 类型断言(Type Assertion)是一个使用在接口值上的操作，用于检查接口类型变量所持有的值是否实现了期望的接 口或者具体的类型。 在Go语言中类型断言的语法格式如下： // i.(TypeNname) value, ok : x.(T)其中&…...

编程日记 2024/1/5 15:05:04

02 Deep learning algorithm

Neural Networks target： inference（prediction）training my own modelpractical advice for building machine learning systemdecision Tress application: speech（语音识别） ----> images(计算机视觉)—> t…...

编程日记 2024/1/5 15:03:02

代码随想录算法训练营第二十四天 | 回溯算法

理论基础 代码随想录原文 什么是回溯法 回溯也可以叫做回溯搜索法，它是一种搜索的方式。 回溯是递归的副产品，只要有递归就会有回溯。 回溯法的效率 虽然回溯法很难，不好理解，但是回溯法并不是什么高效的算法。因为回溯的本…...

编程日记 2024/1/5 15:00:59

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …...

编程新知 2025/7/4 1:02:07

C++初阶-list的底层

目录 1.std::list实现的所有代码 2.list的简单介绍 2.1实现list的类 2.2_list_iterator的实现 2.2.1_list_iterator实现的原因和好处 2.2.2_list_iterator实现 2.3_list_node的实现 2.3.1. 避免递归的模板依赖 2.3.2. 内存布局一致性 2.3.3. 类型安全的替代方案 2.3.…...

编程新知 2025/6/21 14:12:32

Qt Widget类解析与代码注释

#include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent): QWidget(parent), ui(new Ui::Widget) {ui->setupUi(this); }Widget::~Widget() {delete ui; }//解释这串代码&#xff0c;写上注释 当然可以&#xff01;这段代码是 Qt …...

编程新知 2025/6/15 21:47:30

React Native在HarmonyOS 5.0阅读类应用开发中的实践

一、技术选型背景 随着HarmonyOS 5.0对Web兼容层的增强&#xff0c;React Native作为跨平台框架可通过重新编译ArkTS组件实现85%以上的代码复用率。阅读类应用具有UI复杂度低、数据流清晰的特点。 二、核心实现方案 1. 环境配置 &#xff08;1&#xff09;使用React Native…...

编程新知 2025/6/21 12:17:37

2.Vue编写一个app

1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template> <!--html--> </template>…...

编程新知 2025/6/26 11:26:12

laravel8+vue3.0+element-plus搭建方法

创建 laravel8 项目 composer create-project --prefer-dist laravel/laravel laravel8 8.* 安装 laravel/ui composer require laravel/ui 修改 package.json 文件 "devDependencies": {"vue/compiler-sfc": "^3.0.7","axios": …...

编程新知 2025/6/19 13:00:18

CSS设置元素的宽度根据其内容自动调整

width: fit-content 是 CSS 中的一个属性值&#xff0c;用于设置元素的宽度根据其内容自动调整&#xff0c;确保宽度刚好容纳内容而不会超出。 效果对比 默认情况&#xff08;width: auto&#xff09;&#xff1a; 块级元素&#xff08;如 <div>&#xff09;会占满父容器…...

编程新知 2025/6/20 15:09:15

Java编程之桥接模式

定义 桥接模式&#xff08;Bridge Pattern&#xff09;属于结构型设计模式&#xff0c;它的核心意图是将抽象部分与实现部分分离&#xff0c;使它们可以独立地变化。这种模式通过组合关系来替代继承关系&#xff0c;从而降低了抽象和实现这两个可变维度之间的耦合度。 用例子…...

编程新知 2025/6/17 3:19:01

【JavaSE】多线程基础学习笔记

多线程基础 -线程相关概念 程序&#xff08;Program&#xff09; 是为完成特定任务、用某种语言编写的一组指令的集合简单的说:就是我们写的代码 进程 进程是指运行中的程序&#xff0c;比如我们使用QQ&#xff0c;就启动了一个进程&#xff0c;操作系统就会为该进程分配内存…...

编程新知 2025/6/15 23:04:57

Chromium 136 编译指南 Windows篇：depot_tools 配置与源码获取（二）

引言 工欲善其事&#xff0c;必先利其器。在完成了 Visual Studio 2022 和 Windows SDK 的安装后&#xff0c;我们即将接触到 Chromium 开发生态中最核心的工具——depot_tools。这个由 Google 精心打造的工具集&#xff0c;就像是连接开发者与 Chromium 庞大代码库的智能桥梁…...

编程新知 2025/6/27 12:01:40