当前位置：首页 > news >正文

基于Kettle跑批的案例说明

news 2025/11/10 11:58:17

需求概述

通过动态配置表的方式完成在kettle里动态配置参数，并调用ktr，实现跑批的目的。

问题分析

定义一个ktr读取配置表的信息并将拷贝记录到结果
定义一个ktr从结果里获取记录并设置变量
定义业务ktr（即按照业务需要开发的转换脚本）
定义kjb串联ktr2和ktr3，这里ktr2和ktr3也可以合并成一个ktr。
定义一个外层kjb串联ktr1和kjb4

1 定义配置表ktr

新增转换，拖入表输入、复制结果到记录组件。

定义表输入

表输入内容：该表里里的字段即对于转换的参数。

复制记录到结果

定义设置变量ktr

设置从结果获取记录

转换里拖动从结果获取记录组件，其中的字段名来自上一步的表输入里的字段名。

定义设置变量

定义设置变量组件，字段名来自从结果获取记录组件，并设置变量活动类型为” Valid in the root job”

定义业务指标加工ktr

根据自己业务需要定义口径加工的转换，

定义变量获取kjb

串联起定义设置变量ktr、定义业务指标加工ktr，详细形式见下：

定义外部调用kjb

基本配置

串联起 定义配置表ktr、定义变量获取kjb，详细形式见下：

配置作业里的参数，设置参数能传递。

作业配置

调用关系图详解

详细kjb的调用关系图见下，其中图表里的序号和前文的序号保持一致。

最外层的5定义外部调用kjb中ktr及kjb关系见下：

内部的4定义变量获取kjb:

基于Kettle跑批的案例说明

需求概述通过动态配置表的方式完成在kettle里动态配置参数，并调用ktr，实现跑批的目的。问题分析定义一个ktr读取配置表的信息并将拷贝记录到结果定义一个ktr从结果里获取记录并设置变量定义业务ktr（即按照业务需要开发的…...

编程日记 2023/5/13 4:21:11

2023 最新版网络安全保姆级自学指南

前言如今，组织的信息系统和数据面临着许多威胁。而人们了解网络安全的所有基本要素是应对这些威胁的第一步。网络安全是确保信息完整性、机密性和可用性(ICA)的做法。它代表了应对硬盘故障、断电事故，以及来自黑客或竞争对手攻击等防御和恢复能力。而…...

编程日记 2023/5/25 17:23:13

Chapter9.3：线性系统稳定性分析及综合实例

该系列博客主要讲述Matlab软件在自动控制方面的应用，如无自动控制理论基础，请先学习自动控制系列博文，该系列博客不再详细讲解自动控制理论知识。自动控制理论基础相关链接：https://blog.csdn.net/qq_39032096/category_10287468…...

编程日记 2023/5/25 17:23:52

EXCEL 在复杂查询时摒弃vlookup() sumif() 等公式，而使用数据透视表的初步学习

1 为什么要用数据透视表如果不用，就可能需要写很复杂的，查询公式比如，vlookup各种sumif,sumifs 等等，如果还是多个表进行统计，那写起来更酸爽所以感觉 vlookup sumif,sumifs 更适合，简单情况下的查询&am…...

编程日记 2023/5/16 17:53:58

C 文件读写

C 文件读写本章我们将介绍 C 程序员如何创建、打开、关闭文本文件或二进制文件。一个文件，无论它是文本文件还是二进制文件，都是代表了一系列的字节。C 语言不仅提供了访问顶层的函数，也提供了底层（OS）调用来处理存…...

编程日记 2023/4/26 5:45:24

Linux中实现程序开机自启——将程序配置为系统服务

一、需求说明当我们在Linux系统上安装软件时，希望软件实现开机自启，或程序崩溃后自动重启，提升软件运行的稳定性；而linux系统中的systemd刚好可以满足我们的要求（可将软件注册为系统服务）。二、systemd systemd 是一个 Linux 系统基础组件的集合，提供了一个系统和服务…...

编程日记 2023/5/18 9:46:19

【洛谷刷题】蓝桥杯专题突破-广度优先搜索-bfs（13）

目录写在前面： 题目：P1443 马的遍历 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 题目描述： 输入格式： 输出格式： 输入样例： 输出样例： 解题思路： 代码： AC &am…...

编程日记 2023/5/24 3:15:09

【新2023Q2模拟题JAVA】华为OD机试 - 总最快检测效率 or 核酸检测效率

最近更新的博客华为od 2023 | 什么是华为od，od 薪资待遇，od机试题清单华为OD机试真题大全，用 Python 解华为机试题 | 机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为od机试，独家整理已参加机试人员的实战技巧本篇题解：报数题目一百个人围成一圈…...

编程日记 2023/5/12 11:42:15

基于主成分分析的混音方法

一、简介： 基于主成分分析的混音方法是一种常见的音频混音技术，它利用主成分分析（PCA）对音频信号进行降维和重构，从而实现混音。二、基本步骤如下： 采集和存储需要混音的音频信号。对音频信号进行主成分…...

编程日记 2023/5/12 11:42:25

Code Two Exchange Crack

CodeTwo Exchange 迁移允许直接从早期版本的 Exchange（从 Exchange 2010 开始）安全、轻松地迁移到 Exchange 2019 和 2016。此服务器应用程序还允许您集中管理来自 Microsoft 365 (Office 365) 的邮箱迁移以及来自基于 IMAP 的电子邮件系统（例…...

编程日记 2023/5/14 9:04:31

jQuery.form.js 详细用法_维护老项目使用

概述 jquery-3.3.1.min.js ： http://jquery.com/download jquery.form.min.js ：http://malsup.com/jquery/form/#tab7 jquery form 是一个表单异步提交的插件，可以很容易提交表单，设置表单提交的参数，并在表单提交前…...

编程日记 2023/5/25 17:24:28

【Java】关于你不知道的Java大整数运算之BigInteger类超级好用！！！

目录一、BigInteger类简单介绍二、BigInteger构造方式 （1）构造方式 （2）输入方式三、BigInteger常见的成员方法 （1）方法介绍 （2）方法使用演示 1.加减乘除余 2.比较 3.绝…...

编程日记 2023/5/25 17:45:24

运维是不是没有出路了？

瑞典马工的《是时候让运维集体下岗了》一出，就让运维人为之一颤，人人自危。文章开篇就提到：明人不说暗话，在云原生和DevOps成熟的今天，运维作为一个岗位和团队已经完成了历史任务，应该退出舞台了…...

编程日记 2023/5/12 11:45:28

【C++笔试强训】第七天

选择题解析：内联函数（inline）一般用于代码较少，代码块里面没有递归且频繁调用的函数，是一种以空间换时间（不是指内存，而是指令变多编译出来的可执行程序会变大）的做法。内联函数在预…...

编程日记 2023/5/16 17:54:58

mysql binlog 一直追加写，磁盘满了怎么办？

文章目录 mysql binlog 清理策略1、设置binlog最大的文件数和文件大小2、定时清理过期binlog文件3、手动清理binlog文件4、禁用或启用binlogmysql binlog用于记录mysql数据库所有变更（数据库的DDL、DML操作）包括用户执行的语句，以及底层引擎所执行的操作的二进制日志，主要用…...

编程日记 2023/4/28 4:09:02

缓存穿透、缓存雪崩、缓存击穿解决方案

什么是缓存缓存就是数据交换的缓冲区（称作Cache）,是存贮数据的临时地方，一般读写性能较高。添加 redis 缓存给店铺类型查询业务添加缓存需求：添加ShopTypeController中的queryTypeList方法，添加查询缓存缓存更新…...

编程日记 2023/5/16 7:03:55

web + servlet + jdbc mysql 实现简单的表单管理界面

目录数据库创建数据库连接servlet创建,这里注意一下我的数据库我自己改了一下名字lhx网页html运行文件目录展示首先我们准备好开发使用的工具以及配置 idea2020 tomcat8.5 创建javaweb参考idea编译Tomcat详细步骤 IDEA通过JDBC连接数据库请参考jdbc连接数据库需要登陆注册界面…...

编程日记 2023/5/25 7:28:48

Maven 国内镜像仓库

镜像仓库目标当我们未定义任何远程仓库时，使用 Maven 更新依赖时，其会去默认远程仓库中拉取，默认远程仓库是国外地址，所以在国内访问特别慢，想提升访问速度，需要将国外地址换成国内地址更换仓库地址的…...

编程日记 2023/5/15 22:29:26

day21 ● 530.二叉搜索树的最小绝对差 ● 501.二叉搜索树中的众数 ● 236. 二叉树的最近公共祖先

二叉搜索树的最小绝对差二叉搜索树（Binary Search Tree，简称 BST）是一种特殊的二叉树，它的每个节点都满足以下条件： 左子树上所有节点的值均小于该节点的值；右子树上所有节点的值均大于该节点的值&#…...

编程日记 2023/4/27 0:08:02

大学计算机(软件类)专业推荐竞赛 / 证书官网及赛事相关信息整理

大学计算机专业(软件)推荐竞赛 / 证书官网及赛事相关信息一、算法类(丰富简历)： 1、ACM国际大学生程序设计竞赛： 官网：https://icpc.global/ 国内：http://icpc.pku.edu.cn/index.htm 报名方式：区域预赛一般每年9-1…...

编程日记 2023/5/13 4:23:04

ESP32读取DHT11温湿度数据

芯片：ESP32 环境：Arduino 一、安装DHT11传感器库红框的库，别安装错了二、代码注意，DATA口要连接在D15上 #include "DHT.h" // 包含DHT库#define DHTPIN 15 // 定义DHT11数据引脚连接到ESP32的GPIO15 #define D…...

编程新知 2025/11/8 2:25:57

思维导图 1-3 章 4-7章 8-11 章参考资料源码： https://github.com/streaming-with-flink 博客 https://flink.apache.org/bloghttps://www.ververica.com/blog 聚会及会议 https://flink-forward.orghttps://www.meetup.com/topics/apache-flink https://n…...

编程新知 2025/11/8 9:16:25

laravel8+vue3.0+element-plus搭建方法

创建 laravel8 项目 composer create-project --prefer-dist laravel/laravel laravel8 8.* 安装 laravel/ui composer require laravel/ui 修改 package.json 文件 "devDependencies": {"vue/compiler-sfc": "^3.0.7","axios": …...

编程新知 2025/10/15 0:25:46

AI，如何重构理解、匹配与决策？

AI 时代，我们如何理解消费？ 作者｜王彬封面｜Unplash 人们通过信息理解世界。曾几何时，PC 与移动互联网重塑了人们的购物路径：信息变得唾手可得，商品决策变得高度依赖内容。但 AI 时代的来…...

编程新知 2025/11/7 20:31:27

C++.OpenGL （20/64）混合（Blending）

混合（Blending）透明效果核心原理 #mermaid-svg-SWG0UzVfJms7Sm3e {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-SWG0UzVfJms7Sm3e .error-icon{fill:#552222;}#mermaid-svg-SWG0UzVfJms7Sm3e .error-text{fill…...

编程新知 2025/9/24 22:51:29

怎么让Comfyui导出的图像不包含工作流信息，

为了数据安全，让Comfyui导出的图像不包含工作流信息，导出的图像就不会拖到comfyui中加载出来工作流。 ComfyUI的目录下node.py 直接移除 pnginfo（推荐） 在 save_images 方法中，删除或注释掉所有与 metadata …...

编程新知 2025/8/13 15:12:54

手机平板能效生态设计指令EU 2023/1670标准解读

手机平板能效生态设计指令EU 2023/1670标准解读以下是针对欧盟《手机和平板电脑生态设计法规》(EU) 2023/1670 的核心解读，综合法规核心要求、最新修正及企业合规要点： 一、法规背景与目标生效与强制时间发布于2023年8月31日（OJ公报&…...

编程新知 2025/11/9 5:37:10

Ubuntu Cursor升级成v1.0

0. 当前版本低使用当前 Cursor v0.50时 GitHub Copilot Chat 打不开，快捷键也不好用，当看到 Cursor 升级后，还是蛮高兴的 1. 下载 Cursor 下载地址：https://www.cursor.com/cn/downloads 点击下载 Linux (x64) ，…...

编程新知 2025/11/9 7:54:45

wpf在image控件上快速显示内存图像

wpf在image控件上快速显示内存图像https://www.cnblogs.com/haodafeng/p/10431387.html 如果你在寻找能够快速在image控件刷新大图像（比如分辨率3000*3000的图像）的办法，尤其是想把内存中的裸数据（只有图像的数据，不包…...

编程新知 2025/11/9 17:11:21

AD学习（3）

1 PCB封装元素组成及简单的PCB封装创建封装的组成部分： （1）PCB焊盘：表层的铜 ，top层的铜 （2）管脚序号：用来关联原理图中的管脚的序号，原理图的序号需要和PCB封装一一…...

编程新知 2025/11/10 0:56:46