当前位置： 首页 > news >正文

快速上手kettle

news 文章来源：https://blog.csdn.net/u010918911/article/details/130881067 2025/5/18 23:40:08

一、前言

最近由于工作需要，需要用到kettle工具进行数据迁移转换。特意找资料学习了一下，kettle基本操作算是学会了。

所学的也结合实际工作进行了验证。为了防止以后用到忘记了，便写了几篇文章记录一下。

二 、ETL简介

ETL ( Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程) 。在企业种我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用，对开发人员来说必不可少,这里我要学习的ETL工具是Kettle ! 。

三、Kettle 简介

3.1 kettle是什么？

Kettle 是一款国外的开源ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。

顾名思义，Kettle 翻译为中文是水壶,寓意着把所有乱七八糟的数据放到一个壶里，最终以一种指定格式流出

3.2 kettle两种设计

  • Kettle中有两种脚本文件，transformation和job，transformation完成数据基本转换，job完成整个工作流程的控制
  • 转换是数据流，作业是步骤流
  • 作业的每一个步骤，必须等待前面的步骤执行完，后面的步骤才会执行。
  • 转换会一次性把所有控件都启动（一个控件对应一个线程）
  • 数据流会从第一个控件开始，一条记录一条记录的流向最后控件

3.3 kettle核心组件

外国人起名字挺有意思的，kettle的核心组件就是一套烹饪厨具。kettle的作者应该是一位吃货 (●'◡'●)

3.4 kettle 优点

四、Kettle安装

4.1 下载地址

① 官网地址

Home - Hitachi Vantara

官网地址国内下载可能很慢很慢，小伙伴们可以通过以下国内镜像地址下载

②国内镜像地址
http://mirror.bit.edu.cn/pentaho/Pentaho 8.2/client-tools/

4.2 kettle目录及文件介绍

4.3 kettle 安装

Kettle是java开发的，所以需要安装jdk,我们这里安装经典的jdk8

至于jdk怎么安装，这里就不细说了，如果不知道的小伙伴百度即可

jdk安装完成后，我们将4.1 下载的安装包解压到自己想放置的路径即可

4.4 kettle界面介绍

双击Spoon.bat 即可打开如下界面

相关文章：

快速上手kettle

一、前言 最近由于工作需要，需要用到kettle工具进行数据迁移转换。特意找资料学习了一下，kettle基本操作算是学会了。 所学的也结合实际工作进行了验证。为了防止以后用到忘记了，便写了几篇文章记录一下。 二 、ETL简介 ETL ( Extract-Tran…...

编程日记 2023/6/1 4:34:25

Leetcode 399. 除法求值

Leetcode 399. 除法求值题目 给你一个变量对数组 equations 和一个实数值数组 values 作为已知条件，其中 equations[i] [Ai, Bi] 和 values[i] 共同表示等式 Ai / Bi values[i] 。每个Ai 或 Bi 是一个表示单个变量的字符串。另有一些以数组 queries 表示的问题&am…...

编程日记 2023/6/1 4:29:24

kotlin协程并发/并行与串行互相切换，CoroutineScope与await

kotlin协程并发/并行与串行互相切换，CoroutineScope与await import kotlinx.coroutines.CoroutineScope import kotlinx.coroutines.Dispatchers import kotlinx.coroutines.delay import kotlinx.coroutines.launch import java.time.LocalTimefun main(args: Arra…...

编程日记 2023/6/1 4:24:22

初识linux之简单了解TCP协议与UDP协议

目录 一、理解源IP地址和目的IP地址 二、端口号 1. 为什么要有端口号 2. 理解端口号 3. 源端口号和目的端口号 三、初步了解TCP协议和UDP协议 1. 初步认识TCP协议 2. 初步认识UDP协议 3. 可靠传输与不可靠传输 四、网络字节序 1. 网络字节序的概念 2. 如何形成网络…...

编程日记 2023/6/1 4:19:21

【String——简单使用】

文章目录 String1. 字符串定义和初始化2. 字符串基本操作2.1 访问单个字符2.2 修改字符串内容2.3 字符串查找和比较 3. 常用字符串函数3.1 length() 和 size()3.2 empty()3.3 substr()3.4 c_str() 4.字符与整形之间相互转换4.1 char 类型转 int 类型4.2 int 类型转 char 类型4.…...

编程日记 2023/6/1 4:14:20

Python下Taobao封装API接口的优势

Python是一门面向对象编程的语言，封装是面向对象编程中的一种重要概念，它把数据和方法包装在一起，实现了对数据的保护和控制。Python封装接口的优势如下： 1.安全性 封装可以保证数据的安全性，禁止外部对数据的直接访…...

编程日记 2023/6/1 4:09:18

LeetCode 49 字母异位词分组

LeetCode 49 字母异位词分组 来源：力扣（LeetCode） 链接：https://leetcode.cn/problems/group-anagrams/description/ 博主Github：https://github.com/GDUT-Rp/LeetCode 题目： 给你一个字符串数组&#x…...

编程日记 2023/6/1 4:04:18

( 链表) 142. 环形链表 II——【Leetcode每日一题】

❓142. 环形链表 II 难度：中等 给定一个链表的头节点 head ，返回链表开始入环的第一个节点。 如果链表无环，则返回 null。 如果链表中有某个节点，可以通过连续跟踪 next 指针再次到达，则链表中存在环。 为了表示给定…...

编程日记 2023/6/1 3:59:17

论文解读 | 基于改进点对特征的点云6D姿态估计

原创 | 文 BFT机器人 01 摘要 点对特征(PPF)方法已被证明是一种有效的杂波和遮挡下的姿态估计方法。 文章的改进方法主要包括: (1)一种基于奇偶规则求解封闭几何的法向的方法; (2)通过将体素网格划分为等效角度单元的有效降采样方法; (3)基于拟合点的验证步骤。在真实杂波数据集…...

编程日记 2023/6/1 3:54:16

Shell脚本while循环语句应用

记录：433 场景：Shell脚本while循环语句应用。Shell脚本while循环语句应用。while do done、while : do done、while true do done。 版本：CentOS Linux release 7.9.2009。 1.while常用格式 1.1格式一：while do done while c…...

编程日记 2023/6/1 3:49:15

Kubernetes Dashboard + Ingress 及其 yaml 文件分析

概述 记录部署Dashboard Ingress的具体过程及其 yaml 文件分析 Dashboard Yaml # Copyright 2017 The Kubernetes Authors. # # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the Li…...

编程日记 2023/6/1 3:44:14

【SpringCloud组件——Nacos】

前置准备： 分别提供订单系统（OrderService）和用户系统（UserService）。订单系统主要负责订单相关信息的处理，用户系统主要负责用户相关信息的处理。 一、服务注册与发现 1.1、在父工程当中引入Nacos依赖 …...

编程日记 2023/6/1 3:39:13

pinia状态管理 用法

Pinia是一个用于vue的状态管理库，类似于vuex,是vue的另一种状态管理工具。 Pinia 是 Vue 的存储库，它允许跨组件/页面共享状态。实际上，Pinia就是Vuex的升级版，官网也说过，为了尊重原作者，所以取名pinia&am…...

编程日记 2023/6/1 3:34:12

Oracle客户端版本安装

一、版本准备 Oracle版本下载官网：Instant Client for Linux x86-64 (64-bit) | Oracle 中国 进入网站下载对应的oracle版本，通常环境所用的包有：basic、sdk、sdkplus三个包。包的类型分为rpm和zip包，均可以下载，当前…...

编程日记 2023/6/1 3:29:11

基于Android studio二手车交易系统app

客户端： 用户注册：通过输入用户名，密码，所在地，联系地址以及电话和电子邮件等信息进行用户信息的注册。 二手车查看：用户注册登录系统后，可以查看二手车的基本信息，通过二手车的品牌…...

编程日记 2023/6/1 3:24:10

【LCD应用编程】绘制点、线、矩形框

之前获取LCD屏幕参数信息时了解到，LCD屏是 FrameBuffer 设备，操作 FrameBuffer 设备 其实就是在读写 /dev/fb0 文件。除此之外，LCD屏上包含多个像素点，绘制点、线、矩形框本质是在修改这些像素点的颜色。 目录 1、定义 lcd_color…...

编程日记 2023/6/1 3:19:09

第八篇、基于Arduino uno，获取MAX30102心率传感器的心率信息——结果导向

0、结果 说明：先来看看串口调试助手显示的结果，第一个值是原始的IR值，第二个值是实时的心跳，第三个值是平均心跳，如果是你想要的，可以接着往下看。 1、外观 说明：MAX30102心率传感器的外观如下…...

编程日记 2023/6/1 3:14:02

【MySQL】MySQL主从同步延迟原因与解决方案

文章目录 一、MySQL数据库主从同步延迟产生的原因二、关于DDL和DML三、主从延时排查方法四、解决方案3.1 解决从库复制延迟的问题：3.2 MySql数据库从库同步其他问题及解决方案 一、MySQL数据库主从同步延迟产生的原因 MySQL的主从复制都是单线程的操作，…...

编程日记 2023/6/1 3:09:01

学C的第二十二天【深度剖析数据在内存中的存储：1. 数据类型介绍；2. 整型在内存中的存储】

相关代码gitee自取：C语言学习日记: 加油努力 (gitee.com) 接上期：学C的第二十一天【初阶测评讲解：1. 计算递归了几次；2. 判断 do while 循环执行了几次；3. 求输入的两个数的最小公倍数；4. 将一句话的单词进…...

编程日记 2023/6/1 3:04:00

测试计划模板一

测试计划 修订历史记录 版本　　　　　　　 日期　　　　　　 AMD　　　　　　 修订者　　　　　 说明　　　　　 1.0 XXXX年XX月XX （A-添加，M-修改，D-删除） 目录 1． 简介.. 4 1. 1目的... 4 1. 2背景... 4...

编程日记 2023/6/1 2:58:58

【利用AI让知识体系化】5种创建型模式

文章目录 创建型模式简介工厂模式抽象工厂模式单例模式建造者模式原型模式 创建型模式 简介 创建型模式，顾名思义，是用来创建对象的模式。在软件开发中，对象的创建往往比一般的编程任务更为复杂，可能涉及到一些琐碎、复杂的过程…...

编程日记 2023/6/1 2:53:57

Unity的UnityStats： 属性详解与实用案例

UnityStats 属性详解 UnityStats 是 Unity 引擎提供的一个用于监测游戏性能的工具，它提供了一系列的属性值，可以帮助开发者解游戏的运行情况，从而进行优化。本文将详细介绍 UnityStats 的每个属性值，并提供多个使用例子帮助开发者…...

编程日记 2023/6/1 2:48:56

TDengine集群搭建

我这里用三台服务器搭建集群 1、如果搭建集群的物理节点上之前安装过TDengine先卸载清空，直接执行以下4条命令 rmtaos rm -rf /var/lib/taos rm -rf /var/log/taos rm -rf /etc/taos2、确保集群中所有主机开放端口 6030-6043/tcp，6060/tcp，…...

编程日记 2023/6/1 2:43:55

Android 12.0无源码apk设置默认启动Launcher的相关属性

1.概述 在12.0的系统产品开发中，对于一些产品的需求，需要将一些无源码app的某个MainActivity作为启动Launcher页面的功能实现，由于没有源码，所以需要 利用PMS的安装解析apk的AndroidManifest.xml的时候，在判断是某个Activity的时候，设置Lancher属性来实现某些功能 2.无源…...

编程日记 2023/6/1 2:38:54

js深拷贝和浅拷贝

👉十分钟学会 前端面试题 js 深拷贝与浅拷贝_前端深拷贝和浅拷贝面试题_Mar-30的博客-CSDN博客 目录 背景： 概念：核心是创建新地址 方法： 浅拷贝： Object.assign() 方法：Object.assign(拷贝的对象&am…...

编程日记 2023/6/1 2:33:52

CANopenNode Master 配置

文章目录 CANopenNode 简介CANopenNode 主栈SDO ClientPDO 通讯参数RPDO 通讯参数RPDO 通信参数设置实例TPDO 通讯参数TPDO 通信参数设置实例 PDO 映射参数RPDO 映射参数设置实例TPDO 映射参数设置实例 CANopenNode 简介 CANopenNode 是一个开源的免费的开源 CANopen 协议栈。…...

编程日记 2023/6/1 2:28:51

HW之轻量级内网资产探测漏洞扫描工具

简介 RGPScan是一款支持弱口令爆破的内网资产探测漏洞扫描工具，集成了Xray与Nuclei的Poc 工具定位 内网资产探测、通用漏洞扫描、弱口令爆破、端口转发、内网穿透、SOCK5 主机[IP&域名]存活检测，支持PING/ICMP模式 端口[IP&域名]服务扫描 网…...

编程日记 2023/6/1 2:23:50

算法练习-2：送外卖

n 个小区排成一列，编号为从 0 到 n-1 。一开始，美团外卖员在第0号小区，目标为位于第 n-1 个小区的配送站。 给定两个整数数列 a[0]~a[n-1] 和 b[0]~b[n-1] ，在每个小区 i 里你有两种选择： 1) 选择a：向前 a[…...

编程日记 2023/6/1 2:18:49

八股总结（六）：Android基础：四大组件与UI控件

文章目录 Activity一个APP的启动过程基本概念总图zygote是什么？有什么作用？SystemServer是什么？有什么用，与zygote的关系是什么？为什么称为服务端对象？APP、AMS、zygote是三个独立的进程，他们之…...

编程日记 2023/6/1 2:13:48

【P46】JMeter 响应断言（Response Assertion）

文章目录 一、响应断言（Response Assertion） 参数说明二、准备工作三、测试计划设计3.1、包括3.2、匹配3.3、相等3.4、字符串3.5、字符串3.6、或者 一、响应断言（Response Assertion） 参数说明 可以对 Jmeter 取样器的响应消息进…...

编程日记 2023/6/1 2:08:47