当前位置： 首页 > article >正文

(超详细) ETL工具之Kettle

article 2026/3/4 2:33:45

Kettle简介

  • kettle最早是一个开源的ETL工具，后命名为Pentaho Data Integration。
  • 由JAVA开发，支持跨平台运行，其特性包括：支持100%无编码、拖拽方式开发ETL数据管道，可对接包括传统数据库、文件、大数据平台、接口、流数据等数据源，支持ETL数据管道加入机器学习算法。
  • Kettle是一个实现ETL开发的一款开发工具，Spoon是Kettle工具提供的图形化界面。

原本想上传安装包和数据连接包的，上传不了，有意可联系主页扣扣。

Kettle的核心组件

  1. 转换（Transformation）：处理数据流的基本单元，由多个步骤（Step）通过跳（Hop）连接，实现数据抽取、清洗、转换等操作，每个步骤独立运行线程，支持并行处理。
  2. 作业（Job）：控制任务执行顺序，按流程调用转换或其他作业，适用于需要严格顺序执行的场景（如邮件通知）

并行处理机制：Kettle的转换步骤默认以并发方式执行，所有步骤同时启动，通过行集缓存实现数据流处理，这种机制既能高效利用系统资源，又避免内存溢出，尤其适合大数据量的ETL场景，比如，多个步骤可同时处理不同的数据分片，提升整体的吞吐量。

Kettle的安装与使用

Kettle需要基于JAVA环境，因此安装前需要安装JDK，以下是版本对应关系，这里使用pdi-ce-8.2.0.0-342

Kettle版本最低JDK要求推荐JDK版本兼容性说明
Kettle8.xJDK1.8JDK1.8支持JDK1.8，部分功能需JDK1.8的特性
Kettle9.xJDK1.8JDK11官方推荐JDK1.8，社区版可兼容JDK11
Kettle10.xJDK11JDK11...

解压Kettle

文件

  1. Spoon.bat/Spoon.sh：图形化工具的启动脚本，Win使用.bat，Linux/Mac使用.sh
  2. pan.bat/pan.sh：命令行工具，用于执行转换
  3. kitchen：命令行工具，用于执行作业
  4. Carte：轻量级web服务工具，支持分布式任务调度

目录

目录名功能说明
lib存放Kettle核心依赖库（如.jar文件）。需手动添加数据库驱动（如MySQL的mysql-connector-java.jar），以支持连接特定数据库 
plugins插件目录，包含官方及第三方插件（如Hadoop、Spark、NoSQL等）。用户可扩展自定义插件 
samples示例文件目录，提供基础转换（.ktr）和作业（.kjb）示例，适合学习参考 
logs日志目录，记录Kettle运行时的详细日志（如错误信息、执行状态） 
simple-jndi数据库连接池配置文件（jdbc.properties），用于定义全局数据库连接 
pwd默认密码文件目录，存储加密后的密码信息 
ui用户界面资源文件（如图标、样式表） 

简单使用

通过命令启动Spoon.bat

应用场景

  1. 数据迁移：将数据从CSV文件转换后加载到数据库
  2. 数据清洗：去重、过滤异常值、标准化格式等
  3. 构建数据仓库：整合多源异构数据，生成统一视图
  4. 实时与批处理：支持两种模式，适用于离线分析和实时监控

相关文章：

(超详细) ETL工具之Kettle

Kettle简介 kettle最早是一个开源的ETL工具，后命名为Pentaho Data Integration。由JAVA开发，支持跨平台运行，其特性包括：支持100%无编码、拖拽方式开发ETL数据管道，可对接包括传统数据库、文件、大数据平台、接口、流…...

编程日记 2026/2/17 14:53:22

Android第三次面试总结（网络篇）

在计算机网络领域，网络模型是理解通信原理的基础框架。本文将详细解析 OSI 参考模型和 TCP/IP 模型的分层结构、核心功能及实际应用，并通过对比帮助读者建立完整的知识体系。 一、OSI 参考模型：七层架构的理论基石 OSI（开放系统…...

编程日记 2026/2/19 19:50:42

国产编辑器EverEdit - Hex Dump插件：看到文本的另一面！

1 Hex Dump插件 1.1 应用场景 有时可能需要显示字母的ASCII编码，或其他文字的字节编码，可以使用Hex Dump插件来完成 1.2 使用方法 安装Hex Dump插件，安装插件方法参考：扩展管理 在编辑器中选中文本，选择扩展 -> …...

编程日记 2026/2/27 13:18:12

random_masking 函数测试

文章目录 1. description2. excel3. pytorch code 1. description 功能：按一定比例的随机部分样本，简单来说就是按照一定的比例将行向量从小到大的顺序提取出来。思考1： 用了均匀分布，并且按照一定比例，取前prob概率来…...

编程日记 2026/3/3 6:11:50

TDengine 中的流式计算

简介 TDengine 中的流计算，功能相当于简化版的 FLINK ， 具有实时计算，计算结果可以输出到超级表中存储，同时也可用于窗口预计算，加快查询速度。 创建流式计算 CREATE STREAM [IF NOT EXISTS] stream_name [stream_o…...

编程日记 2026/3/3 19:57:21

Java 大视界 -- Java 大数据在智慧交通自动驾驶仿真与测试数据处理中的应用（136）

💖亲爱的朋友们，热烈欢迎来到 青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也…...

编程日记 2026/3/2 21:57:11

k8s中的组件

1.namespace Namespace 用于将集群资源划分为不同的逻辑组&#xff0c;方便管理和隔离 kubectl get namespace 查看所有逻辑组 kubectl describe namespace <namespace-name> 查看某个逻辑组信息详情 kubectl create namespace ... 创建逻辑组 kubectl delete names…...

编程日记 2026/2/15 6:55:11

JVM的一些知识

JVM简介 JVM 是 Java Virtual Machine 的简称&#xff0c;意为 Java 虚拟机。 虚拟机是指通过软件模拟的具有完整硬件功能的、运行在一个完全隔离的环境中的完整计算机系统。常见的虚拟机&#xff1a;JVM、VMwave、Virtual Box。 JVM 和其他两个虚拟机的区别&#xff1a; VMw…...

编程日记 2026/2/20 10:14:39

【安全运营】用户与实体行为分析（UEBA）浅析

目录 用户与实体行为分析&#xff08;UEBA&#xff09;简介一、UEBA的核心概念1. 行为基线建立2. 异常检测3. 风险评分4. 上下文关联 二、UEBA的应用场景1. 内部威胁检测2. 外部威胁应对3. 合规性和审计支持 三、UEBA的技术实现1. 大数据技术2. 机器学习算法3. 可视化工具 四、…...

编程日记 2026/3/1 6:46:28

sql小记，20250319

ps:基于sqlserver 一、绩效管理系统表设计 1.表设计 Users用户表&#xff1a;包含id&#xff0c;用户名&#xff0c;密码。 AppraisalBases评价(职位基数)表&#xff1a;包含职位id&#xff0c;职位年终奖基数 AppraisalCoeffcients评价系数表&#xff1a;包含类别id, 类别&…...

编程日记 2026/2/23 10:55:57

C语言每日一练——day_7

引言 针对初学者&#xff0c;每日练习几个题&#xff0c;快速上手C语言。第七天。&#xff08;连续更新中&#xff09; 采用在线OJ的形式 什么是在线OJ&#xff1f; 在线判题系统&#xff08;英语&#xff1a;Online Judge&#xff0c;缩写OJ&#xff09;是一种在编程竞赛中用…...

编程日记 2026/2/20 11:38:31

Java使用FFmpegFrameGrabber进行视频拆帧，结合Thumbnails压缩图片保存到文件夹

引入依赖 <dependency><groupId>net.coobird</groupId><artifactId>thumbnailator</artifactId><version>0.4.17</version></dependency><dependency><groupId>org.bytedeco</groupId><artifactId>ja…...

编程日记 2026/3/1 8:06:37

C#的简单工厂模式、工厂方法模式、抽象工厂模式

工厂模式是一种创建型设计模式&#xff0c;主要将对象的创建和使用分离&#xff0c;使得系统更加灵活和可维护。常见的工厂模式有简单工厂模式、工厂方法模式和抽象工厂模式&#xff0c;以下是 C# 实现的三个案例&#xff1a; 简单工厂模式 简单工厂模式通过一个工厂类来创建…...

编程日记 2025/12/3 5:18:49

用hexo初始化博客执行hexo init时碰到的问题

用hexo初始化博客执行hexo init时碰到的问题 $ hexo init myblog INFO Cloning hexo-starter https://github.com/hexojs/hexo-starter.git fatal: unable to access https://github.com/hexojs/hexo-starter.git/: SSL certificate problem: unable to get local issuer cer…...

编程日记 2026/2/18 6:40:18

4.1--入门知识扫盲，ISO知识体系介绍（看一遍，协议啥的全部记住）

OSI七层模型&#xff1a;网络世界的"七重天"生存指南&#xff08;附快递小哥版图解&#xff09; “如果你觉得网络分层很抽象&#xff0c;那就想象自己在寄快递” —— 来自一个被三次握手逼疯的程序员 开场白&#xff1a;网络通信就像送外卖 假设你要给隔壁妹子送奶…...

编程日记 2026/2/25 4:36:08

AI训练如何获取海量数据，论平台的重要性

引言&#xff1a;数据——AI时代的“新石油” 在人工智能和大模型技术飞速发展的今天&#xff0c;数据已成为驱动技术进步的 “ 燃料 ”。无论是训练聊天机器人、优化推荐算法&#xff0c;还是开发自动驾驶系统&#xff0c;都需要海量、多样化的数据支持。 然而&#xff0c;获…...

编程日记 2026/3/2 7:48:25

Axure高级功能深度解析一一高效原型设计的利器

Axure作为一款专业的原型设计工具&#xff0c;凭借其强大的功能和灵活的交互设计&#xff0c;成为了众多设计师和开发者的首选。本文将深入探讨Axure的高级功能&#xff0c;帮助大家更好地利用这款工具&#xff0c;提升原型设计的效率和质量。 一、Axure高级功能概览 • 变量管…...

编程日记 2025/7/17 3:51:36

QT国产化系统软件开发

一、国产操作系统 1、鸿蒙HarmonyOS NEXT ‌核心架构‌ 采用自研鸿蒙内核&#xff0c;完全脱离Linux与AOSP代码&#xff0c;基于分布式架构实现跨设备资源虚拟化整合&#xff0c;支持动态调度多终端硬件能力‌。通过分布式软总线技术&#xff08;D-Bus&#xff09;实现低时延…...

编程日记 2025/7/17 14:49:10

Git 使用SSH登陆

一、SSH介绍 SSH连接相比于HTTP连接会简单一点&#xff0c;因为SSH连接通过了私钥与公钥进行身份认证&#xff0c;这样就不需要像HTTP一样&#xff0c;每次clone或者操作仓库都需要输入密码 其中私钥和密钥是需要在自己电脑上生成的&#xff0c;通过命令即可生成一个私钥和一个…...

编程日记 2026/3/3 21:00:27

织梦DedeCMS修改文章【标题、短标题、关键词】长度限制

在后台虽然可以设置标题的长度&#xff0c;但是数据库的字段固定是60个字符&#xff0c;短标题是36字符&#xff0c;关键词30字符&#xff0c;所以这里教大家修改一下织梦DedeCMS修改【标题】【短标题】【关键词】长度限制 一、后台配置 1、进入dede后台管理 -> 系统 ->…...

编程日记 2026/3/3 23:11:06

Powershell WSL部署ubuntu22.04.5子系统

前提条件WSL 安装 wsl 安装参考1wsl 安装csdn参考2wsl 百度网盘离线下载 本地目录安装ubuntu22.04.5 子系统 powershell 管理员打开执行（实现，下载安装ubuntu子系统，用户创建，远程ssh登录设置，防火墙端口开放）子系统IP 查看方法wsl...

编程日记 2026/3/1 8:43:36

umi自带的tailwindcss修改为手动安装

1》为什么改为手动&#xff1f; 主要是为了解决这个报错问题&#xff0c;虽然重新运行也可解决&#xff0c;但是总是要运行2-3次&#xff0c;比较麻烦 2》如何手动 1&#xff0c;先在devDependencies下安装这两个包 pnpm install postcss8.5.1 -D "autoprefixer"…...

编程日记 2026/2/21 22:04:17

Android 13 Launcher3最近任务列表“全部清除“按钮位置优化实战

一、问题背景与实现难点 在Android 13横屏设备开发中&#xff0c;系统默认将最近任务列表的"全部清除"按钮布局在屏幕左侧&#xff0c;这与用户习惯的底部布局存在明显差异。相较于Android 8.1时代SystemUI模块的实现&#xff0c;Android 13将相关逻辑迁移至Launche…...

编程日记 2025/12/22 10:08:46

基于k3s部署Nginx、MySQL、SpringBoot和Redis的详细教程

1. 安装k3s集群 1.1 单节点快速部署 # 使用root或sudo权限执行 curl -sfL https://get.k3s.io | sh -# 验证安装 sudo kubectl get nodes # 输出应为Ready状态 sudo systemctl status k3s1.2 配置kubectl权限&#xff08;可选&#xff09; mkdir -p ~/.kube sudo cp /etc/r…...

编程日记 2026/1/18 19:17:20

SQL Server数据库简介及应用

SQL Server以高性能、高可用性著称&#xff0c;支持Windows/Linux跨平台部署&#xff0c;满足混合云需求。其内存优化表、列存储索引加速数据处理&#xff0c;AlwaysOn可用性组保障业务连续性。安全体系集成身份验证与加密&#xff0c;符合企业合规要求。与Azure无缝集成&#…...

编程日记 2026/1/30 3:18:39

麒麟V10 arm cpu aarch64 下编译 RocketMQ-Client-CPP 2.2.0

国产自主可控服务器需要访问RocketMQ消息队列&#xff0c;最新的CSDK是2020年发布的 rocketmq-client-cpp-2.2.0 这个版本支持TLS模式。 用默认的版本安装遇到一些问题&#xff0c;记录一下。 下载Releases apache/rocketmq-client-cpp GitHubhttps://github.com/apache/roc…...

编程日记 2026/2/26 21:34:02

【商城实战(49)】解锁小程序端适配与优化，让商城飞起来

【商城实战】专栏重磅来袭&#xff01;这是一份专为开发者与电商从业者打造的超详细指南。从项目基础搭建&#xff0c;运用 uniapp、Element Plus、SpringBoot 搭建商城框架&#xff0c;到用户、商品、订单等核心模块开发&#xff0c;再到性能优化、安全加固、多端适配&#xf…...

编程日记 2026/2/25 8:25:05

使用码云搭建CocoaPods远程私有库

一、创建远程私有索引库 用来存放私有框架的详细描述信息.podspec文件 1. 创建私有库 假设码云上创建的私有库为repo-spec 2. 查看本地已存在的索引库 pod repo list 3. 将远程私有索引库添加到本地 pod repo add [https://gitee.com/jingluoguo/repo-spec.git](https://gi…...

编程日记 2026/2/21 8:52:21

深度学习有哪些算法？

深度学习包含多种算法和模型&#xff0c;广泛应用于图像处理、自然语言处理、语音识别等领域。以下是主要分类及代表性算法&#xff1a; 一、基础神经网络 多层感知机&#xff08;MLP&#xff09; 最简单的深度学习模型&#xff0c;由多个全连接层组成&#xff0c;用于分类和回…...

编程日记 2026/2/16 8:26:17

专访LayaAir引擎最有价值专家-施杨

在 LayaAir 引擎的资源商店中&#xff0c;许多开发者都会注意到一个熟悉的名字——“射手座”。他不仅贡献了大量高质量的 Shader 资源&#xff0c;让一些开发者通过他的作品了解到 LayaAir 引擎在 3D 视觉效果上的更多可能&#xff0c;也让大家能够以低成本直接学习并应用这些…...

编程日记 2026/3/3 20:29:27