当前位置： 首页 > news >正文

ETL-kettle数据转换使用详解

news 2026/5/23 5:12:12

一、excel转换成mysql

表格就按照我们刚才转换的表格来转换成MySQL数据

  1. 在MySQL数据库中创建数据库，这个根据自身情况。我就在现有test库中测试了。

  2. 根据以上步骤，新建转换。

  3. 构建流程图，选择excel输入和表输出

  4. 将两个组件连接起来

  5. 双击表输入，文件选择源文件的位置，然后点击增加，在点击【工作表】，获取工作表名称，把标签移到右边
    在这里插入图片描述
    在这里插入图片描述

  6. 点击「字段」选项卡，点击「获取来自头部数据的字段…」按钮，Kettle会从Excel中读取第一行字段名称。
    在这里插入图片描述

  7. 将 age 字段的格式设置为#，register_date的格式设置为 yyyy-MM-dd HH:mm:ss。

  8. 点击「预览记录」按钮查看抽取到的数据。如果数据格式有我呢提，在调整格式
    在这里插入图片描述

  9. 点击「确定」按钮并保存。

  10. 配置MySQL组件，双击表输出组件

    数据库连接这里 点击新建连接，配置数据库连接信息，点击测试连接，看是否成功，如果报错，看是否世缺少jdbc的驱动，去MySQL官网下载对应的驱动即可。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  11. 输入目标表的名称为：user，后续Kettle将在MySQL中创建一张名为 user 的表格。
    在这里插入图片描述

  12. 点击下方的「SQL」按钮，可以看到Kettle会自动帮助我们生成MySQL创建表的SQL语句

    我们将age和gender字段的数据类型改为INT类型。并点击执行按钮，会自动在MySQL数据库中创建该表。可以去数据库验证下。执行完之后，点击确定并保存组件信息。
    在这里插入图片描述

  13. 保存并执行转换
    在这里插入图片描述

  14. 查看数据，由于ID 数据过大，需要把属性换成 bigint
    在这里插入图片描述

相关文章：

ETL-kettle数据转换使用详解

一、excel转换成mysql 表格就按照我们刚才转换的表格来转换成MySQL数据 在MySQL数据库中创建数据库，这个根据自身情况。我就在现有test库中测试了。 根据以上步骤，新建转换。 构建流程图，选择excel输入和表输出 将两个组件连接起来 双击…...

编程日记 2025/3/3 10:30:34

【容器化】低版本docker拉取ubuntn 22.04镜像启动容器执行apt update提示 NO_PUBKEY 871920D1991BC93C

前置信息 宿主机信息 [root@localhost ~]# cat /etc/os-release NAME="CentOS Linux" VERSION="7 (Core)" ID="centos" ID_LIKE="rhel fedora" VERSION_ID="7" PRETTY_NAME="CentOS Linux 7 (Core)" ANSI_COLOR…...

编程日记 2025/3/3 10:27:30

Hive-04之存储格式、SerDe、企业级调优

一、主题 hive表的数据压缩和文件存储格式hive的自定义UDF函数hive的JDBC代码操作hive的SerDe介绍和使用hive的优化 二、要点 1. hive表的文件存储格式 Hive支持的存储数的格式主要有：TEXTFILE（行式存储） 、SEQUENCEFILE(行式存储)、ORC&…...

编程日记 2025/3/3 10:25:27

Makefile、Make和CMake：构建工具的三剑客

目录 1. Makefile 2. Make 3. CMake Makefile、Make、CMake的关系 在软件开发中，构建工具是必不可少的。它们帮助开发者自动化编译、链接和打包的过程，确保代码能够高效地转化为可执行文件。Makefile、Make和CMake是三个常见的构建工具，它…...

编程日记 2025/3/3 10:19:19

The “Rule-of-Zero“ should be followed (s4963)

Most classes should not directly handle resources, but instead, use members that perform resource handling for them: For memory, it can be std::unique_ptr, std::shared_ptr, std::vector…​For files, it can be std::ofstream, std::ifstream…​…​ Classes …...

编程日记 2025/3/3 10:13:11

Kotlin语言特性（二）：泛型与注解

Kotlin语言特性（二）：泛型与注解 一、引言 在上一篇文章中，我们介绍了Kotlin的三大核心特性。本文将深入探讨Kotlin的泛型和注解特性，并与Java进行对比，帮助你更好地理解和运用这些特性。 二、Kotlin泛型 2.1 泛型基础 2.1.1 声明泛型类 // Kotlin泛型类声明 class …...

编程日记 2025/3/3 10:12:10

FunPapers[3]：WWW‘25「快手」生成式回归预测观看时长

Sequence Generation Modeling for Continuous Value Prediction https://arxiv.org/pdf/2412.20211，www 2025. 文章目录 Sequence Generation Modeling for Continuous Value Prediction核心思想1. CVP常规方法是怎么做的？2. 观看时长预测和CVP是如何关…...

编程日记 2025/3/3 10:11:08

并发编程1

JAVA线程回顾 多线程 多个并行的线程来完成个自的任务，优点是程序响应速度更快，程序性能得到提升。 并行执行与并发执行 并发执行就是在单核CPU下，现成实际上是串行执行的，任务调度器将cpu的时间片分给不同的线程使用&#xff0…...

编程日记 2025/3/3 10:10:07

Hadoop之01：HDFS分布式文件系统

HDFS分布式文件系统 1.目标 理解分布式思想学会使用HDFS的常用命令掌握如何使用java api操作HDFS能独立描述HDFS三大组件namenode、secondarynamenode、datanode的作用理解并独立描述HDFS读写流程HDFS如何解决大量小文件存储问题 2. HDFS 2.1 HDFS是什么 HDFS是Hadoop中的一…...

编程日记 2025/3/3 10:07:01

从源到目标：深度学习中的迁移学习与领域自适应实践

云边有个稻草人-CSDN博客 目录 引言 一、迁移学习概述 1.1 迁移学习的类型 1.2 迁移学习的核心思想 1.3 迁移学习的应用场景 二、领域自适应（Domain Adaptation） 2.1 领域自适应的定义 2.2 领域自适应的挑战 2.3 领域自适应的核心方法 &#…...

编程日记 2025/3/3 10:04:57

WebRTC与PJSIP：呼叫中心系统技术选型指南

助力企业构建高效、灵活的通信解决方案 在数字化时代，呼叫中心系统的技术选型直接影响客户服务效率和业务扩展能力。WebRTC与PJSIP作为两大主流通信技术，各有其核心优势与适用场景。本文从功能、成本、开发门槛等维度为您深度解析，助您精准匹…...

编程日记 2025/3/3 10:02:55

使用IDEA如何隐藏文件或文件夹

选择file -> settings 选择Editor -> File Types ->Ignored Files and Folders (忽略文件和目录) 点击号就可以指定想要隐藏的文件或文件夹...

编程日记 2025/3/3 9:56:48

【人工智能】数据挖掘与应用题库（1-100）

1、涉及变化快慢的问题可以考虑使用导数来分析。 答案:对 2、导数的几何意义是曲线在某点处切线的斜率。 答案:对 3、函数在某点的左导数存在，则导数就存在。 答案:错 4、关于梯度下降算法，下列说法错误的是（ ） 错误:梯度下降算法能找到函数精确的最小值。 5、正…...

编程日记 2025/3/3 9:54:44

腾讯云大模型知识引擎驱动的DeepSeek满血版医疗顾问大模型搭建实战

文章目录 1. 引言2. 什么是腾讯云大模型知识引擎（LKE）？核心优势功能特点应用场景 3. 模型搭建过程3.1 注册登录产品3.2 创建应用3.3 配置模型3.4 配置角色指令3.5 配置欢迎语3.6 配置知识库3.7 配置工作流3.8 启用联网搜索3.9 发布模型 4. 问…...

编程日记 2025/3/3 9:48:33

大白话页面加载速度优化的工具与实践案例

大白话页面加载速度优化的工具与实践案例 优化工具 Chrome开发者工具：这是个超好用的浏览器自带工具。就像你给车做检查的一套工具一样，能帮你查看页面加载的各种情况。比如说，你能在“Network”（网络）选项里看到每个…...

编程日记 2025/3/3 9:47:31

【JAVA面试题】什么是面向对象？谈谈你对面向对象的理解。

【JAVA面试题】什么是面向对象？谈谈你对面向对象的理解 在 Java 面试中，面向对象 是一个高频考点。它不仅是一种编程思想，更是现代软件开发的核心方法论。本文将从 面向对象的概念、与面向过程的对比、以及 面向对象的三大特性（封…...

编程日记 2025/3/3 9:44:24

解锁责任链模式：Java 实战与应用探秘

系列文章目录 后续补充~~~ 文章目录 一、责任链模式基础入门1.1 责任链模式的定义1.2 核心角色剖析1.2.1 抽象处理者（Handler）1.2.2 具体处理者（ConcreteHandler）1.2.3 客户端（Client） 1.3 类图结构展示 二…...

编程日记 2025/3/3 9:41:21

华为 Open Gauss 数据库在 Spring Boot 中使用 Flyway

db-migration：Flyway、Liquibase 扩展支持达梦（DM）、南大通用（GBase 8s）、OpenGauss 等国产数据库。部分数据库直接支持 Flowable 工作流。 开源代码仓库 Github：https://github.com/mengweijin/db-migrat…...

编程日记 2025/3/3 9:37:15

汽车电子电控软件开发中因复杂度提升导致的架构恶化问题

针对汽车电子电控软件开发中因复杂度提升导致的架构恶化问题，建议从以下方向进行架构优化和开发流程升级，以提升灵活性、可维护性和扩展性： 一、架构设计与模块化优化 分层架构与模块解耦 采用AUTOSAR标准的分层架构（应用层、运行…...

编程日记 2025/3/3 9:36:14

VMware Ubuntu 共享目录

在VMware中挂载Ubuntu共享目录需要以下步骤，分为设置共享文件夹和在Ubuntu中挂载两部分： 一、VMware 设置共享文件夹 关闭Ubuntu虚拟机 在配置前，建议先关闭虚拟机（若已运行需关闭，部分VMware版本支持热添加&#xff0…...

编程日记 2025/3/3 9:35:13

【awinic inside】音质续航，听声辨位 | 艾为芯助力小天才AI手表Z12

...

编程新知 2026/5/23 2:29:43

给老系统装一层 “能办事的 AI”：企业 Agent 卡住的最后一步，SkillsUI 想补上

让我们从一个所有做企业 Agent 的人都遇到过的具体场景说起。某券商风控员要给客户开通融资融券账户，传统流程是这样的：登录 OA 提风控审批 → 跳到 CRM 拉客户资料 → 跳到风控系统填评估表 → 跳到电子签平台发签约链接 → 回 OA 关单。十几个字段反复…...

编程新知 2026/5/23 0:15:50

有哪些一键生成论文工具是真的贴合学术规范，而不是模板套话？

在 AI 写作技术迅猛发展的当下，各类论文工具层出不穷，看似能快速完成写作任务，实则多数只是表面功夫、内容空洞的 "文字搬运工"，生成的论文存在逻辑断层、术语错误、格式混乱等明显缺陷，读起来毫无专业感&am…...

编程新知 2026/5/23 0:09:29

taotoken多模型聚合平台为matlab开发者提供稳定ai能力

🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度 taotoken多模型聚合平台为matlab开发者提供稳定ai能力 对于使用MATLAB进行数据分析、仿真建模或算法开发的工程师和研究人员而言&a…...

编程新知 2026/5/22 21:33:11

MultiHighlight插件深度解析：JetBrains IDE智能代码高亮实战指南

MultiHighlight插件深度解析：JetBrains IDE智能代码高亮实战指南 【免费下载链接】MultiHighlight Jetbrains IDE plugin: highlight identifiers with custom colors 🎨💡 项目地址: https://gitcode.com/gh_mirrors/mu/MultiHighlight …...

编程新知 2026/5/22 20:51:40

函数递归调用原理

1. 什么是递归 2. 递归的举例 3. 递归与迭代1. 什么是递归递归就是一种解决方法&#xff0c;在C语言中&#xff0c;递归就是函数调用自己。下面是一个简单的递归C语言程序&#xff1a;#include <stdio .h>int main(){printf("hello world\n");main();//main函数…...

编程新知 2026/5/22 20:21:18

RabbitMQ 入门与安装

RabbitMQ 入门与安装&#xff1a;从 MQ 概念到环境搭建 一、开篇&#xff1a;学习 RabbitMQ 前需要准备什么 RabbitMQ 属于消息中间件&#xff0c;是 Java 后端开发中非常常见的一类基础组件。学习它之前&#xff0c;最好已经具备以下基础&#xff1a; 具备一定 Java 基础&…...

编程新知 2026/5/22 20:10:38

SQL 排序分页精讲！ORDER BY+LIMIT 全套用法，报表分页

前言学会了条件查询、模糊查询之后&#xff0c;日常业务还有两个刚需场景&#xff1a;查出来的数据杂乱无章&#xff0c;想按年龄、时间、金额从小到大 / 从大到小排序&#xff1b;数据有成千上万条&#xff0c;一次性加载全部卡死&#xff0c;需要分页展示&#xff0c;一页只展…...

编程新知 2026/5/22 20:06:34

高性能企业级数据集成架构设计：Pentaho Kettle 11.0核心引擎深度解析与部署指南

高性能企业级数据集成架构设计&#xff1a;Pentaho Kettle 11.0核心引擎深度解析与部署指南 【免费下载链接】pentaho-kettle Pentaho Data Integration ( ETL ) a.k.a Kettle 项目地址: https://gitcode.com/gh_mirrors/pe/pentaho-kettle Pentaho Data Integration&am…...

编程新知 2026/5/22 18:52:50

2026年京东云OpenClaw/Hermes Agent配置Token Plan详细搭建教程

2026年京东云OpenClaw/Hermes Agent配置Token Plan详细搭建教程。OpenClaw是开源的个人AI助手&#xff0c;Hermes Agent则是一个能自我进化的AI智能体框架。阿里云提供计算巢、轻量服务器及无影云电脑三种部署OpenClaw 与 Hermes Agent的方案、百炼Token Plan兼容主流 AI 工具&…...

编程新知 2026/5/22 18:29:08