当前位置： 首页 > news >正文

ETL-kettle数据转换使用详解

news 2026/2/9 3:42:27

一、excel转换成mysql

表格就按照我们刚才转换的表格来转换成MySQL数据

  1. 在MySQL数据库中创建数据库，这个根据自身情况。我就在现有test库中测试了。

  2. 根据以上步骤，新建转换。

  3. 构建流程图，选择excel输入和表输出

  4. 将两个组件连接起来

  5. 双击表输入，文件选择源文件的位置，然后点击增加，在点击【工作表】，获取工作表名称，把标签移到右边
    在这里插入图片描述
    在这里插入图片描述

  6. 点击「字段」选项卡，点击「获取来自头部数据的字段…」按钮，Kettle会从Excel中读取第一行字段名称。
    在这里插入图片描述

  7. 将 age 字段的格式设置为#，register_date的格式设置为 yyyy-MM-dd HH:mm:ss。

  8. 点击「预览记录」按钮查看抽取到的数据。如果数据格式有我呢提，在调整格式
    在这里插入图片描述

  9. 点击「确定」按钮并保存。

  10. 配置MySQL组件，双击表输出组件

    数据库连接这里 点击新建连接，配置数据库连接信息，点击测试连接，看是否成功，如果报错，看是否世缺少jdbc的驱动，去MySQL官网下载对应的驱动即可。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  11. 输入目标表的名称为：user，后续Kettle将在MySQL中创建一张名为 user 的表格。
    在这里插入图片描述

  12. 点击下方的「SQL」按钮，可以看到Kettle会自动帮助我们生成MySQL创建表的SQL语句

    我们将age和gender字段的数据类型改为INT类型。并点击执行按钮，会自动在MySQL数据库中创建该表。可以去数据库验证下。执行完之后，点击确定并保存组件信息。
    在这里插入图片描述

  13. 保存并执行转换
    在这里插入图片描述

  14. 查看数据，由于ID 数据过大，需要把属性换成 bigint
    在这里插入图片描述

相关文章：

ETL-kettle数据转换使用详解

一、excel转换成mysql 表格就按照我们刚才转换的表格来转换成MySQL数据 在MySQL数据库中创建数据库，这个根据自身情况。我就在现有test库中测试了。 根据以上步骤，新建转换。 构建流程图，选择excel输入和表输出 将两个组件连接起来 双击…...

编程日记 2025/3/3 10:30:34

【容器化】低版本docker拉取ubuntn 22.04镜像启动容器执行apt update提示 NO_PUBKEY 871920D1991BC93C

前置信息 宿主机信息 [root@localhost ~]# cat /etc/os-release NAME="CentOS Linux" VERSION="7 (Core)" ID="centos" ID_LIKE="rhel fedora" VERSION_ID="7" PRETTY_NAME="CentOS Linux 7 (Core)" ANSI_COLOR…...

编程日记 2025/3/3 10:27:30

Hive-04之存储格式、SerDe、企业级调优

一、主题 hive表的数据压缩和文件存储格式hive的自定义UDF函数hive的JDBC代码操作hive的SerDe介绍和使用hive的优化 二、要点 1. hive表的文件存储格式 Hive支持的存储数的格式主要有：TEXTFILE（行式存储） 、SEQUENCEFILE(行式存储)、ORC&…...

编程日记 2025/3/3 10:25:27

Makefile、Make和CMake：构建工具的三剑客

目录 1. Makefile 2. Make 3. CMake Makefile、Make、CMake的关系 在软件开发中，构建工具是必不可少的。它们帮助开发者自动化编译、链接和打包的过程，确保代码能够高效地转化为可执行文件。Makefile、Make和CMake是三个常见的构建工具，它…...

编程日记 2025/3/3 10:19:19

The “Rule-of-Zero“ should be followed (s4963)

Most classes should not directly handle resources, but instead, use members that perform resource handling for them: For memory, it can be std::unique_ptr, std::shared_ptr, std::vector…​For files, it can be std::ofstream, std::ifstream…​…​ Classes …...

编程日记 2025/3/3 10:13:11

Kotlin语言特性（二）：泛型与注解

Kotlin语言特性（二）：泛型与注解 一、引言 在上一篇文章中，我们介绍了Kotlin的三大核心特性。本文将深入探讨Kotlin的泛型和注解特性，并与Java进行对比，帮助你更好地理解和运用这些特性。 二、Kotlin泛型 2.1 泛型基础 2.1.1 声明泛型类 // Kotlin泛型类声明 class …...

编程日记 2025/3/3 10:12:10

FunPapers[3]：WWW‘25「快手」生成式回归预测观看时长

Sequence Generation Modeling for Continuous Value Prediction https://arxiv.org/pdf/2412.20211，www 2025. 文章目录 Sequence Generation Modeling for Continuous Value Prediction核心思想1. CVP常规方法是怎么做的？2. 观看时长预测和CVP是如何关…...

编程日记 2025/3/3 10:11:08

并发编程1

JAVA线程回顾 多线程 多个并行的线程来完成个自的任务，优点是程序响应速度更快，程序性能得到提升。 并行执行与并发执行 并发执行就是在单核CPU下，现成实际上是串行执行的，任务调度器将cpu的时间片分给不同的线程使用&#xff0…...

编程日记 2025/3/3 10:10:07

Hadoop之01：HDFS分布式文件系统

HDFS分布式文件系统 1.目标 理解分布式思想学会使用HDFS的常用命令掌握如何使用java api操作HDFS能独立描述HDFS三大组件namenode、secondarynamenode、datanode的作用理解并独立描述HDFS读写流程HDFS如何解决大量小文件存储问题 2. HDFS 2.1 HDFS是什么 HDFS是Hadoop中的一…...

编程日记 2025/3/3 10:07:01

从源到目标：深度学习中的迁移学习与领域自适应实践

云边有个稻草人-CSDN博客 目录 引言 一、迁移学习概述 1.1 迁移学习的类型 1.2 迁移学习的核心思想 1.3 迁移学习的应用场景 二、领域自适应（Domain Adaptation） 2.1 领域自适应的定义 2.2 领域自适应的挑战 2.3 领域自适应的核心方法 &#…...

编程日记 2025/3/3 10:04:57

WebRTC与PJSIP：呼叫中心系统技术选型指南

助力企业构建高效、灵活的通信解决方案 在数字化时代，呼叫中心系统的技术选型直接影响客户服务效率和业务扩展能力。WebRTC与PJSIP作为两大主流通信技术，各有其核心优势与适用场景。本文从功能、成本、开发门槛等维度为您深度解析，助您精准匹…...

编程日记 2025/3/3 10:02:55

使用IDEA如何隐藏文件或文件夹

选择file -> settings 选择Editor -> File Types ->Ignored Files and Folders (忽略文件和目录) 点击号就可以指定想要隐藏的文件或文件夹...

编程日记 2025/3/3 9:56:48

【人工智能】数据挖掘与应用题库（1-100）

1、涉及变化快慢的问题可以考虑使用导数来分析。 答案:对 2、导数的几何意义是曲线在某点处切线的斜率。 答案:对 3、函数在某点的左导数存在，则导数就存在。 答案:错 4、关于梯度下降算法，下列说法错误的是（ ） 错误:梯度下降算法能找到函数精确的最小值。 5、正…...

编程日记 2025/3/3 9:54:44

腾讯云大模型知识引擎驱动的DeepSeek满血版医疗顾问大模型搭建实战

文章目录 1. 引言2. 什么是腾讯云大模型知识引擎（LKE）？核心优势功能特点应用场景 3. 模型搭建过程3.1 注册登录产品3.2 创建应用3.3 配置模型3.4 配置角色指令3.5 配置欢迎语3.6 配置知识库3.7 配置工作流3.8 启用联网搜索3.9 发布模型 4. 问…...

编程日记 2025/3/3 9:48:33

大白话页面加载速度优化的工具与实践案例

大白话页面加载速度优化的工具与实践案例 优化工具 Chrome开发者工具：这是个超好用的浏览器自带工具。就像你给车做检查的一套工具一样，能帮你查看页面加载的各种情况。比如说，你能在“Network”（网络）选项里看到每个…...

编程日记 2025/3/3 9:47:31

【JAVA面试题】什么是面向对象？谈谈你对面向对象的理解。

【JAVA面试题】什么是面向对象？谈谈你对面向对象的理解 在 Java 面试中，面向对象 是一个高频考点。它不仅是一种编程思想，更是现代软件开发的核心方法论。本文将从 面向对象的概念、与面向过程的对比、以及 面向对象的三大特性（封…...

编程日记 2025/3/3 9:44:24

解锁责任链模式：Java 实战与应用探秘

系列文章目录 后续补充~~~ 文章目录 一、责任链模式基础入门1.1 责任链模式的定义1.2 核心角色剖析1.2.1 抽象处理者（Handler）1.2.2 具体处理者（ConcreteHandler）1.2.3 客户端（Client） 1.3 类图结构展示 二…...

编程日记 2025/3/3 9:41:21

华为 Open Gauss 数据库在 Spring Boot 中使用 Flyway

db-migration：Flyway、Liquibase 扩展支持达梦（DM）、南大通用（GBase 8s）、OpenGauss 等国产数据库。部分数据库直接支持 Flowable 工作流。 开源代码仓库 Github：https://github.com/mengweijin/db-migrat…...

编程日记 2025/3/3 9:37:15

汽车电子电控软件开发中因复杂度提升导致的架构恶化问题

针对汽车电子电控软件开发中因复杂度提升导致的架构恶化问题，建议从以下方向进行架构优化和开发流程升级，以提升灵活性、可维护性和扩展性： 一、架构设计与模块化优化 分层架构与模块解耦 采用AUTOSAR标准的分层架构（应用层、运行…...

编程日记 2025/3/3 9:36:14

VMware Ubuntu 共享目录

在VMware中挂载Ubuntu共享目录需要以下步骤，分为设置共享文件夹和在Ubuntu中挂载两部分： 一、VMware 设置共享文件夹 关闭Ubuntu虚拟机 在配置前，建议先关闭虚拟机（若已运行需关闭，部分VMware版本支持热添加&#xff0…...

编程日记 2025/3/3 9:35:13

XCTF-web-easyupload

试了试php，php7，pht，phtml等，都没有用 尝试.user.ini 抓包修改将.user.ini修改为jpg图片 在上传一个123.jpg 用蚁剑连接，得到flag...

编程新知 2026/2/8 3:54:15

python如何将word的doc另存为docx

将 DOCX 文件另存为 DOCX 格式（Python 实现） 在 Python 中，你可以使用 python-docx 库来操作 Word 文档。不过需要注意的是，.doc 是旧的 Word 格式，而 .docx 是新的基于 XML 的格式。python-docx 只能处理 .docx 格式…...

编程新知 2025/12/13 22:42:30

Spring AI 入门：Java 开发者的生成式 AI 实践之路

一、Spring AI 简介 在人工智能技术快速迭代的今天，Spring AI 作为 Spring 生态系统的新生力量，正在成为 Java 开发者拥抱生成式 AI 的最佳选择。该框架通过模块化设计实现了与主流 AI 服务（如 OpenAI、Anthropic）的无缝对接&…...

编程新知 2025/12/25 18:03:56

汇编常见指令

汇编常见指令 一、数据传送指令 指令功能示例说明MOV数据传送MOV EAX, 10将立即数 10 送入 EAXMOV [EBX], EAX将 EAX 值存入 EBX 指向的内存LEA加载有效地址LEA EAX, [EBX4]将 EBX4 的地址存入 EAX（不访问内存）XCHG交换数据XCHG EAX, EBX交换 EAX 和 EB…...

编程新知 2026/1/23 2:04:44

【碎碎念】宝可梦 Mesh GO : 基于MESH网络的口袋妖怪 宝可梦GO游戏自组网系统

目录 游戏说明《宝可梦 Mesh GO》 —— 局域宝可梦探索Pokmon GO 类游戏核心理念应用场景Mesh 特性 宝可梦玩法融合设计游戏构想要素1. 地图探索（基于物理空间 广播范围）2. 野生宝可梦生成与广播3. 对战系统4. 道具与通信5. 延伸玩法 安全性设计 技术选…...

编程新知 2025/12/12 6:01:17

智能分布式爬虫的数据处理流水线优化：基于深度强化学习的数据质量控制

在数字化浪潮席卷全球的今天，数据已成为企业和研究机构的核心资产。智能分布式爬虫作为高效的数据采集工具，在大规模数据获取中发挥着关键作用。然而，传统的数据处理流水线在面对复杂多变的网络环境和海量异构数据时，常出现数据质…...

编程新知 2026/2/6 1:04:23

均衡后的SNRSINR

本文主要摘自参考文献中的前两篇，相关文献中经常会出现MIMO检测后的SINR不过一直没有找到相关数学推到过程，其中文献[1]中给出了相关原理在此仅做记录。 1. 系统模型 复信道模型 n t n_t nt​ 根发送天线， n r n_r nr​ 根接收天线的 MIMO 系…...

编程新知 2026/1/30 4:47:24

MySQL JOIN 表过多的优化思路

当 MySQL 查询涉及大量表 JOIN 时，性能会显著下降。以下是优化思路和简易实现方法： 一、核心优化思路 减少 JOIN 数量 数据冗余：添加必要的冗余字段（如订单表直接存储用户名）合并表：将频繁关联的小表合并成…...

编程新知 2026/1/11 6:22:16

提升移动端网页调试效率：WebDebugX 与常见工具组合实践

在日常移动端开发中，网页调试始终是一个高频但又极具挑战的环节。尤其在面对 iOS 与 Android 的混合技术栈、各种设备差异化行为时，开发者迫切需要一套高效、可靠且跨平台的调试方案。过去，我们或多或少使用过 Chrome DevTools、Remote Debug…...

编程新知 2025/6/10 21:08:23

LCTF液晶可调谐滤波器在多光谱相机捕捉无人机目标检测中的作用

中达瑞和自2005年成立以来，一直在光谱成像领域深度钻研和发展，始终致力于研发高性能、高可靠性的光谱成像相机，为科研院校提供更优的产品和服务。在《低空背景下无人机目标的光谱特征研究及目标检测应用》这篇论文中提到中达瑞和 LCTF 作为多…...

编程新知 2025/12/31 17:08:10