当前位置： 首页 > news >正文

ETL-kettle数据转换使用详解

news 2026/2/7 14:10:22

一、excel转换成mysql

表格就按照我们刚才转换的表格来转换成MySQL数据

  1. 在MySQL数据库中创建数据库，这个根据自身情况。我就在现有test库中测试了。

  2. 根据以上步骤，新建转换。

  3. 构建流程图，选择excel输入和表输出

  4. 将两个组件连接起来

  5. 双击表输入，文件选择源文件的位置，然后点击增加，在点击【工作表】，获取工作表名称，把标签移到右边
    在这里插入图片描述
    在这里插入图片描述

  6. 点击「字段」选项卡，点击「获取来自头部数据的字段…」按钮，Kettle会从Excel中读取第一行字段名称。
    在这里插入图片描述

  7. 将 age 字段的格式设置为#，register_date的格式设置为 yyyy-MM-dd HH:mm:ss。

  8. 点击「预览记录」按钮查看抽取到的数据。如果数据格式有我呢提，在调整格式
    在这里插入图片描述

  9. 点击「确定」按钮并保存。

  10. 配置MySQL组件，双击表输出组件

    数据库连接这里 点击新建连接，配置数据库连接信息，点击测试连接，看是否成功，如果报错，看是否世缺少jdbc的驱动，去MySQL官网下载对应的驱动即可。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  11. 输入目标表的名称为：user，后续Kettle将在MySQL中创建一张名为 user 的表格。
    在这里插入图片描述

  12. 点击下方的「SQL」按钮，可以看到Kettle会自动帮助我们生成MySQL创建表的SQL语句

    我们将age和gender字段的数据类型改为INT类型。并点击执行按钮，会自动在MySQL数据库中创建该表。可以去数据库验证下。执行完之后，点击确定并保存组件信息。
    在这里插入图片描述

  13. 保存并执行转换
    在这里插入图片描述

  14. 查看数据，由于ID 数据过大，需要把属性换成 bigint
    在这里插入图片描述

相关文章：

ETL-kettle数据转换使用详解

一、excel转换成mysql 表格就按照我们刚才转换的表格来转换成MySQL数据 在MySQL数据库中创建数据库，这个根据自身情况。我就在现有test库中测试了。 根据以上步骤，新建转换。 构建流程图，选择excel输入和表输出 将两个组件连接起来 双击…...

编程日记 2025/3/3 10:30:34

【容器化】低版本docker拉取ubuntn 22.04镜像启动容器执行apt update提示 NO_PUBKEY 871920D1991BC93C

前置信息 宿主机信息 [root@localhost ~]# cat /etc/os-release NAME="CentOS Linux" VERSION="7 (Core)" ID="centos" ID_LIKE="rhel fedora" VERSION_ID="7" PRETTY_NAME="CentOS Linux 7 (Core)" ANSI_COLOR…...

编程日记 2025/3/3 10:27:30

Hive-04之存储格式、SerDe、企业级调优

一、主题 hive表的数据压缩和文件存储格式hive的自定义UDF函数hive的JDBC代码操作hive的SerDe介绍和使用hive的优化 二、要点 1. hive表的文件存储格式 Hive支持的存储数的格式主要有：TEXTFILE（行式存储） 、SEQUENCEFILE(行式存储)、ORC&…...

编程日记 2025/3/3 10:25:27

Makefile、Make和CMake：构建工具的三剑客

目录 1. Makefile 2. Make 3. CMake Makefile、Make、CMake的关系 在软件开发中，构建工具是必不可少的。它们帮助开发者自动化编译、链接和打包的过程，确保代码能够高效地转化为可执行文件。Makefile、Make和CMake是三个常见的构建工具，它…...

编程日记 2025/3/3 10:19:19

The “Rule-of-Zero“ should be followed (s4963)

Most classes should not directly handle resources, but instead, use members that perform resource handling for them: For memory, it can be std::unique_ptr, std::shared_ptr, std::vector…​For files, it can be std::ofstream, std::ifstream…​…​ Classes …...

编程日记 2025/3/3 10:13:11

Kotlin语言特性（二）：泛型与注解

Kotlin语言特性（二）：泛型与注解 一、引言 在上一篇文章中，我们介绍了Kotlin的三大核心特性。本文将深入探讨Kotlin的泛型和注解特性，并与Java进行对比，帮助你更好地理解和运用这些特性。 二、Kotlin泛型 2.1 泛型基础 2.1.1 声明泛型类 // Kotlin泛型类声明 class …...

编程日记 2025/3/3 10:12:10

FunPapers[3]：WWW‘25「快手」生成式回归预测观看时长

Sequence Generation Modeling for Continuous Value Prediction https://arxiv.org/pdf/2412.20211，www 2025. 文章目录 Sequence Generation Modeling for Continuous Value Prediction核心思想1. CVP常规方法是怎么做的？2. 观看时长预测和CVP是如何关…...

编程日记 2025/3/3 10:11:08

并发编程1

JAVA线程回顾 多线程 多个并行的线程来完成个自的任务，优点是程序响应速度更快，程序性能得到提升。 并行执行与并发执行 并发执行就是在单核CPU下，现成实际上是串行执行的，任务调度器将cpu的时间片分给不同的线程使用&#xff0…...

编程日记 2025/3/3 10:10:07

Hadoop之01：HDFS分布式文件系统

HDFS分布式文件系统 1.目标 理解分布式思想学会使用HDFS的常用命令掌握如何使用java api操作HDFS能独立描述HDFS三大组件namenode、secondarynamenode、datanode的作用理解并独立描述HDFS读写流程HDFS如何解决大量小文件存储问题 2. HDFS 2.1 HDFS是什么 HDFS是Hadoop中的一…...

编程日记 2025/3/3 10:07:01

从源到目标：深度学习中的迁移学习与领域自适应实践

云边有个稻草人-CSDN博客 目录 引言 一、迁移学习概述 1.1 迁移学习的类型 1.2 迁移学习的核心思想 1.3 迁移学习的应用场景 二、领域自适应（Domain Adaptation） 2.1 领域自适应的定义 2.2 领域自适应的挑战 2.3 领域自适应的核心方法 &#…...

编程日记 2025/3/3 10:04:57

WebRTC与PJSIP：呼叫中心系统技术选型指南

助力企业构建高效、灵活的通信解决方案 在数字化时代，呼叫中心系统的技术选型直接影响客户服务效率和业务扩展能力。WebRTC与PJSIP作为两大主流通信技术，各有其核心优势与适用场景。本文从功能、成本、开发门槛等维度为您深度解析，助您精准匹…...

编程日记 2025/3/3 10:02:55

使用IDEA如何隐藏文件或文件夹

选择file -> settings 选择Editor -> File Types ->Ignored Files and Folders (忽略文件和目录) 点击号就可以指定想要隐藏的文件或文件夹...

编程日记 2025/3/3 9:56:48

【人工智能】数据挖掘与应用题库（1-100）

1、涉及变化快慢的问题可以考虑使用导数来分析。 答案:对 2、导数的几何意义是曲线在某点处切线的斜率。 答案:对 3、函数在某点的左导数存在，则导数就存在。 答案:错 4、关于梯度下降算法，下列说法错误的是（ ） 错误:梯度下降算法能找到函数精确的最小值。 5、正…...

编程日记 2025/3/3 9:54:44

腾讯云大模型知识引擎驱动的DeepSeek满血版医疗顾问大模型搭建实战

文章目录 1. 引言2. 什么是腾讯云大模型知识引擎（LKE）？核心优势功能特点应用场景 3. 模型搭建过程3.1 注册登录产品3.2 创建应用3.3 配置模型3.4 配置角色指令3.5 配置欢迎语3.6 配置知识库3.7 配置工作流3.8 启用联网搜索3.9 发布模型 4. 问…...

编程日记 2025/3/3 9:48:33

大白话页面加载速度优化的工具与实践案例

大白话页面加载速度优化的工具与实践案例 优化工具 Chrome开发者工具：这是个超好用的浏览器自带工具。就像你给车做检查的一套工具一样，能帮你查看页面加载的各种情况。比如说，你能在“Network”（网络）选项里看到每个…...

编程日记 2025/3/3 9:47:31

【JAVA面试题】什么是面向对象？谈谈你对面向对象的理解。

【JAVA面试题】什么是面向对象？谈谈你对面向对象的理解 在 Java 面试中，面向对象 是一个高频考点。它不仅是一种编程思想，更是现代软件开发的核心方法论。本文将从 面向对象的概念、与面向过程的对比、以及 面向对象的三大特性（封…...

编程日记 2025/3/3 9:44:24

解锁责任链模式：Java 实战与应用探秘

系列文章目录 后续补充~~~ 文章目录 一、责任链模式基础入门1.1 责任链模式的定义1.2 核心角色剖析1.2.1 抽象处理者（Handler）1.2.2 具体处理者（ConcreteHandler）1.2.3 客户端（Client） 1.3 类图结构展示 二…...

编程日记 2025/3/3 9:41:21

华为 Open Gauss 数据库在 Spring Boot 中使用 Flyway

db-migration：Flyway、Liquibase 扩展支持达梦（DM）、南大通用（GBase 8s）、OpenGauss 等国产数据库。部分数据库直接支持 Flowable 工作流。 开源代码仓库 Github：https://github.com/mengweijin/db-migrat…...

编程日记 2025/3/3 9:37:15

汽车电子电控软件开发中因复杂度提升导致的架构恶化问题

针对汽车电子电控软件开发中因复杂度提升导致的架构恶化问题，建议从以下方向进行架构优化和开发流程升级，以提升灵活性、可维护性和扩展性： 一、架构设计与模块化优化 分层架构与模块解耦 采用AUTOSAR标准的分层架构（应用层、运行…...

编程日记 2025/3/3 9:36:14

VMware Ubuntu 共享目录

在VMware中挂载Ubuntu共享目录需要以下步骤，分为设置共享文件夹和在Ubuntu中挂载两部分： 一、VMware 设置共享文件夹 关闭Ubuntu虚拟机 在配置前，建议先关闭虚拟机（若已运行需关闭，部分VMware版本支持热添加&#xff0…...

编程日记 2025/3/3 9:35:13

【OSG学习笔记】Day 16: 骨骼动画与蒙皮（osgAnimation）

骨骼动画基础 骨骼动画是 3D 计算机图形中常用的技术，它通过以下两个主要组件实现角色动画。 骨骼系统 (Skeleton)：由层级结构的骨头组成，类似于人体骨骼蒙皮 (Mesh Skinning)：将模型网格顶点绑定到骨骼上，使骨骼移动…...

编程新知 2026/2/1 5:42:50

SpringTask-03.入门案例

一.入门案例 启动类： package com.sky;import lombok.extern.slf4j.Slf4j; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.cache.annotation.EnableCach…...

编程新知 2026/2/2 0:35:08

【学习笔记】深入理解Java虚拟机学习笔记——第4章 虚拟机性能监控，故障处理工具

第2章 虚拟机性能监控，故障处理工具 4.1 概述 略 4.2 基础故障处理工具 4.2.1 jps:虚拟机进程状况工具 命令：jps [options] [hostid] 功能：本地虚拟机进程显示进程ID（与ps相同），可同时显示主类&#x…...

编程新知 2026/1/15 1:34:10

论文笔记——相干体技术在裂缝预测中的应用研究

目录 相关地震知识补充地震数据的认识地震几何属性 相干体算法定义基本原理第一代相干体技术：基于互相关的相干体技术（Correlation）第二代相干体技术：基于相似的相干体技术（Semblance）基于多道相似的相干体…...

编程新知 2026/2/7 1:51:12

IP如何挑？2025年海外专线IP如何购买？

你花了时间和预算买了IP，结果IP质量不佳，项目效率低下不说，还可能带来莫名的网络问题，是不是太闹心了？尤其是在面对海外专线IP时，到底怎么才能买到适合自己的呢？所以，挑IP绝对是个技…...

编程新知 2026/1/28 3:04:35

Python基于历史模拟方法实现投资组合风险管理的VaR与ES模型项目实战

说明：这是一个机器学习实战项目（附带数据代码文档），如需数据代码文档可以直接到文章最后关注获取。 1.项目背景 在金融市场日益复杂和波动加剧的背景下，风险管理成为金融机构和个人投资者关注的核心议题之一。VaR&…...

编程新知 2026/1/25 4:19:49

深度学习水论文：mamba＋图像增强

🧀当前视觉领域对高效长序列建模需求激增，对Mamba图像增强这方向的研究自然也逐渐火热。原因在于其高效长程建模，以及动态计算优势，在图像质量提升和细节恢复方面有难以替代的作用。 🧀因此短时间内，就有不…...

编程新知 2026/1/26 4:52:47

Linux 下 DMA 内存映射浅析

序 系统 I/O 设备驱动程序通常调用其特定子系统的接口为 DMA 分配内存，但最终会调到 DMA 子系统的dma_alloc_coherent()/dma_alloc_attrs() 等接口。 关于 dma_alloc_coherent 接口详细的代码讲解、调用流程，可以参考这篇文章，我觉得写的非常…...

编程新知 2026/2/7 0:29:10

rm视觉学习1-自瞄部分

首先先感谢中南大学的开源，提供了很全面的思路，减少了很多基础性的开发研究 我看的阅读的是中南大学FYT战队开源视觉代码 链接：https://github.com/CSU-FYT-Vision/FYT2024_vision.git 1.框架： 代码框架结构：readme有…...

编程新知 2026/2/4 20:12:42

【Java】Ajax 技术详解

文章目录 1. Filter 过滤器1.1 Filter 概述1.2 Filter 快速入门开发步骤：1.3 Filter 执行流程1.4 Filter 拦截路径配置1.5 过滤器链2. Listener 监听器2.1 Listener 概述2.2 ServletContextListener3. Ajax 技术3.1 Ajax 概述3.2 Ajax 快速入门服务端实现：客户端实现：4. Axi…...

编程新知 2025/10/29 4:33:36