当前位置： 首页 > news >正文

ETL-kettle数据转换使用详解

news 2025/8/4 19:00:13

一、excel转换成mysql

表格就按照我们刚才转换的表格来转换成MySQL数据

  1. 在MySQL数据库中创建数据库，这个根据自身情况。我就在现有test库中测试了。

  2. 根据以上步骤，新建转换。

  3. 构建流程图，选择excel输入和表输出

  4. 将两个组件连接起来

  5. 双击表输入，文件选择源文件的位置，然后点击增加，在点击【工作表】，获取工作表名称，把标签移到右边
    在这里插入图片描述
    在这里插入图片描述

  6. 点击「字段」选项卡，点击「获取来自头部数据的字段…」按钮，Kettle会从Excel中读取第一行字段名称。
    在这里插入图片描述

  7. 将 age 字段的格式设置为#，register_date的格式设置为 yyyy-MM-dd HH:mm:ss。

  8. 点击「预览记录」按钮查看抽取到的数据。如果数据格式有我呢提，在调整格式
    在这里插入图片描述

  9. 点击「确定」按钮并保存。

  10. 配置MySQL组件，双击表输出组件

    数据库连接这里 点击新建连接，配置数据库连接信息，点击测试连接，看是否成功，如果报错，看是否世缺少jdbc的驱动，去MySQL官网下载对应的驱动即可。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  11. 输入目标表的名称为：user，后续Kettle将在MySQL中创建一张名为 user 的表格。
    在这里插入图片描述

  12. 点击下方的「SQL」按钮，可以看到Kettle会自动帮助我们生成MySQL创建表的SQL语句

    我们将age和gender字段的数据类型改为INT类型。并点击执行按钮，会自动在MySQL数据库中创建该表。可以去数据库验证下。执行完之后，点击确定并保存组件信息。
    在这里插入图片描述

  13. 保存并执行转换
    在这里插入图片描述

  14. 查看数据，由于ID 数据过大，需要把属性换成 bigint
    在这里插入图片描述

相关文章：

ETL-kettle数据转换使用详解

一、excel转换成mysql 表格就按照我们刚才转换的表格来转换成MySQL数据 在MySQL数据库中创建数据库，这个根据自身情况。我就在现有test库中测试了。 根据以上步骤，新建转换。 构建流程图，选择excel输入和表输出 将两个组件连接起来 双击…...

编程日记 2025/3/3 10:30:34

【容器化】低版本docker拉取ubuntn 22.04镜像启动容器执行apt update提示 NO_PUBKEY 871920D1991BC93C

前置信息 宿主机信息 [root@localhost ~]# cat /etc/os-release NAME="CentOS Linux" VERSION="7 (Core)" ID="centos" ID_LIKE="rhel fedora" VERSION_ID="7" PRETTY_NAME="CentOS Linux 7 (Core)" ANSI_COLOR…...

编程日记 2025/3/3 10:27:30

Hive-04之存储格式、SerDe、企业级调优

一、主题 hive表的数据压缩和文件存储格式hive的自定义UDF函数hive的JDBC代码操作hive的SerDe介绍和使用hive的优化 二、要点 1. hive表的文件存储格式 Hive支持的存储数的格式主要有：TEXTFILE（行式存储） 、SEQUENCEFILE(行式存储)、ORC&…...

编程日记 2025/3/3 10:25:27

Makefile、Make和CMake：构建工具的三剑客

目录 1. Makefile 2. Make 3. CMake Makefile、Make、CMake的关系 在软件开发中，构建工具是必不可少的。它们帮助开发者自动化编译、链接和打包的过程，确保代码能够高效地转化为可执行文件。Makefile、Make和CMake是三个常见的构建工具，它…...

编程日记 2025/3/3 10:19:19

The “Rule-of-Zero“ should be followed (s4963)

Most classes should not directly handle resources, but instead, use members that perform resource handling for them: For memory, it can be std::unique_ptr, std::shared_ptr, std::vector…​For files, it can be std::ofstream, std::ifstream…​…​ Classes …...

编程日记 2025/3/3 10:13:11

Kotlin语言特性（二）：泛型与注解

Kotlin语言特性（二）：泛型与注解 一、引言 在上一篇文章中，我们介绍了Kotlin的三大核心特性。本文将深入探讨Kotlin的泛型和注解特性，并与Java进行对比，帮助你更好地理解和运用这些特性。 二、Kotlin泛型 2.1 泛型基础 2.1.1 声明泛型类 // Kotlin泛型类声明 class …...

编程日记 2025/3/3 10:12:10

FunPapers[3]：WWW‘25「快手」生成式回归预测观看时长

Sequence Generation Modeling for Continuous Value Prediction https://arxiv.org/pdf/2412.20211，www 2025. 文章目录 Sequence Generation Modeling for Continuous Value Prediction核心思想1. CVP常规方法是怎么做的？2. 观看时长预测和CVP是如何关…...

编程日记 2025/3/3 10:11:08

并发编程1

JAVA线程回顾 多线程 多个并行的线程来完成个自的任务，优点是程序响应速度更快，程序性能得到提升。 并行执行与并发执行 并发执行就是在单核CPU下，现成实际上是串行执行的，任务调度器将cpu的时间片分给不同的线程使用&#xff0…...

编程日记 2025/3/3 10:10:07

Hadoop之01：HDFS分布式文件系统

HDFS分布式文件系统 1.目标 理解分布式思想学会使用HDFS的常用命令掌握如何使用java api操作HDFS能独立描述HDFS三大组件namenode、secondarynamenode、datanode的作用理解并独立描述HDFS读写流程HDFS如何解决大量小文件存储问题 2. HDFS 2.1 HDFS是什么 HDFS是Hadoop中的一…...

编程日记 2025/3/3 10:07:01

从源到目标：深度学习中的迁移学习与领域自适应实践

云边有个稻草人-CSDN博客 目录 引言 一、迁移学习概述 1.1 迁移学习的类型 1.2 迁移学习的核心思想 1.3 迁移学习的应用场景 二、领域自适应（Domain Adaptation） 2.1 领域自适应的定义 2.2 领域自适应的挑战 2.3 领域自适应的核心方法 &#…...

编程日记 2025/3/3 10:04:57

WebRTC与PJSIP：呼叫中心系统技术选型指南

助力企业构建高效、灵活的通信解决方案 在数字化时代，呼叫中心系统的技术选型直接影响客户服务效率和业务扩展能力。WebRTC与PJSIP作为两大主流通信技术，各有其核心优势与适用场景。本文从功能、成本、开发门槛等维度为您深度解析，助您精准匹…...

编程日记 2025/3/3 10:02:55

使用IDEA如何隐藏文件或文件夹

选择file -> settings 选择Editor -> File Types ->Ignored Files and Folders (忽略文件和目录) 点击号就可以指定想要隐藏的文件或文件夹...

编程日记 2025/3/3 9:56:48

【人工智能】数据挖掘与应用题库（1-100）

1、涉及变化快慢的问题可以考虑使用导数来分析。 答案:对 2、导数的几何意义是曲线在某点处切线的斜率。 答案:对 3、函数在某点的左导数存在，则导数就存在。 答案:错 4、关于梯度下降算法，下列说法错误的是（ ） 错误:梯度下降算法能找到函数精确的最小值。 5、正…...

编程日记 2025/3/3 9:54:44

腾讯云大模型知识引擎驱动的DeepSeek满血版医疗顾问大模型搭建实战

文章目录 1. 引言2. 什么是腾讯云大模型知识引擎（LKE）？核心优势功能特点应用场景 3. 模型搭建过程3.1 注册登录产品3.2 创建应用3.3 配置模型3.4 配置角色指令3.5 配置欢迎语3.6 配置知识库3.7 配置工作流3.8 启用联网搜索3.9 发布模型 4. 问…...

编程日记 2025/3/3 9:48:33

大白话页面加载速度优化的工具与实践案例

大白话页面加载速度优化的工具与实践案例 优化工具 Chrome开发者工具：这是个超好用的浏览器自带工具。就像你给车做检查的一套工具一样，能帮你查看页面加载的各种情况。比如说，你能在“Network”（网络）选项里看到每个…...

编程日记 2025/3/3 9:47:31

【JAVA面试题】什么是面向对象？谈谈你对面向对象的理解。

【JAVA面试题】什么是面向对象？谈谈你对面向对象的理解 在 Java 面试中，面向对象 是一个高频考点。它不仅是一种编程思想，更是现代软件开发的核心方法论。本文将从 面向对象的概念、与面向过程的对比、以及 面向对象的三大特性（封…...

编程日记 2025/3/3 9:44:24

解锁责任链模式：Java 实战与应用探秘

系列文章目录 后续补充~~~ 文章目录 一、责任链模式基础入门1.1 责任链模式的定义1.2 核心角色剖析1.2.1 抽象处理者（Handler）1.2.2 具体处理者（ConcreteHandler）1.2.3 客户端（Client） 1.3 类图结构展示 二…...

编程日记 2025/3/3 9:41:21

华为 Open Gauss 数据库在 Spring Boot 中使用 Flyway

db-migration：Flyway、Liquibase 扩展支持达梦（DM）、南大通用（GBase 8s）、OpenGauss 等国产数据库。部分数据库直接支持 Flowable 工作流。 开源代码仓库 Github：https://github.com/mengweijin/db-migrat…...

编程日记 2025/3/3 9:37:15

汽车电子电控软件开发中因复杂度提升导致的架构恶化问题

针对汽车电子电控软件开发中因复杂度提升导致的架构恶化问题，建议从以下方向进行架构优化和开发流程升级，以提升灵活性、可维护性和扩展性： 一、架构设计与模块化优化 分层架构与模块解耦 采用AUTOSAR标准的分层架构（应用层、运行…...

编程日记 2025/3/3 9:36:14

VMware Ubuntu 共享目录

在VMware中挂载Ubuntu共享目录需要以下步骤，分为设置共享文件夹和在Ubuntu中挂载两部分： 一、VMware 设置共享文件夹 关闭Ubuntu虚拟机 在配置前，建议先关闭虚拟机（若已运行需关闭，部分VMware版本支持热添加&#xff0…...

编程日记 2025/3/3 9:35:13

【大模型RAG】拍照搜题技术架构速览：三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道（多模态 OCR → 语义检索 → 答案渲染）、两级检索（倒排 BM25 向量 HNSW）并以大语言模型兜底”的整体框架： 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后，分别用…...

编程新知 2025/8/2 19:34:32

【网络】每天掌握一个Linux命令 - iftop

在Linux系统中，iftop是网络管理的得力助手，能实时监控网络流量、连接情况等，帮助排查网络异常。接下来从多方面详细介绍它。 目录 【网络】每天掌握一个Linux命令 - iftop工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景…...

编程新知 2025/8/4 15:02:27

基于大模型的 UI 自动化系统

基于大模型的 UI 自动化系统 下面是一个完整的 Python 系统，利用大模型实现智能 UI 自动化，结合计算机视觉和自然语言处理技术，实现"看屏操作"的能力。 系统架构设计 #mermaid-svg-2gn2GRvh5WCP2ktF {font-family:"trebuchet ms",verdana,arial,sans-…...

编程新知 2025/6/21 5:42:11

《从零掌握MIPI CSI-2: 协议精解与FPGA摄像头开发实战》-- CSI-2 协议详细解析 (一）

CSI-2 协议详细解析 (一） 1. CSI-2层定义（CSI-2 Layer Definitions） 分层结构 ：CSI-2协议分为6层： 物理层（PHY Layer） ： 定义电气特性、时钟机制和传输介质（导线&#…...

编程新知 2025/8/3 0:03:44

【磁盘】每天掌握一个Linux命令 - iostat

目录 【磁盘】每天掌握一个Linux命令 - iostat工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景 注意事项 【磁盘】每天掌握一个Linux命令 - iostat 工具概述 iostat（I/O Statistics）是Linux系统下用于监视系统输入输出设备和CPU使…...

编程新知 2025/7/26 17:49:27

在四层代理中还原真实客户端ngx_stream_realip_module

一、模块原理与价值 PROXY Protocol 回溯 第三方负载均衡（如 HAProxy、AWS NLB、阿里 SLB）发起上游连接时，将真实客户端 IP/Port 写入 PROXY Protocol v1/v2 头。Stream 层接收到头部后，ngx_stream_realip_module 从中提取原始信息…...

编程新知 2025/8/4 15:55:44

土地利用/土地覆盖遥感解译与基于CLUE模型未来变化情景预测；从基础到高级，涵盖ArcGIS数据处理、ENVI遥感解译与CLUE模型情景模拟等

🔍 土地利用/土地覆盖数据是生态、环境和气象等诸多领域模型的关键输入参数。通过遥感影像解译技术，可以精准获取历史或当前任何一个区域的土地利用/土地覆盖情况。这些数据不仅能够用于评估区域生态环境的变化趋势，还能有效评价重大生态工程…...

编程新知 2025/7/6 4:52:27

LLM基础1_语言模型如何处理文本

基于GitHub项目：https://github.com/datawhalechina/llms-from-scratch-cn 工具介绍 tiktoken：OpenAI开发的专业"分词器" torch：Facebook开发的强力计算引擎，相当于超级计算器 理解词嵌入：给词语画"…...

编程新知 2025/7/21 10:28:02

Java 二维码

Java 二维码 **技术&#xff1a;**谷歌 ZXing 实现 首先添加依赖 <!-- 二维码依赖 --><dependency><groupId>com.google.zxing</groupId><artifactId>core</artifactId><version>3.5.1</version></dependency><de…...

编程新知 2025/6/21 12:56:10

React从基础入门到高级实战：React 实战项目 - 项目五：微前端与模块化架构

React 实战项目&#xff1a;微前端与模块化架构 欢迎来到 React 开发教程专栏 的第 30 篇&#xff01;在前 29 篇文章中&#xff0c;我们从 React 的基础概念逐步深入到高级技巧&#xff0c;涵盖了组件设计、状态管理、路由配置、性能优化和企业级应用等核心内容。这一次&…...

编程新知 2025/7/5 19:14:46