【Kettle的安装与使用】使用Kettle实现mysql和hive的数据传输（使用Kettle将mysql数据导入hive、将hive数据导入mysql）
文章目录
- 一、安装
- 1、解压
- 2、修改字符集
- 3、启动
- 二、实战
- 1、将hive数据导入mysql
- 2、将mysql数据导入到hive
一、安装
Kettle的安装包在文章结尾
1、解压
在windows中解压到一个非中文路径下
2、修改字符集
修改 spoon.bat 文件
![[图片]](https://i-blog.csdnimg.cn/direct/9173e6aa421c4212835e870dd6f7556d.png)
"-Dfile.encoding=UTF-8"
3、启动
以管理员身份运行 spoon.bat 文件
二、实战
1、将hive数据导入mysql
kettle连接hive前配置：
![[图片]](https://i-blog.csdnimg.cn/direct/fd8cb1e7e441488d991d7255fff53b5e.png)
![[图片]](https://i-blog.csdnimg.cn/direct/6f33015104e54b74847bb696a141b749.png)
![[图片]](https://i-blog.csdnimg.cn/direct/c396116c1c3d4cc0a1c2208cb6123ef9.png)
![[图片]](https://i-blog.csdnimg.cn/direct/40babf11dae24e0ea1a473010463fbde.png)
![[图片]](https://i-blog.csdnimg.cn/direct/4cd4f2b4d46a473da20af5b22daea9c0.png)
![[图片]](https://i-blog.csdnimg.cn/direct/4dc56391462140c786d3fc090ac632f4.png)
![[图片]](https://i-blog.csdnimg.cn/direct/d877a281b8d241b6a83dfb89ea48f95a.png)
![[图片]](https://i-blog.csdnimg.cn/direct/0d34666da8504e81ac60f50949fd22d8.png)
![[图片]](https://i-blog.csdnimg.cn/direct/f462b3a3ce54450fb806c45e9330b977.png)
![[图片]](https://i-blog.csdnimg.cn/direct/9e3a5c00f29b47768cdcfae2e1640700.png)
![[图片]](https://i-blog.csdnimg.cn/direct/e3d8dff104fa47f3a783715d9c7828f6.png)
![[图片]](https://i-blog.csdnimg.cn/direct/427f5b02d6c642f29bedc3dce33ed36d.png)
2、将mysql数据导入到hive
和将hive数据导入mysql一样
有时候，运行成功，有时候只能导入 2 条数据，然后报错，可以在 hive 的 conf 下的 .hiverc 下，添加如下：
set hive.stats.column.autogather=false;
然后不需要重启 hiveserver2 以及 kettle，直接运行即可。
通过网盘分享的文件：Kettle
链接: Kettle安装包
提取码: 1234
相关文章：
【Kettle的安装与使用】使用Kettle实现mysql和hive的数据传输（使用Kettle将mysql数据导入hive、将hive数据导入mysql）
文章目录 一、安装1、解压2、修改字符集3、启动 二、实战1、将hive数据导入mysql2、将mysql数据导入到hive 一、安装 Kettle的安装包在文章结尾 1、解压 在windows中解压到一个非中文路径下 2、修改字符集 修改 spoon.bat 文件 "-Dfile.encodingUTF-8"3、启动…...
STM32的hal库在实现延时函数（例如：Delay_ms 等）为什么用滴答定时（Systick）而不是定时器定时中断，也不是RTC？
STM32的HAL库在实现延时函数（如Delay_ms等）时选择使用滴答定时器（Systick）而非定时器定时中断或RTC（实时时钟），主要基于以下几个原因： Systick定时器的优势 集成在NVIC中ÿ…...
刚刚买的域名被DNS劫持了怎么处理
在当今数字化的时代，域名作为网络世界的重要标识，对于个人和企业的在线业务都至关重要。然而，有时会遭遇令人头疼的问题，比如新买的域名被DNS劫持。这不仅会影响网站的正常访问，还可能导致用户信息泄露、业务受损等严重…...
递归 算法专题
递归题目技巧 什么是递归 函数自己调用自己的情况为什么会用到递归 本质: 主问题, 可以拆分成相同的子问题 子问题, 又可以拆分出相同的子问题如何理解递归? 宏观的看待递归的过程 1)不要在意递归的细节展开图 2)把递归的函数当成一个黑盒 3)相信这个黑盒一定能够完成这个任务…...
Logstash 迁移索引元数据（设置和映射）
https://help.aliyun.com/zh/es/use-cases/use-logstash-to-migrate-full-or-incremental-data-from-self-managed-elasticsearch-to-alibaba-cloud-elasticsearch 在进行数据迁移时，Logstash会帮助您自动创建索引，但是自动创建的索引可能与您待迁移的索…...
用python将pdf转成图片转换成对应的word文件
*科管系统**报告只能上传word，但是有些盖章文件只有pdf版本，因此有这个需求，目前市面上没这软件，只能自己python写一个。 要将PDF中的页面以图片的形式存储到Word文档中，你需要完成以下几个步骤： 从PDF中…...
list（c++）
list介绍 list是STL容器中的容器，且元素在容器中的位置是分散的并与大小无关。list的底层是双向链表，其优势是在任意位置插入和删除元素的时间复杂度为O(1)，但无法通过“下标[ ]”直接访问元素，需要通过从头（尾&#…...
51单片机STC8G串口Uart配置
测试环境 单片机型号：STC8G1K08-38I-TSSOP20，其他型号请自行测试； IDE：KEIL C51； 寄存器配置及主要代码 STC8G系列单片机具有4个全双工异步串行通信接口；本文以串口1为例，串口1有4种工作方式…...
uni-app使用movable-area 实现数据的拖拽排序功能
文档地址 template部分 <movable-area :style"getAreaStyle"><movable-view class"table-row" v-for"v,i in move.list":key"v.id":y"v.y"change"handle_moving"direction"vertical"touchst…...
如何设置使PPT的画的图片导出变清晰
PPT画的流程图另存为图片 插入WORD不清晰的解决办法： 第一步：先调整PPT分辨率 根据此链接修改PPT默认的导出dpi 第二步：新建PPT准备 首先看想要保存的图的尺寸：点击图形-格式-长宽 新建一个ppt-设计-幻灯片大小-自定义大小 …...
和鲸科技 CEO 范向伟受邀揭牌启动南京大学 2024 级大学生人工智能素养大赛
2024 年 10 月 26 日，南京大学第十九届读书节在仙林校区图书馆举行开幕仪式。中国科学院院士、南京大学校长谈哲敏，校党委常委、副校长索文斌，原副校长、关工委主任闵铁军出席仪式，南京大学相关学院和职能部处负责人，以…...
NewStarCTF2024-Week4-Web-WP
目录 1、blindsql2 2、chocolate 3、隐藏的密码 4、ezcmsss 题目对勇师傅来说已经是开始上难度了所以这周没有AK 分享下自己做出来的题的解题思路 1、blindsql2 原本是在继续构造新的 payload，也测到了延时 打算去改上周的脚本，结果去跑的时候忘了将…...
Java学习Day56：暴打舔狗！(SpringBoot)
1.springboot简介 核心能力：Spring容器、日志、自动配置AutoCongfiguration、Starters web应用的能力：MVC、嵌入式Web服务器 数据访问(持久化)：关系型数据库、非关系型数据库 强大的整合其他技术的能力 只要是Java中牛逼的技术，…...
RSA加密算法实现
Java实现RSA加密算法示例，包括密钥对的生成、加密和解密过程。首先需要导入Java的加密库，这些功能主要通过java.security和javax.crypto包提供。先生成了一个RSA密钥对，包括一个公钥和一个私钥。然后使用公钥加密了一个字符串，并使用私钥解密了加密后的字符串。加密和解密的…...
大数据新视界 -- 大数据大厂之优化大数据计算框架 Tez 的实践指南
💖💖💖亲爱的朋友们，热烈欢迎你们来到 青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…...
java 中 List＜T＞ 类型数据在 postgreSql 数据库中存储
一 属性添加注解 在类上面添加注解： TableName(autoResultMap true) 在字段上面添加注解： TableField(value "list", typeHandler UserHandler.class) private List<User> list new ArrayList<>(); 二 创建 UserHandler 类…...
公共命名空间，2024年10月的笔记
首先，我国选择C做为竞赛语言，许多人学C，学习的结果是：看到“公共命名空间”，就幻想出一个私有命名空间，其实，公共命名空间和C的命名空间无关！ 超简源代码 已知序列v{1,2,3,4,5}&…...
frida脚本，自动化寻址JNI方法
版权归作者所有，如有转发，请注明文章出处：https://cyrus-studio.github.io/blog/ 1. 通过 ArtMethod 结构体找到 jni 方法在内存中的地址，并把寻址方法通过 rpc.exports 暴露给 Python 脚本调用 jni_addr.js let entry_point_fr…...
MySQL中between and的基本用法
文章目录 一、between and语法二、使用示例2.1、between and数值查询2.2、between and时间范围查询2.3、not between and示例 BETWEEN AND操作符可以用于数值、日期等类型的字段，包括边界值。 一、between and语法 MySQL中的BETWEEN AND操作符用于在两个值之间选择…...
Ceph 存储系统全解
1. 引言 什么是 Ceph？ Ceph 是一个开源的分布式存储系统，旨在提供高性能、可扩展、无单点故障的统一存储平台。它可以同时支持对象存储、块存储和文件系统存储，能够满足不同存储需求的多种应用场景。Ceph 通过其强大的 RADOS（可…...
【Oracle APEX开发小技巧12】
有如下需求： 有一个问题反馈页面，要实现在apex页面展示能直观看到反馈时间超过7天未处理的数据，方便管理员及时处理反馈。 我的方法：直接将逻辑写在SQL中，这样可以直接在页面展示 完整代码： SELECTSF.FE…...
【RockeMQ】第2节｜RocketMQ快速实战以及核⼼概念详解（二）
升级Dledger高可用集群 一、主从架构的不足与Dledger的定位 主从架构缺陷 数据备份依赖Slave节点，但无自动故障转移能力，Master宕机后需人工切换，期间消息可能无法读取。Slave仅存储数据，无法主动升级为Master响应请求ÿ…...
IoT/HCIP实验-3/LiteOS操作系统内核实验(任务、内存、信号量、CMSIS..)
文章目录 概述HelloWorld 工程C/C配置编译器主配置Makefile脚本烧录器主配置运行结果程序调用栈 任务管理实验实验结果osal 系统适配层osal_task_create 其他实验实验源码内存管理实验互斥锁实验信号量实验 CMISIS接口实验还是得JlINKCMSIS 简介LiteOS->CMSIS任务间消息交互…...
以光量子为例，详解量子获取方式
光量子技术获取量子比特可在室温下进行。该方式有望通过与名为硅光子学（silicon photonics）的光波导（optical waveguide）芯片制造技术和光纤等光通信技术相结合来实现量子计算机。量子力学中，光既是波又是粒子。光子本…...
站群服务器的应用场景都有哪些？
站群服务器主要是为了多个网站的托管和管理所设计的，可以通过集中管理和高效资源的分配，来支持多个独立的网站同时运行，让每一个网站都可以分配到独立的IP地址，避免出现IP关联的风险，用户还可以通过控制面板进行管理功…...
Python+ZeroMQ实战：智能车辆状态监控与模拟模式自动切换
目录 关键点 技术实现1 技术实现2 摘要： 本文将介绍如何利用Python和ZeroMQ消息队列构建一个智能车辆状态监控系统。系统能够根据时间策略自动切换驾驶模式（自动驾驶、人工驾驶、远程驾驶、主动安全），并通过实时消息推送更新车…...
探索Selenium：自动化测试的神奇钥匙
目录 一、Selenium 是什么1.1 定义与概念1.2 发展历程1.3 功能概述 二、Selenium 工作原理剖析2.1 架构组成2.2 工作流程2.3 通信机制 三、Selenium 的优势3.1 跨浏览器与平台支持3.2 丰富的语言支持3.3 强大的社区支持 四、Selenium 的应用场景4.1 Web 应用自动化测试4.2 数据…...
AI语音助手的Python实现
引言 语音助手（如小爱同学、Siri）通过语音识别、自然语言处理（NLP）和语音合成技术，为用户提供直观、高效的交互体验。随着人工智能的普及，Python开发者可以利用开源库和AI模型，快速构建自定义语音助手。本文由浅入深，详细介绍如何使用Python开发AI语音助手，涵盖基础功…...
c# 局部函数 定义、功能与示例
C# 局部函数：定义、功能与示例 1. 定义与功能 局部函数（Local Function）是嵌套在另一个方法内部的私有方法，仅在包含它的方法内可见。 • 作用：封装仅用于当前方法的逻辑，避免污染类作用域，提升…...
用鸿蒙HarmonyOS5实现中国象棋小游戏的过程
下面是一个基于鸿蒙OS (HarmonyOS) 的中国象棋小游戏的实现代码。这个实现使用Java语言和鸿蒙的Ability框架。 1. 项目结构 /src/main/java/com/example/chinesechess/├── MainAbilitySlice.java // 主界面逻辑├── ChessView.java // 游戏视图和逻辑├──…...