一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2

一、目标

Kettle9.2.0在Linux上安装好后，需要与Hive3.1.2数据库建立连接

之前已经在本地上用kettle9.2.0连上Hive3.1.2

二、各工具版本

（一）kettle9.2.0   

kettle9.2.0安装包网盘链接

链接：https://pan.baidu.com/s/15Zq9wNDwyMnc3qFVxYOMXw?pwd=zwae 
提取码：zwae

（二）Hive3.1.2 

（三）Hadoop3.1.3

三、前提准备

（一）Kettle9.2.0已在Linux上安装好

（二）注意Kettle9.2里MySQL驱动包的版本以及Hive312里MySQL驱动包的版本

1、Hive312的lib里面MySQL驱动包的版本是mysql-connector-java-5.1.37.jar

2、Kettle9.2里MySQL驱动包的版本

mysql-connector-java-5.1.37.jar       ；   mysql-connector-java-8.0.30.jar

 四、安装步骤

（一）根据Hadoop版本在选择对应的文件（千万不要随便选！）

 1、文件路径

/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations

2、Hadoop版本与文件夹对应规则  

3、选择文件，复制文件名（Hadoop版本与文件夹一定要匹配！）

因为我的Hadoop版本是Hadoop3.1.3，所以我选择的文件夹是hdp30

（二）修改kettle里pentaho-big-data-plugin文件夹里的源文件plugin.properties

 1、文件路径

/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin

 2、  只要设置       active.hadoop.configuration=hdp30

 （三）从我们安装的Hadoop、Hive里拉取需要的文件复制到hdp30的文件夹下（如需要HBase则拉取HBase的 hbase-site.xml）

1、文件路径

/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30

2、主要替换5个文件

Hadoop4个文件：    yarn-site.xml、mapred-site.xml、hdfs-site.xml、core-site.xml

Hive1个文件：         hive-site.xml

结果如下所示

 （四）复制需要的jar包

1、从Hive安装路径的lib目录复制以hive开头的jar包，复制到hdp30\lib文件夹

文件路径：/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30/lib

 2、复制Hadoop安装目录下的 hadoop-common-3.1.3.jar到hdp30\lib里

文件路径：/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30/lib

3、把hive的安装路径hive312/jdbc里的驱动包复制到 kettle9.2的data-integration\lib文件下

（1）hive312/jdbc里的驱动包文件路径

 （2）目标文件路径：/opt/install/kettle9.2/data-integration/lib

 

（五）启动Hadoop和Hive服务，打开kettle9.2，连接Hive数据库

kettle9.2连接hive312，连接成功！ 

（六）执行从Hive到ClickHouse的kettle任务，测试一下

kettle任务运行成功！ 

（七）注意Hive数据库的中文乱码问题 

解决方法：kettle9.2在配置Hive数据库时在高级模块添加set names utf8;           配置好后测试一下

 

到这里，Linux上安装的Kettle9.2.0连接Hive3.1.2数据库就结束了！

乐于奉献共享，帮助你我他！！！