hive搭建

1.准备环境

1. 三台节点主机
2. 已安装hadoop
3. mysql数据库

2.环境

2.1修改三台节点上hadoop的core-site.xml

<!-- 配置 HDFS 允许代理任何主机和组 -->
<property><name>hadoop.proxyuser.hadoop.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value>
</property>

2.2下载hive包

使用官网下载，需要梯子
hive官网对应hadoop版本

wget https://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz

解压

tar -zxvf apache-hive-3.1.3-bin.tar.gz && mv apache-hive-3.1.3-bin hive

2.3 mysql-connector

我直接使用本地maven里面的mysql-connector-j-8.0.31，版本向下兼容
移动到lib文件夹

mv mysql-connector-j-8.0.31.jar hive/lib

2.4 conf/hive-env.sh修改

export HADOOP_HOME=/root/hadoop-3.3.2
export HIVE_CONF_DIR=/root/hive/conf
export HIVE_AUX_JARS_PATH=/root/hive/lib

2.5 新建hive-site.xml

cd hive/conf&&vi hive-site.xml

mysql账号密码和驱动，根据实际情况改，我是用的mysql5.7驱动，mysql自己创建hive_meta数据库

<configuration>
<!-- mysql 配置--><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://192.168.10.9:3306/hive_meta?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property><!-- hive 配置--><property><name>hive.server2.thrift.bind.host</name><value>node1</value></property><property><name>hive.metastore.uris</name><value>thrift://node1:9083</value></property><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property><!-- 允许模拟用户--><property><name>hive.server2.enable.doAs</name><value>true</value></property><!-- 管理员权限--><property><name>hive.users.in.admin.role</name><value>root</value></property><!-- 管理员授权--><property><name>hive.security.authorization.createtable.user.grant</name><value>admin:all</value></property>
</configuration>

2.6 初始化数据库

初始化mysql

./schematool -initSchema -dbType mysql -verbos

2.7 启动hive

启动hdfs和yarn后,在hive目录新建logs文件夹，然后在bin目录启动，日志输出到hive//logs/metastore.log

nohup ./hive --service metastore >> ../logs/metastore.log 2>&1 &

2.8 hive客户端

./hive

完成

2.9 hiveServer2 对外提供端口

nohup ./hive --service hiveserver2>> ../logs/hiveserver2.log 2>&1 &

使用beeline连接

./bin/beeline

操作栏输入

!connect jdbc:hive2://node1:10000

根据提示输入账号密码即可