当前位置: 首页 > news >正文

我的私人笔记(安装hive)

1.hive下载:Index of /dist/hive/hive-1.2.1

或者上传安装包至/opt/software:rz或winscp上传

2.解压

cd /opt/software

tar -xzvf apache-hive-1.2.1-bin.tar.gz -C /opt/servers/

3.重命名

mv apache-hive-1.2.1-bin hive

4.配置环境变量

vi /etc/profile

export HIVE_HOME=/opt/servers/hive  

export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile

5.修改hive-env.sh配置文件,配置Hadoop环境变量

cd /opt/servers/hive/conf

cp hive-env.sh.template hive-env.sh

vi hive-env.sh

//添加如下信息

export JAVA_HOME=/opt/servers/jdk

export HADOOP_HOME=/opt/servers/hadoop

export HIVE_HOME=/opt/servers/hive

export HIVE_CONF_DIR=/opt/servers/hive/conf

6.添加hive-site.xml配置文件,配置MySQL相关信息

vi hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>

<configuration>

<property>

    #指定HDFS内hive数据临时文件存放目录。启动hive,HDFS即自动创建

    <name>hive.exec.scratchdir</name>

    <value>/user/hive/tmp</value>

</property>

<property>

    #指定HDFS内hive数据存放目录。HDFS自动创建

    <name>hive.metastore.warehouse.dir</name>

    <value>/user/hive/warehouse</value>

</property>

<property>

    #指定hive查询日志本地存放目录

    <name>hive.querylog.location</name>

    <value>/user/hive/log</value>

</property>

## 配置 MySQL 数据库连接信息

<property>

<!-- 元数据库的链接地址 mysql -->

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=GMT</value>

</property>

<property>

<!-- 指定mysql驱动 -->

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<!-- 指定mysql用户名 -->

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

</property>

<property>

<!-- 指定mysql密码 请输入自己的MySQL连接密码 -->

<name>javax.jdo.option.ConnectionPassword</name>

<value>123456</value>

</property>

</configuration>

启动集群

start-all.sh

7.在hdfs 中创建下面的目录 ,并且授权

hdfs dfs -mkdir -p /user/hive/warehouse

hdfs dfs -mkdir -p /user/hive/tmp

hdfs dfs -mkdir -p /user/hive/log

hdfs dfs -chmod -R 777 /user/hive/warehouse

hdfs dfs -chmod -R 777 /user/hive/tmp

hdfs dfs -chmod -R 777 /user/hive/log

8.上传mysql驱动

cd /opt/servers/hive/lib

传mysql驱动

创建临时目录:

mkdir /opt/servers/hive/tmp

9. 初始化MySQL数据库

cd /opt/servers/hive/bin

schematool -dbType mysql -initSchema

(schemaTool completed出现这一句说明成功)

{若运行schematool -dbType mysql -initSchema 显示没有找到命令则大概率是环境变量有问题}

{

若运行schematool -dbType mysql -initSchema 没有成功

1.看Navicat for MySQL是否可以连接mysql

2.在mysql命令窗口中查看是否有hive这个库

show databases;

drop database hive;(有就要删除掉)

}

10.查看现在的hadoop中的HDFS存了什么

hadoop fs -lsr /

11.进入hive并创建一个测试库和测试表

[root@hadoop01 conf]$ hive

    hive> create database hive1;

    hive> show databases;

12.查看mysql的hive数据库变化

[root@hadoop01 conf]$ mysql -u root -p

    切换成hive数据库并查看DBS表

    mysql> use hive;

    mysql> select * from DBS;

13.复制hive到hadoop02和hadoop03

scp -r /opt/servers/hive/ hadoop02:/opt/servers/

scp -r /opt/servers/hive/ hadoop03:/opt/servers/

14.在hadoop01服务器上启动hiveserver2

hiveserver2

15.在hadoop02上执行

cd /opt/servers/hive

bin/beeline

        beeline> !connect jdbc:hive2://hadoop01:10000

        Enter username for jdbc:hive2://hadoop01:10000: root

        Enter password for jdbc:hive2://hadoop01:10000: ***

相关文章:

我的私人笔记(安装hive)

1.hive下载&#xff1a;Index of /dist/hive/hive-1.2.1 或者上传安装包至/opt/software&#xff1a;rz或winscp上传 2.解压 cd /opt/software tar -xzvf apache-hive-1.2.1-bin.tar.gz -C /opt/servers/ 3.重命名 mv apache-hive-1.2.1-bin hive 4.配置环境变量 vi /etc/…...

【kubernetes】k8s部署APISIX及在KubeSphere使用APISIX

Apache APISIX https://apisix.apache.org/ 功能比nginx-ingress更强 本文采用2.5.0版本 https://apisix.apache.org/zh/docs/apisix/2.15/getting-started/ 概述内容来源于官方&#xff0c;学习于马士兵云原生课程 概述 Apache APISIX 是什么&#xff1f; Apache APISIX 是 …...

串口接收数据-控制LED灯

目标 通过串口接收数据&#xff0c;对数据分析&#xff0c;控制8个LED灯按照设定时间闪烁。 8个LED灯可以任意设计&#xff0c;是否闪烁。闪烁时间按ms计算&#xff0c;通过串口发送&#xff0c;可设置1~4,294,967,296ms&#xff0c;也就是4字节数据协议自拟&#xff0c;有数…...

python面试题合集(一)

python技术面试题 1、Python中的幂运算 在python中幂运算是由两个 **星号运算的&#xff0c;实例如下&#xff1a; >>> a 2 ** 2 >>> a 4我们可以看到2的平方输出结果为4。 那么 ^指的是什么呢&#xff1f;我们用代码进行演示&#xff1a; >>>…...

论文浅尝 | 利用对抗攻击策略缓解预训练语言模型中的命名实体情感偏差问题...

笔记整理&#xff1a;田家琛&#xff0c;天津大学博士&#xff0c;研究方向为文本分类 链接&#xff1a;https://ojs.aaai.org/index.php/AAAI/article/view/26599 动机 近年来&#xff0c;随着预训练语言模型&#xff08;PLMs&#xff09;在情感分类领域的广泛应用&#xff0c…...

springboot web开发springmvc自动配置原理

前言 我们也知道springboot启用springmvc基本不用做什么配置可以很方便就使用了但是不了解原理,开发过程中遇到点问题估计就比较头疼,不管了解的深不深入,先巴拉一番再说… 下面我们先看看官网…我的版本是2.3.2版本,发现官网改动也比较大…不同版本自己巴拉下吧,结构虽然变化…...

发表于《自然》杂志:语音转文本BCI的新突破实现62字/分钟的速度

语音脑机接口&#xff08;BCI&#xff09;是一项创新技术&#xff0c;通过用户的大脑信号在用户和某些设备之间建立通信通道&#xff0c;它们在恢复残疾患者的言语和通信能力方面具有巨大潜力。 早期的研究虽然很有希望&#xff0c;但尚未达到足够高的精度来解码大脑活动&…...

微软 Turing Bletchley v3视觉语言模型更新:必应搜索图片更精准

据微软新闻稿透露&#xff0c;在推出第三代Turing Bletchley视觉语言模型后&#xff0c;微软计划逐步将其整合到Bing等相关产品中&#xff0c;以提供更出色的图像搜索体验。这款模型最初于2021年11月面世&#xff0c;并在2022年秋季开始邀请用户测试。 凭借用户的反馈和建议&am…...

Ubuntu 22.04 x86_64 源码编译 pytorch-v2.0.1 笔记【2】编译成功

20230831继续&#xff1a; 当前状态 (pytorch-build) yeqiangyeqiang-MS-7B23:~/Downloads/src/pytorch$ pwd /home/yeqiang/Downloads/src/pytorch (pytorch-build) yeqiangyeqiang-MS-7B23:~/Downloads/src/pytorch$ python3 -V Python 3.10.6 (pytorch-build) yeqiangyeqi…...

IIR滤波器

IIR滤波器原理 IIR的特点是&#xff1a;非线性相位、消耗资源少。 IIR滤波器的系统函数与差分方程如下所示&#xff1a; 由差分方程可知IIR滤波器存在反馈&#xff0c;因此在FPGA设计时要考虑到有限字长效应带来的影响。差分方程中包括两个部分&#xff1a;输入信号x(n)的M节…...

【QT】使用qml的QtWebEngine遇到的一些问题总结

在使用qt官方的一些QML的QtWebEngine相关的例程的时候&#xff0c;有时在运行会报如下错误&#xff1a; WebEngineContext used before QtWebEngine::initialize() or OpenGL context creation failed 这个问题在main函数里面最前面加上&#xff1a; QCoreApplication::setAttr…...

230902-部署Gradio到已有FastAPI及服务器中

1. 官方例子 run.py from fastapi import FastAPI import gradio as grCUSTOM_PATH "/gradio"app FastAPI()app.get("/") def read_main():return {"message": "This is your main app"}io gr.Interface(lambda x: "Hello, …...

Ubuntu本地快速搭建web小游戏网站,公网用户远程访问【内网穿透】

文章目录 前言1. 本地环境服务搭建2. 局域网测试访问3. 内网穿透3.1 ubuntu本地安装cpolar内网穿透3.2 创建隧道3.3 测试公网访问 4. 配置固定二级子域名4.1 保留一个二级子域名4.2 配置二级子域名4.3 测试访问公网固定二级子域名 前言 网&#xff1a;我们通常说的是互联网&am…...

【LeetCode-中等题】199. 二叉树的右视图

文章目录 题目方法一&#xff1a;层序遍历取每一层最后一个元素方法二&#xff1a;深度优先搜索 题目 方法一&#xff1a;层序遍历取每一层最后一个元素 // 方法一 &#xff1a;层序 集合(取每层子集合最后一个元素)// List<List<Integer>> Rlist new ArrayList…...

【调试经验】Ubuntu22.04 安装和配置MySQL 8.0.34

本文共计1469字&#xff0c;预计阅读时间5分钟 在安装新版本的MySQL到电脑时&#xff0c;按着网上一些教程执行发现错误繁多&#xff0c;最后索性自己摸索并把服务装好了。自己也整理了一下在操作时的笔记&#xff0c;上传上来希望能帮助到大家。 目录 正文 安装MySQL 配置…...

Android 使用OpenCV实现实时人脸识别,并绘制到SurfaceView上

1. 前言 上篇文章 我们已经通过一个简单的例子&#xff0c;在Android Studio中接入了OpenCV。 之前我们也 在Visual Studio上&#xff0c;使用OpenCV实现人脸识别 中实现了人脸识别的效果。 接着&#xff0c;我们就可以将OpenCV的人脸识别效果移植到Android中了。 1.1 环境说…...

【自然语言处理】关系抽取 —— GDPNet 讲解

GDPNet 论文信息 标题:GDPNet: Refining Latent Multi-View Graph for Relation Extraction 作者:Fuzhao Xue, Aixin Sun, Hao Zhang, Eng Siong Chng 期刊:AAAI 2021 发布时间与更新时间:2020.12.12 主题:自然语言处理、关系抽取、对话场景、BERT、GCN arXiv:[2012.0678…...

【小沐学NLP】Python使用NLTK库的入门教程

文章目录 1、简介2、安装2.1 安装nltk库2.2 安装nltk语料库 3、测试3.1 分句分词3.2 停用词过滤3.3 词干提取3.4 词形/词干还原3.5 同义词与反义词3.6 语义相关性3.7 词性标注3.8 命名实体识别3.9 Text对象3.10 文本分类3.11 其他分类器3.12 数据清洗 结语 1、简介 NLTK - 自然…...

Angular安全专辑之三 —— 授权绕过,利用漏洞控制管理员账户

这篇文章是针对实际项目中所出现的问题所做的一个总结。简单来说&#xff0c;就是授权绕过问题&#xff0c;管理员帐户被错误的接管。 详细情况是这样的&#xff0c;我们的项目中通常都会有用户身份验证功能&#xff0c;不同的用户拥有不同的权限。相对来说管理员账户所对应的…...

使用Sumo以及traci实现交叉口信号灯自适应控制

使用Sumo以及traci实现交叉口信号灯自适应控制 文章目录 使用Sumo以及traci实现交叉口信号灯自适应控制 使用Sumo以及traci实现交叉口信号灯感应控制一、什么是交叉口感应控制二、Traci中的感应控制实现流程1.感应控制逻辑2.仿真过程 使用Sumo以及traci实现交叉口信号灯感应控制…...

AppSpider 7.5.025 for Windows - Web 应用程序安全测试

AppSpider 7.5.025 for Windows - Web 应用程序安全测试 Rapid7 Dynamic Application Security Testing (DAST) released March 31, 2026 请访问原文链接&#xff1a;https://sysin.org/blog/appspider/ 查看最新版。原创作品&#xff0c;转载请保留出处。 作者主页&#xf…...

NXP S32K3开发日记:PIT0的RTI唤醒功能调试全记录(含时钟源配置误区)

NXP S32K3开发实战&#xff1a;PIT0 RTI唤醒功能深度解析与排错指南 作为一名长期深耕汽车电子领域的嵌入式工程师&#xff0c;最近在基于NXP S32K3系列MCU开发低功耗应用时&#xff0c;遇到了一个颇具挑战性的问题——如何可靠地使用PIT0的RTI&#xff08;Real Time Interrupt…...

10个C语言开源项目解析与学习指南

1. 10个值得学习的C语言开源项目解析 作为一名在嵌入式领域摸爬滚打多年的开发者&#xff0c;我深知阅读优秀开源代码对提升编程能力的重要性。今天要分享的这10个C语言项目&#xff0c;每一个都是精炼而实用的典范&#xff0c;特别适合想要深入理解系统编程、网络协议和底层实…...

自指宇宙学形式化验证套件 (Coq‑SRU v1.2.0)

自指宇宙学形式化验证套件 (Coq‑SRU v1.2.0)技术摘要 正式整编版 项目标识&#xff1a;Coq Formalization of Self‑Referential Universe (Coq‑SRU) 版本&#xff1a;v1.2.0&#xff08;对齐《世毫九自指宇宙学》理论第三部分&#xff09; 代码仓库&#xff1a;https://git…...

DocRes:统一文档图像修复任务的通用模型技术解析

DocRes&#xff1a;统一文档图像修复任务的通用模型技术解析 【免费下载链接】DocRes [CVPR 2024] DocRes: A Generalist Model Toward Unifying Document Image Restoration Tasks 项目地址: https://gitcode.com/gh_mirrors/do/DocRes 文档图像修复不再需要多个专用模…...

C++ 自动微分引擎:基于模板元编程的静态反向传播梯度流构建

C 自动微分引擎&#xff1a;基于模板元编程的静态反向传播梯度流构建尊敬的各位专家、同行&#xff0c;大家好。今天&#xff0c;我们将深入探讨一个兼具理论深度与工程实践价值的主题&#xff1a;如何利用 C 的模板元编程&#xff08;Template Metaprogramming&#xff09;技术…...

AI运维管理与安全防护设备功率MOSFET选型方案——高效、可靠与智能驱动系统设计指南

随着智能化运维与主动安全防护需求的爆发式增长&#xff0c;AI边缘计算节点、智能传感器与安全执行单元已成为现代基础设施管理的核心。其电源管理与信号驱动系统作为设备可靠运行与实时响应的基石&#xff0c;直接决定了系统的能效、稳定性及防护等级。功率MOSFET作为该系统中…...

Java协议解析性能瓶颈诊断清单(附JFR火焰图+ByteBuf内存泄漏定位实录)

第一章&#xff1a;Java协议解析性能瓶颈诊断清单&#xff08;附JFR火焰图ByteBuf内存泄漏定位实录&#xff09;协议解析层是Netty等高性能网络框架的核心路径&#xff0c;其性能劣化往往表现为CPU尖刺、GC频发或连接延迟陡增。以下为一线实战验证的诊断清单&#xff0c;覆盖JF…...

高效代码分析利器:cloc工具全场景使用指南

1. 为什么你需要cloc这个代码统计神器 第一次接手一个遗留项目时&#xff0c;我盯着密密麻麻的目录树发愁&#xff1a;这堆代码到底有多少实际内容&#xff1f;注释占比多少&#xff1f;不同语言的文件各有多少&#xff1f;直到同事推荐了cloc工具&#xff0c;输入一行命令就得…...

用ESP32-S3和百度AI做个会聊天的智能音箱(Arduino+文心一言+语音识别)

用ESP32-S3和百度AI打造会聊天的智能音箱&#xff1a;从硬件组装到语音交互全流程 想象一下&#xff0c;清晨醒来只需对桌上的小盒子说句"今天天气如何"&#xff0c;就能听到温柔的女声播报天气预报&#xff1b;工作时随口问"量子计算是什么"&#xff0c;立…...