（十五）大数据实战——hive的安装部署
前言
Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本节内容我们主要介绍一下hive的安装与部署的相关内容。
正文
- 上传hive安装包到hadoop101服务器/opt/software目录
- 解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下
- 命令：tar -zxvf /opt/software/apache-hive-3.1.3-bin.tar.gz -C /opt/module/
- 修改apache-hive-3.1.3-bin名字为hive-3.1.3，便于使用
命令：mv apache-hive-3.1.3-bin hive-3.1.3
- 配置hive的环境变量，便于使用hive
- 使用vi编辑器修改/etc/profile.d/my_env.sh下的自定义环境变量，添加hive的环境变量
- 使配置的环境变量生效， source /etc/profile.d/my_env.sh，使hive命令生效
- 先启动hadoop集群，再启动hive
- hadoop集群启动
- 初始化元数据库（默认是derby数据库）:bin/schematool -dbType derby -initSchema
- 启动hive客户端，查看hive是否已经可以使用
结语
到这里，关于hive的安装部署就结束了，我们下期见。。。。。。
相关文章：
（十五）大数据实战——hive的安装部署
前言 Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本节内容我们主要介绍一下hive的安装与部署的相关内容。 正文 上传hive安装包到hadoop101服务器/opt/software目录 解…...
MySQL安装和卸载
1.MySQL概述 MySQL概述 MySQL是一个[关系型数据库管理系统]，由瑞典MySQL AB 公司开发，2008年被sun公司收购， 2009sun又被oracle收购，所以属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用…...
ELK、ELFK日志分析系统
菜单一、ELK简介1.1 ELK组件说明1.1.1 ElasticSearch1.1.2 Kiabana1.1.3 Logstash 1.2 可以添加的其它组件1.2.1 Filebeat1.2.2 缓存/消息队列（redis、kafka、RabbitMQ等）1.2.3 Fluentd 1.3 为什么要用ELK1.4 完整日志系统的基本特征1.5 ELK 的工作原理 …...
JVM基础篇-StringTable
StringTable 特性 常量池中的字符串仅是符号，第一次用到时才变为对象 利用串池的机制，来避免重复创建字符串对象 字符串变量拼接的原理是 StringBuilder （1.8） 字符串常量拼接的原理是编译期优化 可以使用 intern 方法&#…...
探秘手机隐藏的望远镜功能：开启后，观察任何你想看的地方
当今的智能手机不仅仅是通信工具，它们蕴藏着各种隐藏的功能，其中之一就是让你拥有望远镜般的观察能力。是的，你没有听错！今天我们将探秘手机中隐藏的望远镜功能，这项神奇的功能可以让你打开后，轻松观察任何…...
正运动亮相2023半导体设备材料与核心部件展示会，助力半导体产业高速高精应用
■展会名称： 第11届（2023）半导体设备材料与核心部件展示会 ■展会日期 2023年8月9日-11日 ■展馆地点 无锡太湖国际博览中心A6馆 ■展位号 A6-A361 正运动技术，作为国内领先的运动控制企业，将于2023年8月9日参加…...
如何在MongoDB中添加新用户
如何在MongoDB中添加新用户？ MongoDB是一款流行的NoSQL数据库，它的可扩展性强，可进行分布式部署，且具有高可用性。其许多优势使得越来越多的企业和组织选择MongoDB作为其数据库系统。本文将介绍如何在MongoDB中添加新用户。 第一步…...
幻读怎么复现
大家好，我是想想。 很久没有给大家分享技术了，主要在计划一些事情，几乎没什么时间爽文了。 今天从实操上实现了MySQL事务隔离复现问题，就记录分享给大家吧。 正文 我们知道，著名的四大事务特性ACID特性 Atomicity…...
无脑入门pytorch系列（二）—— torch.mean
本系列教程适用于没有任何pytorch的同学（简单的python语法还是要的），从代码的表层出发挖掘代码的深层含义，理解具体的意思和内涵。pytorch的很多函数看着非常简单，但是其中包含了很多内容，不了解其中的意思…...
ansible-kubeadm在线安装高可用K8S集群v1.19-v1.20版本
ansible可以安装的KS8版本如下： 请按照此博客中的内容操作后，才可以通过下面的命令查询到版本。 [rootk8s-master01 ~]# yum list kubectl --showduplicates | sort -r kubectl.x86_64 1.20.0-0 kubern…...
Cesium entity 渐隐渐显、闪烁
点entity function f2(){var x1;var flogtrue;//闪烁//var x0;var flogfalse;//渐显viewer.entities.add({name:"圆点point闪烁",position:Cesium.Cartesian3.fromDegrees(116.200.03,39.530.03,0),point : {show : true, // defaultcolor :new Cesium.CallbackProp…...
LISA:通过大语言模型进行推理分割
论文：https://arxiv.org/pdf/2308.00692 代码：GitHub - dvlab-research/LISA 摘要 尽管感知系统近年来取得了显著的进步，但在执行视觉识别任务之前，它们仍然依赖于明确的人类指令来识别目标物体或类别。这样的系统缺乏主动推理…...
opencv基础40-礼帽运算（原始图像减去其开运算）cv2.MORPH_TOPHAT
礼帽运算是用原始图像减去其开运算图像的操作。礼帽运算能够获取图像的噪声信息，或者得到比原始图像的边缘更亮的边缘信息。 例如，图 8-22 是一个礼帽运算示例，其中： 左图是原始图像。中间的图是开运算图像。右图是原始图像减开运…...
函数)
php中的array_filter()函数
php中的array_filter()函数用于筛选数组中的元素，并返回一个新的数组，新数组的元素是所有返回值为true的原数组元素。 array_filter()函数的使用语法如下： array_filter ( array $array [, callable $callback [, int $flag 0 ]] ) : array…...
ArcGIS Pro基础：【按顺序编号】工具实现属性字段的编号自动赋值
本次介绍一个字段的自动排序编号赋值工具，基于arcgis 的字段计算器工具也可以实现类似功能，但是需要自己写一段代码实现， 相对而言不是很方便。 如下所示，该工具就是【编辑】下的【属性】下的【按顺序编号】工具。 其操作方法是…...
neo4j终端操作
1】进入容器 (base) xiaokkkxiaokkkdeMacBook-Pro ~ % docker exec -it 77ed5fe2b52e /bin/bash 2】启动、停止neo4j root77ed5fe2b52e:/var/lib/neo4j/bin# ./neo4j start Neo4j is already running (pid:7). Run with --verbose for a more detailed error message.root7…...
【深度学习】在 MNIST实现自动编码器实践教程
一、说明 自动编码器是一种无监督学习的神经网络模型，主要用于降维或特征提取。常见的自动编码器包括基本的单层自动编码器、深度自动编码器、卷积自动编码器和变分自动编码器等。 其中，基本的单层自动编码器由一个编码器和一个解码器组成，编…...
SpringBoot3基础用法
技术和工具「!喜新厌旧」 一、背景 最近在一个轻量级的服务中，尝试了最新的技术和工具选型； 即SpringBoot3，JDK17，IDEA2023，Navicat16，虽然新的技术和工具都更加强大和高效，但是适应采坑的过程…...
6、移除链表元素
方法1：原链表删除元素 伪代码： 首先判断头节点是否是待删除元素。（头节点和其他节点的删除方法不一样） while(head ! null && head->value target) //如果链表为 1 1 1 1 1，要删除元素1时用if就会失效 {h…...
大厂容器云实践之路（一）
1-华为CCE容器云实践 华为企业云 | CCE容器引擎实践 ——从IaaS到PaaS到容器集群 容器部署时代的来临 IaaS服务如日中天 2014-2015年，大家都在安逸的使用IaaS服务； 亚马逊AWS的部署能力方面比所有竞争对手…...
Admin.Net中的消息通信SignalR解释
定义集线器接口 IOnlineUserHub public interface IOnlineUserHub {/// 在线用户列表Task OnlineUserList(OnlineUserList context);/// 强制下线Task ForceOffline(object context);/// 发布站内消息Task PublicNotice(SysNotice context);/// 接收消息Task ReceiveMessage(…...
在rocky linux 9.5上在线安装 docker
前面是指南，后面是日志 sudo dnf config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo sudo dnf install docker-ce docker-ce-cli containerd.io -y docker version sudo systemctl start docker sudo systemctl status docker …...
YSYX学习记录（八）
C语言，练习0： 先创建一个文件夹，我用的是物理机： 安装build-essential 练习1： 我注释掉了 #include <stdio.h> 出现下面错误 在你的文本编辑器中打开ex1文件，随机修改或删除一部分，之后…...
Golang dig框架与GraphQL的完美结合
将 Go 的 Dig 依赖注入框架与 GraphQL 结合使用，可以显著提升应用程序的可维护性、可测试性以及灵活性。 Dig 是一个强大的依赖注入容器，能够帮助开发者更好地管理复杂的依赖关系，而 GraphQL 则是一种用于 API 的查询语言，能够提…...
高危文件识别的常用算法：原理、应用与企业场景
高危文件识别的常用算法：原理、应用与企业场景 高危文件识别旨在检测可能导致安全威胁的文件，如包含恶意代码、敏感数据或欺诈内容的文档，在企业协同办公环境中（如Teams、Google Workspace）尤为重要。结合大模型技术&…...
LLM基础1_语言模型如何处理文本
基于GitHub项目：https://github.com/datawhalechina/llms-from-scratch-cn 工具介绍 tiktoken：OpenAI开发的专业"分词器" torch：Facebook开发的强力计算引擎，相当于超级计算器 理解词嵌入：给词语画"…...
06 Deep learning神经网络编程基础 激活函数 --吴恩达
深度学习激活函数详解 一、核心作用 引入非线性：使神经网络可学习复杂模式控制输出范围：如Sigmoid将输出限制在(0,1)梯度传递：影响反向传播的稳定性二、常见类型及数学表达 Sigmoid σ ( x ) = 1 1 +...
推荐 github 项目:GeminiImageApp(图片生成方向，可以做一定的素材)
推荐 github 项目:GeminiImageApp(图片生成方向，可以做一定的素材) 这个项目能干嘛? 使用 gemini 2.0 的 api 和 google 其他的 api 来做衍生处理 简化和优化了文生图和图生图的行为(我的最主要) 并且有一些目标检测和切割(我用不到) 视频和 imagefx 因为没 a…...
怎么让Comfyui导出的图像不包含工作流信息，
为了数据安全，让Comfyui导出的图像不包含工作流信息，导出的图像就不会拖到comfyui中加载出来工作流。 ComfyUI的目录下node.py 直接移除 pnginfo（推荐） 在 save_images 方法中，删除或注释掉所有与 metadata …...
MySQL 索引底层结构揭秘：B-Tree 与 B+Tree 的区别与应用
文章目录 一、背景知识：什么是 B-Tree 和 BTree？ B-Tree（平衡多路查找树） BTree（B-Tree 的变种） 二、结构对比：一张图看懂 三、为什么 MySQL InnoDB 选择 BTree？ 1. 范围查询更快 2…...