Hive数仓操作（一）

Hive 介绍

Hive 是一个基于 Hadoop 的数据仓库工具，旨在简化大规模数据集的管理和分析。它将结构化数据文件映射为表，并提供类似 SQL 的查询功能。Hive 的数据存储在 Hadoop 分布式文件系统（HDFS）中，使用 Hive 查询语言（HQL）进行数据处理。

1. Hive 的本质： HQL转化为MapReduce

1. 数据存储：Hive 的数据存储在 HDFS 中。
2. 底层实现：Hive 通过 MapReduce 框架处理数据，适合大数据量的分析任务。
3. 执行延迟：Hive 的执行延迟较高，适合于对实时性要求不高的数据分析场景。

---

2. Hive 的优点

1. 简单易用：采用类 SQL 语法，快速开发能力强。
2. 低学习成本：避免手动编写 MapReduce 程序，减少开发人员的学习成本。
3. 大数据处理：优势在于处理大规模数据，对于小数据量没有明显优势。
4. 自定义扩展：支持用户自定义函数，能够满足特定需求。

---

3. Hive 和关系型数据库的比较

尽管 Hive 采用了类似 SQL 的查询语言 HQL，使得它在表面上看起来像一个数据库，但实际上，Hive 和数据库除了拥有类似的查询语言，再无类似之处，数据库可以用在 Online 的应用中，但是Hive 是为数据仓库而设计的工具。

特性	Hive	关系型数据库（如 Oracle,Mysql）
存储	HDFS 分布式文件存储系统	服务器本地的文件系统（如 DBF）
计算	MapReduce	专用的计算执行引擎
时间	高延迟	低延迟
数据量	适用于 PB/TB 级别的大数据	通常处理 GB 级别的数据
主键	不支持主键	支持主键
索引	高版本才有位图索引，索引支持有限	有丰富的索引支持
可扩展性	与 Hadoop 的可扩展性一致，支持大规模集群	由于 ACID 语义的限制，扩展性有限
数据规模	支持大规模数据的并行计算	支持的数据规模相对较小

1. 查询语言：Hive 提供了针对其特性设计的类 SQL 查询语言 HQL，熟悉 SQL 的开发者可以快速上手。

2. 数据存储位置：Hive 的数据都存储在 HDFS 中，而关系型数据库则可以保存在本地文件系统或块设备中。

3. 数据更新：Hive 主要用于读多写少的场景，不建议频繁更新数据，而关系型数据库的设计则支持频繁的 CRUD 操作。

4. 索引：Hive 在数据加载过程中不会自动创建索引，因此查询时可能需要全表扫描，这会导致较高的延迟。相对而言，关系型数据库通常会为重要字段创建索引，查询效率较高。

5. 执行：Hive 查询通过 Hadoop 的 MapReduce 来实现，而关系型数据库则通常有自己的执行引擎，处理速度更快。

6. 执行延迟：由于缺乏索引和使用 MapReduce，Hive 的查询延迟较高，因此不适合在线实时查询。

7. 可扩展性：Hive 的可扩展性与 Hadoop 一致，能够在集群上水平扩展，支持大规模数据的处理。而传统关系型数据库在 ACID 语义的严格限制下，扩展性相对有限。

8. 数据规模：Hive 利用 MapReduce 进行并行计算，能够支持 PB/TB 级别的数据规模。相比之下，关系型数据库的处理能力通常较小，适合 GB 级别的数据。

9. 应用场景：Hive 是为数据仓库设计的，适用于数据分析和批处理，而关系型数据库更适合在线事务处理（OLTP）和实时数据查询。

---

4. Hive 的元数据存储

元数据是描述数据的数据，Hive 需要有一个地方来存储元数据，它包括以下内容：

• 数据库的名称
• 表的名称
• 表的列名
• 表的类型
• 列的类型
• 表的数据在 HDFS 上的位置

为了管理这些元数据，Hive 一般使用 关系型数据库如MySQL 作为存储后端。

相关操作

1. 登录 MySQL 数据库

在命令行中使用以下命令登录到 MySQL：

mysql -h 127.0.0.1 -u root -p123456

这里，-h 指定主机地址，-u 指定用户名，-p 后跟密码。

2. 查看 MySQL 中的数据库

登录后，可以显示 MySQL 中现有的数据库：

SHOW DATABASES;

会看到多个数据库，其中有一个名为 hive 的数据库，用来存储 Hive 的元数据。

3. 切换到 Hive 数据库

使用以下命令切换到 hive 数据库：

USE hive;

---