hive面试题

1、什么是Hive
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）

2、Hive的意义（最初研发的原因）
避免了去写MapReduce，提供快速开发的能力，减少开发人员的学习成本。

3、Hive的内部组成模块，作用分别是什么
1．元数据：Metastore
元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；
默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore 元数据存储
（1）解析器（SQL Parser）：解析HQL语义
（2）编译器（Physical Plan）：将HQL根据语义转换成MR程序
（3）优化器（Query Optimizer）：对逻辑执行计划进行优化。（对MR程序进行优化）
（4）执行器（Execution）：把任务提交到hadoop集群

4、Hive支持的数据格式
可支持Text，SequenceFile，ParquetFile，ORC格式RCFILE等

5、进入Hiveshell窗口的方式
1.hive
2. 启动服务 hiveserver2
beeline
! connect jdbc:hive2://主机名:10000

6、Hive数据库、表在HDFS上存储的路径是什么
/user/hive/warehouse

7、like与rlike的区别
like的内容不是正则，而是通配符。
rlike的内容可以是正则，正则写法与Java一样。

8、内部表与外部表的区别
删除内部表会直接删除元数据（metadata）及存储数据；
删除外部表仅仅会删除元数据，HDFS上的文件并不会被删除；

9、分区表的优点是，分区字段的要求是
1.提高特定（指定分区）查询分析的效率
2.分区字段的要求：分区字段不能出现在表中已有的字段内

10、分桶表的优点是，分桶字段的要求是
1.使取样（sampling）和join 更高效
2.分桶字段的要求：分桶字段必须是表中已有的字段

11、数据导入表的方式 有5种方式
1、直接向分区表中插入数据
2、通过查询插入数据
3、多插入模式
4、查询语句中创建表并加载数据
5、创建表时通过location指定加载数据路径

12、数据导出表的方式
有7种方式
1 将查询的结果导出到本地
2 将查询的结果格式化导出到本地
4、Hadoop命令导出到本地
5、hive shell 命令导出
3、将查询的结果导出到HDFS上(没有local)
6、export导出到HDFS上
7、sqoop 导出数据（后面单独学）

13、order by与sort by的区别
order by 是全局排序，一个MapReduce，而 sort by 是局部分区内部进行排序

14、where 与 having的区别
1.where是作用在表的所有字段，having是作用在查询的字段上。
2.在where子句中不能使用聚组函数，在having语句中可以使用聚组函数

15、distribute by何时使用，通常与哪个联合使用
按照指定的字段进行分区时，对数据进行分区时使用
通常和sort by联合使用，Hive要求distribute by语句要写在sort by语句之前

16、Cluster by何时使用
要根据某个字段进行分区，并且以这个字段进行排序时使用Cluster by

17、distribute by+sort by(相同字段) 与Cluster by的区别
cluster by 的结果有限制，只能正序排列，而 distribute by+sort by 可根据需求进行排序

18、hive -e/-f/-hiveconf分别是什么意思
hive -e 后面的参数是‘命令行’
hive -f 后面的参数是文件
hive -hiveconf 设置hive运行时候的参数配置

19、hive声明参数有哪些方式，优先级是什么
配置文件(配置文件参数)
hive -hiveconf (命令行参数)
在hive的shell窗口set(参数声明)
优先级：参数声明>命令行参数>配置文件参数

20、编写hiveUDF代码，方法名称叫什么
evaluate

21、企业中hive常用的数据存储格式是什么？常用的数据压缩格式是什么？
在实际的项目开发当中，hive表的数据存储格式一般选择：orc或parquet。压缩方式一般选择snappy。

22、hive自定义函数的类型
1.UDF(User-Defined-Function) 一进一出
2.UDAF(User- Defined Aggregation Funcation) 聚集函数，多进一出。Count/max/min
3.UDTF(User-Defined Table-Generating Functions) 一进多出，如lateral view explore)

23、Fetch抓取中
设置more有什么效果
执行某些查询语句，不会执行mapreduce程序
设置none有什么效果
执行查询语句，所有的查询都会执行mapreduce程序

24、本地模式有什么好处
在数据量较小时，提高查询效率
原因：查询数据的程序运行在提交查询语句的节点上运行（不提交到集群上运行），

25、当一个key数据过大导致数据倾斜时，如何处理
当发生数据倾斜时，使用局部聚和可以起到性能调优的效果（在Map端进行聚合）
当发生倾斜时，查询语句会转化成至少两个MR程序，第一个程序进行局部聚和，第二个MR程序进行最终聚和。

26、Count(distinct) 的替换语句如何编写
使用嵌套查询
例：select count(distinct id) from score;
转|换
select count(id) from (select id from score group by id) a;

27、如何使用分区剪裁、列剪裁
什么是分区剪裁：需要哪个分区，就获取哪个分区的数据
什么是列剪裁：需要哪个列，就获取哪个列的数据

28、如何理解动态分区调整
以第一个表的分区规则，来对应第二个表的分区规则，将第一个表的所有分区，全部拷贝到第二个表中来，第二个表在加载数据的时候，不需要指定分区了，直接用第一个表的分区即可

29、数据倾斜时，如何将众多数据写入10个文件
1.设置reduce数量10,使用id,对id进行分区distribute by
2.设置reduce数量10，然后使用 distribute by rand()
rand字段为随机数 ，从而随机的将数据写入到文件中

30、reduce数量的计算是什么
决定reduce数量的因素，
参数1：每个Reduce处理的最大数据量
参数2：每个任务最大的reduce数
计算reducer数的公式 N=min(参数2，总输入数据量/参数1)

31、并行执行有什么好处
在没有依赖的前提下，开启并行执行（多任务多阶段同时执行），从而起到优化执行效率的作用

32、严格模式不能执行哪些命令
1、用户不允许扫描所有分区
2、使用了order by语句的查询，要求必须使用limit语句
3、限制笛卡尔积的查询

33、JVM重用有什么好处
重复利用JVM，以减少JVM开启和关闭的次数，减少任务开销，提高效率

34、什么是MR本地计算
数据存储后，计算这批数据的程序已经写完，程序在进行分发时，优先将程序分发到程序所用到数据所在的节点。

35、先join后过滤的优化方案
先过滤后关联（join）
例如：SELECT a.id FROM bigtable a LEFT JOIN ori b ON a.id = b.id WHERE b.id <= 10;
优化方案：
1、SELECT a.id FROM ori LEFT JOIN bigtable b ON (b.id <= 10 AND a.id = b.id);
2、SELECT a.id FROM bigtable a RIGHT JOIN (SELECT id FROM ori WHERE id <= 10 ) b ON a.id = b.id;

36、影响Map数量的因素
当文件大小很小时，影响map的数量的因素是文件的个数
当文件大小很大时，影响map的数量的因素是数据块的数量

37、什么是MR本地模式
任务提交时，运行在提交HQl 所在的节点，不提交到集群。（本地计算提交到集群。本地模式不提交到集群）