impala中的刷新元数据和刷新表

impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。

虽然Hive系统也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，impala的最大特点也是最大卖点就是它的快速。

换句话说，impala是性能最高的SQL引擎，它提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。

场景案例

假如我们在hive中有一些数据希望通过impala查询，这时我们就需要把hive的数据同步到impala，每当hive表的数据或表结构发生变更，就需要对impala中的刷新元数据和刷新表。

使用方式

invalidate metadata 

该命令是用于刷新全库或者某张表的元数据，包括表的元数据和表内的文件数据，执行这条命令时它会首先清除表的缓存，然后从metastore中重新加载全部数据并缓存，该操作代价比较繁重，主要用于在hive中修改了表的元数据，需要同步到impala，例如create table(创建表)、drop table(删除表)、alter table add columns(修改表结构)等。

如果只是涉及到表的数据改变，则不需要使用invalidate metadata 。而是使用refresh命令就可以了。

invalidate metadata   语法：

invalidate metadata //重新加载所有库中的所有表

invalidate metadata [table_name] //重新加载指定的某个库中某张表

注意：避免只是使用invalidate metadata，后面没有条件限制。如果没有条件限制，还不如重启catalog。

例如：

impala-shell -i node_name -q 'invalidate table_name'

refresh 命令是用于刷新某个表或者某个分区的数据信息，它会重用之前的表元数据，仅仅执行文件刷新操作，它能够检测到表中分区的增加和减少，主要用于表中元数据未修改，数据的修改，例如insert into(插入数据)、load data(加载数据)、alter table add partition(新增分区)、alter table drop partition(删除分区)等，如果直接修改表的hdfs文件（增加、删除或者重命名）也需要指定refresh刷新数据信息。

refresh 语法：

refresh [table_name] //刷新某个库中某张表

refresh [table_name] partition [partition] //刷新某个库中某张表的某个分区

例如：

impala-shell -i node_name -q 'refresh table_name'

总结:

如果在使用过程中涉及到了元数据或者数据的更新，则需要使用这两者其中一个操作来完成，从上面分析，我们知道invalidate metadata操作比refresh要重量级。

如果涉及到表的schema改变，使用invalidate metadata [table_name]

如果只是涉及到表的数据改变，使用refresh [table_name]

如果只是涉及到表的某一个分区数据改变，使用refresh [table_name] partition [partition]。