Hive 中 sort by 和 order by 的区别

在 Hive 中， SORT BY 和 ORDER BY 都用于对查询结果进行排序，但它们在实现方式和适用场景上有一些区别。

数据量大小区别

1. SORT BY：

   SORT BY 用于在 Hive 中对查询结果进行排序，它的主要特点是在进行排序操作时会生成多个临时文件，每个文件都会存储部分排序后的数据。这可以减少内存的使用，适合处理大数据量的排序。

   示例：

   SELECT * FROM employees
   SORT BY salary DESC;
   

2. ORDER BY：

   ORDER BY 也用于对查询结果进行排序，但它会将所有结果加载到内存中进行排序，然后输出。这意味着对于大数据量的排序可能会导致内存溢出的问题，因此适合处理较小数据量的排序。

   示例：

   SELECT * FROM employees
   ORDER BY hire_date;
   

总结：

• 如果需要对大数据量进行排序，应该使用 SORT BY，因为它在排序过程中生成多个临时文件，减少内存压力。
• 如果数据量较小，可以使用 ORDER BY，但要注意不要对过大的数据集进行排序，以免导致内存问题。

无论是使用 SORT BY 还是 ORDER BY，都可以实现对查询结果的排序，选择哪种方式取决于数据量和内存等因素。

作用范围

1. SORT BY：

   • SORT BY用于将查询结果的每个Reducer的输出分区内进行排序。每个Reducer的输出都会单独进行排序，而不会全局排序整个结果集。
   • 这意味着SORT BY在每个Reducer的输出分区内都进行了排序，但不保证全局有序。
   • SORT BY在分布式计算中更高效，因为不需要全局数据重排。

2. ORDER BY：

   • ORDER BY用于全局排序整个查询结果。它将整个结果集都收集到单个节点，然后对整个数据集进行排序。
   • 这意味着ORDER BY保证了全局有序，但在大数据量情况下可能会导致性能问题，因为需要将所有数据传输到一个节点上进行排序。

这篇文章通过实验介绍了排序作用范围：http://t.csdn.cn/MKNfJ

总结来说：

• SORT BY局部排序，适用于需要对每个Reducer输出进行排序的情况，分布式效率高。
• ORDER BY全局排序，适用于需要整个结果集有序的情况，但可能在性能方面有一些挑战。

在实际使用中，根据查询需求和数据量大小，选择适合的排序方式。