ORC与Parquet列式存储的区别

列式存储（Columnar Storage）是一种优化的数据存储方式，与传统的行式存储（Row Storage）相比，列式存储在数据压缩、查询性能、I/O效率等方面具有明显的优势

在大数据领域中，ORC（Optimized Row Columnar）和Parquet是两种流行的列式存储格式，它们在数据压缩、查询性能、存储效率等方面有着各自的特点和优势

1、ORC与Parquet列式存储

Apache ORC是一种自描述类型感知的列式文件格式，专为Hadoop工作负载而设计。它针对大型流式读取进行了优化，并集成了快速查找所需行的支持。以列式格式存储数据可让读取器仅读取、解压缩和处理当前查询所需的值。由于ORC文件具有类型感知能力，因此写入器会选择最适合该类型的编码并在写入文件时构建内部索引

谓词下推使用这些索引来确定需要为特定查询读取文件中的哪些条带，而行索引可以将搜索范围缩小到特定的10000行集合ORC支持Hive中的完整数据类型，包括复杂类型：Struct、List、Map和Union

ORC官网：https://orc.apache.org/

Apache Parquet是一种开源的列式数据文件格式，旨在实现高效的数据存储和检索。它提供高性能压缩和编码方案来批量处理复杂数据，并且受到许多编程语言和分析工具的支持

Parquet官网：https://parquet.apache.org/

2、ORC与Parquet的区别

以下是ORC与Parquet的区别与联系：

1）相同点

• 基于Hadoop文件系统，属于线上格式，可以在节点间传递数据
• 采用列式二进制存储结构
• 采用高效的压缩
• 文件可分割，具有较强的伸缩性和并行处理能力
• 使用Schema进行自我描述
• 降低存储成本，减少磁盘I/O成本

2）不同点

比较项	ORC	Parquet
默认压缩	ZLIB（压缩比较高）	Snappy压缩（压缩比较低）
操作	支持delete、update	不支持delete、update
数据类型	支持collection、array、map等复杂类型	仅支持普通类型
谓词下推	支持（减少磁盘I/O成本）	不支持
事务	支持ACID（原子性、隔离性、一致性、持久性），但仅限于分桶表	不支持事务
兼容性	Hive、Presto	Impala、Spark、Drill、Arrow
场景	Hive	Spark

两种列式存储格式都具有明显的优势。通过合理选择存储格式、压缩算法和查询优化技术，可以最大程度地提升数据处理和分析的效率，满足不同业务场景的需求

参考文章：https://zhuanlan.zhihu.com/p/257917645