当前位置：首页 > news >正文

Hadoop yixing(移行)，新增表字段，删除表字段，修改存储格式

news 2025/9/9 23:58:10

Hadoop yixing(移行)，新增表字段，删除表字段，修改存储格式

一、hadoop中修改存储格式，比如从 textfile 转化为 orc 格式，表中的数据的组织形式要重新改变，就要将重新创建新格式的表将原来的数据按照新的格式插入到新表中

这个时候我们不能直接对元数据修改一下就完事了，就像是一堆砖头，之前你说你按照长方体去摆放，后来你说要按圆柱体去摆放，你不能说只是动动嘴就完事了，是不是要把之前的砖头按照圆柱体的规划一个一个摆好。

再此之前我们有必要认识一下 hadoop 中的存储格式。

1）行式存储及列式存储

行式存储（textfile、sequencefile、avro）

1.行式存储

行式存储就是每一行的所有数据存储在一个 block 中。

优点：

因为每一行的所有字段都存在一起，因此对数据进行插入（INSERT）和修改(UPDATE)操作很方便。
整表查询比较方便，可以很快将整张表组装出来。select * from table

缺点：

查询（select）时如果涉及到某条数据，需要把该行数据所有内容都读取到内存中，即使只有 select 一两个字段也要把整行数据都读进来。读取数据的时候硬盘寻址范围很大。
要加速查询的话需要建立索引，建立索引需要花很多时间。
空值也要占固定的空间。

应用的场景：

行式存储用于存储关系型数据，用于使用数据的时候需要经常用的数据之间的依赖关系的场景，即读取的时候需要整行数据或者整行中大部分列的数据，需要经常用到插入、修改操作，比如存储用户的注册信息等。

2.列式存储

列式存储就是每一列的所有数据存在一起，不同列之间可以分开存储。

优点：

每一列单独存储，因此仅select 个别列的时候，可以仅读取需要的那几个列，相当于为每一列都建立索引。因此磁盘寻道范围小。
数据压缩。列式存储的时候可以为每一列创建一个字典，存储的时候就仅存储数字编码即可，降低了存储空间的需求

缺点：

select 完成时，被选中的数据需要重新组装
插入（insert ）和修改（update）操作比较麻烦。

应用场景：

列式存储适合分布式数据库和数据仓库，适合于对大量数据进行统计分析，列于列之间关联性不强，仅进行插入和读取操作的场景，如网站流量统计、用户行为分析等。

2）、具体的文件格式

1. TextFile

默认格式，存储方式为行存储，数据不做压缩，磁盘开销大，数据解析开销大。可结合 Gzip、Bzip2 使用(系统自动检查，执行查询时自动解压)，但使用这种方式，压缩后的文件不支持 split，Hive 不会对数据进行切分，从而无法对数据进行并行操作。并且在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比 SequenceFile 高几十倍。

2. SequenceFile

SequenceFile 是 Hadoop API 提供的一种二进制文件支持，存储方式为行存储，其具有使用方便、可分割、可压缩的特点。SequenceFile 支持三种压缩选择：NONE，RECORD，BLOCK。Record 压缩率低，一般建议使用 BLOCK 压缩。优势是文件和 hadoop api 中的 MapFile 是相互兼容的。

3. Avro

Avro格式是Hadoop的一种基于行的存储格式，被广泛用作序列化平台。Avro格式以JSON格式存储模式，使其易于被任何程序读取和解释。数据本身以二进制格式存储，使其在Avro文件中紧凑且高效。Avro格式是语言中立的数据序列化系统。它可以被多种语言处理（目前是C、C++、C#、Java、Python和Ruby）。Avro格式的一个关键特性是对随时间变化的数据模式的强大支持，即模式演变。Avro处理模式更改，例如缺少字段、添加的字段和更改的字段。Avro格式提供了丰富的数据结构。例如，您可以创建包含数组、枚举类型和子记录的记录。

4. RCFile

RCFile是为基于MapReduce的数据仓库系统设计的数据存储结构。它结合了行存储和列存储的优点，可以满足快速数据加载和查询，有效利用存储空间以及适应高负载的需求。RCFile是由二进制键/值对组成的flat文件，它与sequence file有很多相似之处,在数仓中执行分析时，这种面向列的存储非常有用。当我们使用面向列的存储类型时，执行分析很容易。缺点是RC不支持schema扩展，如果要添加新的列，则必须重写文件，这会降低操作效率。

5. OrcFile

Apache ORC是Apache Hadoop生态系统面向列的开源数据存储格式，它与Hadoop环境中的大多数计算框架兼容,ORC代表“优化行列”，它以比RC更为优化的方式存储数据，提供了一种非常有效的方式来存储关系数据，然后存储RC文件。ORC将原始数据的大小最多减少75％，数据处理的速度也提高了。

6. Parquet

与以行方式存储数据的传统方法相比，Parquet文件格式在存储和性能方面更高效。这对于从“宽”（具有许多列）表中读取特定列的查询特别有用，因为只读取需要的列，并且最小化 IO。Parquet的独特功能之一是它也可以以柱状方式存储具有嵌套结构的数据。这意味着在 Parquet 文件格式中，即使是嵌套字段也可以单独读取，而无需读取嵌套结构中的所有字段。Parquet 格式使用记录分解和组装算法以柱状方式存储嵌套结构。

3）压缩算法

二、存量表修改存储格式如何操作

假如之前一张表 table1 是 textfile 格式的，因为服务器这边资源紧张要改为 orc 格式的

算法：

首先，我们要先建一张表table1_2407bak2 存储格式定义为 orc

开启动态分区，

将历史分区中的数据插入到table1_2407bak2表中最好一段 sql 扫描分区数不要超过 200 个分区。

然后就是将table1改名为table1_2407bak

将table1_2407bak2改名为table1 完成数据存储格式的改变，table1_2407bak是按照之前的存储格式进行存储的备份数据