HDF5文件格式：数据类型与读写功能详解

HDF5文件格式：数据类型与读写功能详解

HDF5简介

HDF5（Hierarchical Data Format version 5）是一种用于存储和管理大量科学数据的文件格式和库。它由美国国家高级计算应用中心（NCSA）开发，具有以下特点：

• 分层结构（类似文件系统中的目录结构）
• 支持多种数据类型
• 跨平台兼容
• 支持并行I/O
• 提供数据压缩和分块存储

HDF5数据类型

HDF5支持丰富的数据类型，主要分为两类：

1. 基本数据类型

• 整数类型：H5T_STD_I8, H5T_STD_I16, H5T_STD_I32, H5T_STD_I64（有符号）
• 无符号整数：H5T_STD_U8, H5T_STD_U16, H5T_STD_U32, H5T_STD_U64
• 浮点类型：H5T_IEEE_F32, H5T_IEEE_F64
• 字符串类型：定长或变长字符串
• 复合类型：类似C语言中的结构体
• 枚举类型
• 数组类型
• 变长数据类型

2. 派生数据类型

用户可以根据需要创建更复杂的数据类型：

• 复合类型（结构体）
• 数组类型
• 枚举类型
• 变长类型
• 不透明类型

HDF5读写功能

HDF5库提供的主要功能包括：

1. 文件操作：创建、打开、关闭文件
2. 组操作：创建、遍历组（类似目录）
3. 数据集操作：创建、读写数据集（类似多维数组）
4. 属性操作：为组或数据集添加元数据
5. 数据类型操作：创建和管理数据类型
6. 存储管理：分块、压缩、分片存储

HDF5读写示例程序（C语言）

示例1：创建HDF5文件并写入数据集

#include <hdf5.h>
#include <stdio.h>#define FILE_NAME "example.h5"
#define DATASET_NAME "IntArray"
#define DIM0 4
#define DIM1 6int main() {hid_t file_id, dataset_id, dataspace_id;herr_t status;hsize_t dims[2] = {DIM0, DIM1};int data[DIM0][DIM1];// 初始化数据for (int i = 0; i < DIM0; i++)for (int j = 0; j < DIM1; j++)data[i][j] = i * DIM1 + j + 1;// 创建新HDF5文件file_id = H5Fcreate(FILE_NAME, H5F_ACC_TRUNC, H5P_DEFAULT, H5P_DEFAULT);// 创建数据空间dataspace_id = H5Screate_simple(2, dims, NULL);// 创建数据集dataset_id = H5Dcreate2(file_id, DATASET_NAME, H5T_STD_I32LE, dataspace_id, H5P_DEFAULT, H5P_DEFAULT, H5P_DEFAULT);// 写入数据status = H5Dwrite(dataset_id, H5T_NATIVE_INT, H5S_ALL, H5S_ALL, H5P_DEFAULT, data);// 关闭资源status = H5Dclose(dataset_id);status = H5Sclose(dataspace_id);status = H5Fclose(file_id);printf("HDF5文件创建成功，数据已写入。\n");return 0;
}

示例2：读取HDF5文件中的数据

#include <hdf5.h>
#include <stdio.h>#define FILE_NAME "example.h5"
#define DATASET_NAME "IntArray"
#define DIM0 4
#define DIM1 6int main() {hid_t file_id, dataset_id;herr_t status;int data[DIM0][DIM1];// 打开现有HDF5文件file_id = H5Fopen(FILE_NAME, H5F_ACC_RDONLY, H5P_DEFAULT);// 打开数据集dataset_id = H5Dopen2(file_id, DATASET_NAME, H5P_DEFAULT);// 读取数据status = H5Dread(dataset_id, H5T_NATIVE_INT, H5S_ALL, H5S_ALL, H5P_DEFAULT, data);// 打印数据printf("读取的数据内容:\n");for (int i = 0; i < DIM0; i++) {for (int j = 0; j < DIM1; j++)printf("%3d ", data[i][j]);printf("\n");}// 关闭资源status = H5Dclose(dataset_id);status = H5Fclose(file_id);return 0;
}

示例3：使用压缩存储和属性

#include <hdf5.h>
#include <stdio.h>
#include <time.h>#define FILE_NAME "compressed.h5"
#define DATASET_NAME "CompressedData"
#define DIM0 1000
#define DIM1 500int main() {hid_t file_id, dataset_id, dataspace_id, plist_id, attr_id, atype_id;herr_t status;hsize_t dims[2] = {DIM0, DIM1};hsize_t chunk_dims[2] = {100, 100};float data[DIM0][DIM1];time_t current_time;char time_str[50];// 初始化数据for (int i = 0; i < DIM0; i++)for (int j = 0; j < DIM1; j++)data[i][j] = (float)(i + j) / (i + j + 1);// 创建新HDF5文件file_id = H5Fcreate(FILE_NAME, H5F_ACC_TRUNC, H5P_DEFAULT, H5P_DEFAULT);// 创建数据空间dataspace_id = H5Screate_simple(2, dims, NULL);// 创建数据集创建属性列表，启用压缩和分块plist_id = H5Pcreate(H5P_DATASET_CREATE);status = H5Pset_chunk(plist_id, 2, chunk_dims);status = H5Pset_deflate(plist_id, 6);  // 设置压缩级别// 创建数据集dataset_id = H5Dcreate2(file_id, DATASET_NAME, H5T_IEEE_F32LE, dataspace_id, H5P_DEFAULT, plist_id, H5P_DEFAULT);// 写入数据status = H5Dwrite(dataset_id, H5T_NATIVE_FLOAT, H5S_ALL, H5S_ALL, H5P_DEFAULT, data);// 添加创建时间属性current_time = time(NULL);strftime(time_str, sizeof(time_str), "%Y-%m-%d %H:%M:%S", localtime(&current_time));atype_id = H5Tcopy(H5T_C_S1);status = H5Tset_size(atype_id, strlen(time_str) + 1);attr_id = H5Acreate2(dataset_id, "CreationTime", atype_id, H5Screate(H5S_SCALAR), H5P_DEFAULT, H5P_DEFAULT);status = H5Awrite(attr_id, atype_id, time_str);// 关闭资源status = H5Aclose(attr_id);status = H5Tclose(atype_id);status = H5Pclose(plist_id);status = H5Dclose(dataset_id);status = H5Sclose(dataspace_id);status = H5Fclose(file_id);printf("压缩的HDF5文件创建成功，数据已写入。\n");return 0;
}

其他语言绑定

HDF5不仅支持C语言，还提供多种语言的API：

• Python：h5py或PyTables库
• C++：HDF5 C++ API
• Java：HDF5 Java绑定
• MATLAB：HDF5接口
• R：rhdf5包

Python示例（使用h5py）

import h5py
import numpy as np# 创建文件并写入数据
with h5py.File('example_py.h5', 'w') as f:data = np.arange(100).reshape(20, 5)dset = f.create_dataset("mydata", data=data)dset.attrs['description'] = "Example dataset created with Python"# 读取数据
with h5py.File('example_py.h5', 'r') as f:data_read = f['mydata'][:]print("Data shape:", data_read.shape)print("Description:", f['mydata'].attrs['description'])

总结

HDF5是一种强大的科学数据存储格式，具有以下优势：

1. 支持大型复杂数据集
2. 高效的分块和压缩存储
3. 丰富的元数据支持（属性）
4. 跨平台兼容性
5. 多种编程语言支持

通过合理使用HDF5，可以有效地组织、存储和访问大规模科学数据。