Pool与PG的说明以及Ceph的IO流程

Pool与PG的说明以及Ceph的IO流程

Pool与PG

Ceph中的数据是以对象的形式存储在存储池(pool)中的。每个存储池都被划分为若干个存储组(PG)，每个存储组同时也是一个数据分片(shard)。存储组是Ceph用来实现数据的分布式存储和高可用的重要组成部分。每个存储组包含若干个对象，以及相关的元数据信息，如对象的大小、创建时间、修改时间等。

Ceph会将存储池中的对象均匀地分配到不同的存储组中，以实现数据的负载均衡和高可用。每个存储组都有自己的PG编号，用于标识该存储组在整个Ceph集群中的位置。PG编号的计算方法是通过将存储池的名称、PG数量、对象哈希值等信息进行哈希，得到一个唯一的编号。

存储池和存储组的概念是Ceph架构的核心。存储池是一个逻辑概念，用来管理和存储对象。存储池的创建和删除是由管理员完成的。而存储组是Ceph用来实现数据的分布式存储和高可用的实现方式，它是一个物理概念，由Ceph自动创建和管理。存储组的数量和大小都是可以配置的，可以根据实际需求进行调整。

Ceph的IO流程

当应用程序需要读取或写入Ceph存储池中的对象时，其流程如下：

1. 应用程序向Ceph客户端发起读取或写入请求。
2. Ceph客户端将请求发送到Ceph Monitor节点，请求Monitor节点返回包含所需数据的PG列表。
3. Monitor节点根据PG列表，将请求发送到对应的OSD节点。
4. OSD节点根据请求操作类型，读取或写入相应的对象，并将操作结果返回给Monitor节点。
5. Monitor节点将操作结果返回给Ceph客户端，完成一次IO操作。

值得注意的是，Ceph的IO操作是异步的，即应用程序发送IO请求后，并不会立即得到响应结果，而是需要等待一定时间。这是因为Ceph在执行IO操作时，会首先将IO请求发送到Objecter队列中，然后通过异步回调的方式处理IO请求。在IO请求处理完成后，Ceph会通过回调函数将结果返回给应用程序。

Ceph的IO操作具有高效性和可扩展性。Ceph可以动态地增加或减少OSD节点，以实现存储容量和性能的横向扩展。同时，Ceph还支持多种存储介质，如硬盘、闪存、NVMe等，以满足不同的性能和容量需求。Ceph的IO操作还支持多种协议，如RADOS Block Device(RBD)、RADOS Gateway(RGW)、CephFS等，以满足不同的应用场景。