ceph文件系统

ceph文件系统：高度可扩展，分布式的存储文件系统，旨在提高性能，高可靠性和高可用的对

象存储，块存储，文件系统的存储。使用分布式的算法保证数据的高可用和一致性。

ceph的组件

1、MON：ceph  monitor，负责存储和维护整个ceph集群的状态信息，主要是集群的成员信息，存

储状态和配置数据等等。

• 确保集群的一致性
• 处理选举和状态的更新
• 处理集群内部成员的通信，包括故障转移
• ceph当中mon至少要有3个节点确保高可用

2、osd：ceph  object  storage  daemon，ceph存储系统的核心组件，负责存储数据，处理

读写请求，数据复制，数据恢复。每个osd节点管理一个或多个硬盘驱动。

• 存储实际的数据和副本
• 处理对象级别的数据操作，读、写、删
• 在节点付账时，进行数据恢复

3、mds：ceph  metadata  server，对ceph的文件系统的元数据进行管理，文件和目录的结构，文

件的权限，mds提供元数据服务。

• 管理集群的元数据信息
• 处理客户端对文件系统的请求
• ceph集群中，至少要有一个mds节点

4、存储池和pg

存储池：pool，ceph存储数据对象的容器，每个存储池可以定义不同的数据冗余的策略（副本数，

默认都是3）crush映射规则等等。存储池是一个逻辑上的概念。

• 管理和组织数据的对象
• 定义数据的冗余方式，主要是开副本，3个
• 配置crush映射，数据如何在osd之间分布

pg：placement  group，pg也是ceph当中的一个逻辑概念，用于数据分布的基本单位，创建存储

池，定义好pg的数量。pg是由一组对象（object）组成的逻辑集合，每个对象都会映射到一个或者

多个pg。作用是数据分布：数据写入集群，映射到存储池中的一个pg。crush算法决定将pg分布到

哪些osd。在ceph当中，pg和osd的数量是相关的，设置一个合理的pg数，有助于提高集群的性

能。pg数量=osd数量*100/存储池的副本数，且pg数量应该是2的幂值。以3个osd为例，pg的数量

为128为宜。pg的数量一般是osd数量的一百倍左右。

存储池和、pg和osd之间的关系

1、存储池是管理数据的基本单位，组成和配置数据存储和冗余的方式。

2、存储池中的数据被划分成多个pg，每个pg是数据分布的最小单位，pg负责对象存储的位置，通过crush算法把数据分布到osd。

3、osd是负责存储数据的基于物理设备的虚拟概念。

数据流向

crush算法，ceph自带的一种算法：

数据分布的算法，把对象分配到集群的osd节点当中。

crush算法使用hash算法来决定数据的存储位置，确保数据是均匀的分布在集群的osd上。

存储类型：

对象存储：ceph  object  storge，云计算的后台的存储方式一般都是用对象存储，基于apt接口，通过http(s)来对目标发起请求的方式获取数据。

块存储 RDB

文件系统 cephfs

ceph的创建

这里我们使用三台服务器完成ceph架构，另一台服务器作为客户端，具体如下

zw4：192.168.254.14，mon   osd   admin

zw5：192.168.254.15，mon   osd

zw6：192.168.254.16，mon   osd

zw7：192.168.254.17，客户端

我们这里使用的是ceph17版本：2024 17.2.4依赖于docker、python3和lvm2，所有准备好阿里

源，不要使用ubuntu官方源。

1、使用免交户方式对四台主机名都进行主机映射

2、三台集群主机安装docker

apt -y install docker.io     

apt -y install lvm2

安装cephadm并初始化单节点集群（主节点zw4上执行）并编译安装

wget https://mirrors.aliyun.com/ceph/debian-17.2.4/pool/main/c/ceph/cephadm_17.2.4-1focal_amd64.deb

dkpg -i cephadm_17.2.4-1focal_amd64.deb 

3、主节点上开启集群初始化

• --mon-ip：指定mon进程的节点地址，先指定admin节点。
• --cluster-network：集群网络的地址范围，ceph节点内部通信。
• --allow-fqdn-hostname：允许ceph集群使用hostname来对节点进行标识，节点之间可以通过主机名进行通信

初始化后得到账户密码以及登录地址，可以登录ceph可视化界面

4、集群和客户端之间免密登录

主节点zw4和其他三台服务器进行ssh免密登录

主节点与另外两台集群主机进行内部ssh免密登录

5、四台主机安装ceph客户端

apt -y install ceph-common

6、添加osd

ceph添加主机名

查看当前Ceph Orchestrator 管理的所有主机信息，包括它们的状态、角色以及其他相关信息

修改mon节点的数量

把zw4、zw5和zw6添加进mon节点

7、三台集群服务器添加硬盘并刷新接口

这里使用命令行刷新，你可以选择重启

for host in /sys/class/scsi_host/host*/scan; do
    echo "- - -" | sudo tee $host
done

作为ceph集群的底层的硬盘必须满足两个条件

• 容量必须要大于5G
• 不能对硬盘做任何分区和文件系统

8、添加osd硬盘

首先让ceph获取可用的节点并查看

添加osd硬盘

这时候ceph可视化界面显示我们集群搭建成功

ceph的使用

RDB存储方式

ceph  RDB：rados  block  device，主要用于虚拟化环境和数据库。

虚拟化环境：openstack、KVM

数据库：性能高，延迟低的块存储方式

优点：

• 支持动态扩展
• 支持快照和克隆

缺点：

• RBD的方式必须要创建文件系统
• 使用方式：在云计算的平台经常被使用，尤其是大规模存储和高性能场景。

1、在主节点上创建存储池并给存储池创建类型

• rdb1：存储池的名称，不能重复
• 128：pg的数量
• 128：pgp的数量

查看存储池是否成功，ceph osd pool ls

 2、在客户端zw7创建RDB镜像前，先传送主节点的配置文件和秘钥文件给客户端

在客户端上检查是否成功

3、在客户端zw7创建RDB镜像并做映射

• 镜像是RDB存储的基本单位，是一个虚拟的磁盘。
• 镜像提供了一个虚拟的块设备的接口，可以挂载的方式进行使用。
• 创建RDB镜像，实际上就是类似磁盘的一个分区

做映射之后，会虚拟出一个逻辑上的硬盘rbd0，接下来要创建文件系统，然后挂载才可以使用。

4、在客户端创建文件系统、挂载使用

mkfs.ext4 /dev/rbd0                           #创建文件系统

mount /dev/rbd0 /data/                      #挂载

创建一个100M的文件

这时候我们发现这个文件已经开始占用存储池的空间了

cephfs的存储方式

cephfs是分件系统分布存储方式，基于内核是实现共享文件的存储方式

大数据存储，文件服务器（文件共享，企业的镜像服务器）

优点：内核兼容，NFS方式也可以实现，部署速度较快。跨节点实现

缺点：配置比RBD的比较复杂，在集群群当中比较复杂。

ceph需要两个存储池：

数据池：cephfs.data，用来存储数据，这是根据osd的数量和总空间的大小，创建cephfs的时候，系统自动分配给cephfs文件系统的大小，按照一般情况是总大小的三分之一。

元数据池：cephfs.meta，保存数据的元信息。

1、在主节点上创建cephfs的存储池

可以看出有两个cephfs存储池

查看cephfs存储池的名称和状态

2、在客户端挂载使用

首先在客户端上获取密钥对，ceph auth get-key client.admin

挂载

创建一个100M的文件

这时候我们发现这个文件已经开始占用存储池的空间了

ceph的nfs方式

1、在主节点创建一个nfs服务和一个池

ceph orch apply nfs nfs-share

ceph osd pool create nfs-pools

查看集群当中所有的存储池，ceph osd lspools

2、创建一个nfs的高可用名字是my-nfs，分别运行在zw4，再加入zw5和zw6
ceph orch apply nfs my-nfs nfs-pools --placement="zw5,zw6"

回到ceph的可视化界面，创建NFS

3、客户端挂载使用

mount -t ceph 192.168.254.14:6789,192.168.254.15:6789,192.168.254.16:6789:/ /data2 -o name=admin,secret=AQBTVXdnKEBBKRAA4pFJAA5oG4FwuEIkONCaNg==

可以发现使用nfs的挂载目录和cephfs数据池挂载的大小和可用空间都一样，是因为通过nfs的挂载

方式，依然使用的cephfs.data的数据空间，文件实际上还是存储在cephfs.data的数据池当中。

ceph  object  storge 对象存储

云计算的后台的存储方式一般都是用对象存储。

对象存储：高扩展，处理文件的级别可以达到PB级别。

缺点：如果数据量不是特别的巨大，一般不需要该场景。

总结

ceph需要使用分布式文件系统的企业一般都是需要存储海量数据，以及保证数据的高可用非常严谨的场景。ceph的存储方式的数据流向：主要包括存储池、pg和osd

创建存储池，分配pg

数据按照对象分配给pg

pg再数据包分配到osd