PVE+CEPH+HA部署搭建测试

一、基本概念介绍

Proxmox VE
‌Proxmox Virtual Environment (Proxmox VE)‌ 是一款开源的虚拟化管理平台，基于 Debian Linux 开发，支持虚拟机和容器的混合部署。它提供基于 Web 的集中管理界面，简化了计算、存储和网络资源的配置与监控。Proxmox VE 内置工具支持高可用性（HA）、备份/恢复和集群管理，适用于企业级虚拟化及私有云部署。

Ceph
‌Ceph‌ 是一个高度可扩展的分布式存储系统，设计用于提供高性能、无单点故障的存储服务。其核心是 RADOS（可靠自主分布式对象存储），通过动态数据分片和副本机制实现数据的高可用性和自我修复能力。Ceph 支持块存储（RBD）、文件存储（CephFS）和对象存储接口，可无缝集成到 Proxmox VE、OpenStack 等平台，满足大规模存储需求。

HA（高可用性集群）
‌高可用性（High Availability, HA）‌ 是一种通过冗余设计确保服务持续运行的解决方案。在 Proxmox VE 等平台中，HA 集群通过多节点协作和自动故障转移机制，实时检测物理机或虚拟机的故障，并快速将服务迁移到健康节点。结合 Ceph 等分布式存储，HA 可消除单点故障，保障关键业务在硬件或软件故障时的零停机或极短恢复时间。

二、环境介绍

本次采用3台虚拟机安装验证。
访问官网下载ISO镜像文件，根据需要选择版本：
https://www.proxmox.com/en/downloads/category/iso-images-pve
三台虚拟机设置：
A.CPU勾选虚拟化支持

B.虚拟机各添加2块磁盘，一块系统盘，一块CEPH使用

三、PVE安装

3.1 选择第一个选项，安装PVE

3.2 同意协议

3.3 选择系统盘

注意：此处多块硬盘时，根据规划选择相应磁盘为系统盘，同时如果自定义修改系统盘分配，可以点击option，否则会默认分配系统盘空间。

3.4 配置国家、地区

3.5 配置密码、邮箱

如果为生产环境务必配置为强口令。邮箱建议配置为真实邮箱。

3.6 配置网卡、主机名、IP地址、DNS等信息

3.7 检查无误后点击安装

安装结束后重启，通过浏览器访问，出现以下页面内容证明安装成功。

地址：https://你的IP地址:8006

用户名：root

密码：为安装时配置的密码。

域：选择Linux PAM

3.8 按照此方法安装全部服务器

四、集群组建

创建集群，将三台节点加入同一集群。
1、在其中一个节点上点击，”数据中心“ — ”集群“ — ”创建集群“。
点击加入信息，复制加入信息。

2、在其他两个节点上，点击加入集群，粘贴加入信息，然后输入第一台节点的root密码，即可完成加入。

3、加入集群完成后需要刷新页面才能正常使用，全部加入完成后，就可以在一个节点上管理集群中所有节点。

五、CEPH安装

5.1  更换系统软件仓库源
由于自带的软件源速度较慢，此处选择科大源：http://mirrors.ustc.edu.cn
涉及的软件源有三个，分别为debain、pve、ceph，需要分别修改下列文件。

echo "deb http://mirrors.ustc.edu.cn/proxmox/debian/ceph-octopus/ buster main " > /etc/apt/sources.list.d/ceph_mirror.list

echo "deb   http://mirrors.ustc.edu.cn/proxmox/debian  bookworm pve-no-subscription " >  /etc/apt/sources.list.d/pve-enterprise.list

echo "# 默认不包含非自由固件
deb http://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm main contrib non-free
# 或仅包含自由软件
# deb http://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm main contrib

# 包含非自由固件及镜像站内软件源
deb http://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-updates main contrib non-free
deb http://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-backports main contrib non-free
deb http://mirrors.tuna.tsinghua.edu.cn/debian-security bookworm-security main contrib non-free" > /etc/apt/sources.list

5.2  安装ceph软件
在全部节点中，安装ceph组件。
注意，实际操作中此步骤会在 /etc/apt/sources.list.d/ceph.list 文件中配置官方源。
1） 选择节点 — ”ceph“ 点击 ” Install ceph ”

2） 选择版本，此处选择 “ 18.2 ”

3） 输入 ” Y “ 开始安装
如果软件包下载速度较慢，可以先安装一台，然后将安装包拷贝到其他节点相同路径中。
安装包保存路径：/var/cache/apt/archives

5.3 ceph配置
此配置是将硬盘创建pool，命名为hdd_data。
1） 创建osd
在 ”ceph“ — ”osd“ 选项卡创建OSD。
正常情况下磁盘类型会自动识别，如果识别的不正确，注意手动调整。

2） 创建class rule
ceph osd crush rule create-replicated hdd_rule default host hdd

3）创建存储池
ceph osd pool create hdd_data hdd_rule
ceph osd pool application enable hdd_data hdd_data

4） 添加存储池至PVE
”数据中心“ — ”存储“ — ”添加“ — ”RBD“。

六、HA组建测试

此群组用于设置参与ha的节点，并设置节点设备故障后能够迁移的优先级、
1）数据中心-HA-群组-创建

#创建完成
#这里会显示HA集群的状态

2）创建参与HA的对象
#数据中心-HA-资源-添加参与ha的容器或者虚拟机（这里的虚拟机一定要是存储在cephrbd盘里面的才行）

3） 验证HA故障迁移
#强制关闭pve03，观察vm100的迁移情况
#vm100已经顺利的迁移至pve01并已顺利启动