保姆级教程：在OpenEuler 22.03 LTS-SP4上，用cephadm搞定Ceph Pacific集群部署

在OpenEuler 22.03 LTS-SP4上部署Ceph Pacific集群的完整指南OpenEuler作为国产操作系统的代表凭借其高性能和安全性正逐渐成为企业级应用的首选。而Ceph作为开源的分布式存储解决方案以其高可靠性和可扩展性赢得了广泛认可。本文将详细介绍如何在OpenEuler 22.03 LTS-SP4系统上使用cephadm工具部署Ceph Pacific集群为需要国产化解决方案的企业提供参考。与传统部署方式相比cephadm提供了更简洁、更自动化的集群管理体验。它采用容器化部署方式简化了依赖管理同时保持了Ceph的强大功能。对于需要在国产操作系统环境下构建存储基础设施的团队来说这套方案尤其有价值。1. 环境准备与系统配置在开始部署前我们需要确保所有节点都满足基本要求。建议使用至少三台配置相同的服务器每台配备至少4核CPU、8GB内存和100GB存储空间。网络方面建议使用10Gbps或更高带宽的互联。1.1 系统初始化设置首先在所有节点上安装OpenEuler 22.03 LTS-SP4系统。可以从官方镜像站点下载ISO文件wget https://mirror.sjtu.edu.cn/openeuler/openEuler-22.03-LTS-SP4/ISO/x86_64/openEuler-22.03-LTS-SP4-x86_64-dvd.iso安装完成后进行以下基础配置设置主机名在所有节点执行hostnamectl set-hostname ceph01.novalocal bash配置主机解析在第一个节点执行后复制到其他节点echo 192.168.18.204 ceph01.novalocal ceph01 /etc/hosts echo 192.168.18.191 ceph02.novalocal ceph02 /etc/hosts echo 192.168.18.100 ceph03.novalocal ceph03 /etc/hosts配置SSH互信仅在第一个节点执行ssh-keygen ssh-copy-id 192.168.18.191 ssh-copy-id 192.168.18.1001.2 安全策略调整为了简化部署过程我们暂时关闭防火墙和SELinuxsystemctl stop firewalld systemctl disable firewalld sed -i s/SELINUXenforcing/SELINUXdisabled/g /etc/selinux/config setenforce 0注意在生产环境中应根据实际安全需求配置防火墙规则而不是完全关闭防火墙。1.3 配置软件源添加Ceph Pacific的软件源cat /etc/yum.repos.d/ceph.repo EOF [ceph] nameceph x86_64 baseurlhttps://repo.huaweicloud.com/ceph/rpm-pacific/el8/x86_64 enabled1 gpgcheck0 [ceph-noarch] nameceph noarch baseurlhttps://repo.huaweicloud.com/ceph/rpm-pacific/el8/noarch enabled1 gpgcheck0 [ceph-source] nameceph SRPMS baseurlhttps://repo.huaweicloud.com/ceph/rpm-pacific/el8/SRPMS enabled1 gpgcheck0 EOF2. 依赖软件安装2.1 安装时间同步服务集群节点间的时间同步至关重要yum -y install chrony git systemctl enable --now chronyd chronyc sources2.2 获取cephadm工具cephadm是Ceph官方推荐的部署工具我们可以从Git仓库获取git clone https://gitee.com/yftyxa/openeuler-cephadm.git cp openeuler-cephadm/cephadm /usr/bin/ chmod ax /usr/bin/cephadm2.3 安装容器运行时Ceph Pacific使用容器化部署我们选择podman作为容器引擎yum install podman-3.3.1-9.module_el8.5.0988b1f0b741.x86_64 lvm2 -y安装完成后建议重启所有节点以使配置生效reboot3. Ceph集群初始化3.1 引导集群在第一个节点上执行引导命令cephadm bootstrap --mon-ip 192.168.18.204 --allow-fqdn-hostname成功执行后命令行会输出管理面板的访问信息包括URL和初始凭据。记录这些信息以备后续使用。3.2 添加集群节点将其他节点加入集群cd /etc/ceph/ ssh-copy-id -f -i ceph.pub ceph02 ssh-copy-id -f -i ceph.pub ceph03 cephadm shell ceph orch host add ceph02.novalocal --labelsmon ceph orch host add ceph03.novalocal --labelsmon3.3 配置存储设备为集群添加OSD对象存储守护进程ceph orch daemon add osd ceph01.novalocal:/dev/nvme0n1 ceph orch daemon add osd ceph02.novalocal:/dev/nvme0n1 ceph orch daemon add osd ceph03.novalocal:/dev/nvme0n1可以使用以下命令验证OSD状态ceph osd tree3.4 验证集群健康状态检查集群整体状态ceph -s健康状态应显示为HEALTH_OK并且所有服务都应正常运行。4. 管理面板配置Ceph提供了基于Web的管理面板方便监控和管理集群。4.1 访问管理面板使用引导阶段提供的URL访问管理面板。首次登录需要使用默认凭据建议立即修改密码。4.2 面板功能概览管理面板提供以下主要功能集群健康状态监控实时显示集群健康状况和性能指标存储池管理创建和管理不同类型的存储池OSD管理监控和操作存储设备用户管理配置访问权限和配额日志查看集中查看集群日志信息4.3 高级配置建议对于生产环境建议配置监控集成将Ceph监控数据接入现有监控系统告警设置配置关键指标的告警阈值定期备份设置集群配置的定期备份策略5. 性能优化与故障排除5.1 性能调优建议根据工作负载特点可以调整以下参数参数默认值建议值说明osd_memory_target4GB根据RAM调整控制OSD内存使用osd_op_num_threads24-8OSD操作线程数osd_disk_threads12-4磁盘I/O线程数调整方法ceph config set osd osd_memory_target 8G5.2 常见问题解决问题1节点无法加入集群解决方案检查SSH互信配置验证网络连通性确保时间同步服务正常运行问题2OSD状态异常解决方案ceph osd repair osd_id systemctl restart ceph-osdosd_id问题3存储池性能下降解决方案检查集群负载均衡考虑增加PG数量验证网络带宽使用情况6. 生产环境最佳实践在实际生产部署中除了基本配置外还需要考虑以下方面网络分离建议将集群流量公网、存储网、管理网分离到不同网络接口硬件规划根据预期负载合理规划OSD数量与类型SSD/HDD监控告警部署完善的监控系统设置合理的告警阈值备份策略定期备份集群关键配置和元数据容量规划预留足够的空间用于集群扩展和故障恢复对于大规模部署可以考虑使用以下命令批量添加节点for host in ceph{01..10}; do ceph orch host add $host.novalocal done在OpenEuler上部署Ceph集群的过程中我发现podman的稳定性对集群运行至关重要。建议定期检查容器状态并保持系统补丁更新。另外合理配置日志轮转可以避免日志文件占用过多磁盘空间。