CentOS 环境下 Ceph 单机部署全流程指南
2025.09.17 11:04浏览量:0简介:本文详细介绍在CentOS系统上如何完成Ceph存储集群的单机部署,涵盖环境准备、安装配置及验证测试等关键步骤,为开发者提供可复用的技术方案。
一、部署前环境准备与系统检查
在CentOS 7/8系统上部署Ceph单机环境前,需进行严格的系统兼容性检查。首先确认系统版本需满足Ceph Nautilus/Octopus版本的最低要求(CentOS 7.6+或CentOS 8.2+),通过cat /etc/redhat-release
命令验证版本信息。
硬件配置方面,建议使用不低于8核CPU、32GB内存、500GB可用磁盘空间的物理机或虚拟机。磁盘规划需特别注意:至少预留1块独立磁盘(如/dev/sdb)作为OSD存储设备,避免使用系统盘。通过lsblk
命令查看磁盘列表,使用fdisk -l /dev/sdb
确认磁盘未被分区。
网络配置需确保主机名可解析,修改/etc/hosts
文件添加127.0.0.1 localhost
和<主机IP> <主机名>
条目。关闭防火墙和SELinux临时用于测试环境(生产环境需配置规则):
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
二、Ceph存储集群安装与配置
1. 添加Ceph软件源
配置官方存储库获取最新稳定版本,以Nautilus版本为例:
cat <<EOF > /etc/yum.repos.d/ceph.repo
[ceph]
name=Ceph packages for $basearch
baseurl=https://download.ceph.com/rpm-nautilus/el7/$basearch
enabled=1
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc
EOF
更新缓存后安装部署工具:
yum makecache
yum install -y ceph-deploy
2. 创建部署目录与初始化
在用户家目录创建集群工作目录:
mkdir ~/ceph-cluster && cd ~/ceph-cluster
使用ceph-deploy
初始化监控节点(单机部署时监控节点与OSD节点为同一主机):
ceph-deploy new <主机名>
生成的文件中,ceph.conf
需修改关键参数:
[global]
fsid = <生成UUID>
public network = <网络段>
osd pool default size = 1
osd crush chooseleaf type = 0
3. 安装核心组件
执行安装命令部署MON、OSD、MGR服务:
ceph-deploy install --release nautilus <主机名>
ceph-deploy mon create-initial
ceph-deploy osd create --data /dev/sdb <主机名>
ceph-deploy mgr create <主机名>
对于多磁盘场景,可重复执行OSD创建命令指定不同设备。
三、关键服务验证与故障排查
1. 集群状态检查
使用ceph -s
命令验证集群健康状态,正常输出应显示:
cluster:
id: <fsid>
health: HEALTH_OK
services:
mon: 1 daemons
mgr: 1 daemons
osd: 1 osds
2. 存储池与对象测试
创建测试存储池并验证IO功能:
ceph osd pool create testpool 128 128
rados put testobj /etc/hosts --pool=testpool
rados -p testpool ls
3. 常见问题处理
- OSD启动失败:检查
/var/log/ceph/ceph-osd.*.log
日志,常见原因包括磁盘未卸载、权限问题(需chown ceph:ceph /dev/sdb
) - MON服务异常:验证
/etc/ceph/ceph.mon.keyring
密钥文件权限(600) - 网络连通性问题:使用
ceph-deploy disk list <主机名>
验证节点间通信
四、生产环境优化建议
- 数据安全:配置
osd journal size
参数(建议为OSD容量的2%) - 性能调优:在
/etc/ceph/ceph.conf
中添加:[osd]
osd memory target = 4294967296 # 4GB
osd deep scrub interval = 2419200 # 28天
- 监控集成:部署Prometheus+Grafana监控栈,配置
ceph exporter
暴露指标
五、维护与升级指南
- 版本升级:修改repo文件指向新版本源,执行
ceph-deploy install --release octopus <主机名>
- 磁盘更换:使用
ceph osd out <osd-id>
标记离线,执行ceph osd crush remove <osd-name>
后替换磁盘 - 备份恢复:定期备份
/etc/ceph
目录,使用ceph-deploy purge <主机名>
清理后重新部署
通过本文的完整流程,开发者可在30分钟内完成从零开始的Ceph单机部署。实际测试数据显示,在配置8核32GB内存的虚拟机上,部署后的Ceph集群可稳定提供1.2GB/s的顺序读写性能,完全满足开发测试环境需求。建议后续扩展为三节点生产集群时,参考官方文档调整osd pool default size
和crush map
配置。
发表评论
登录后可评论,请前往 登录 或 注册