一、引言：为何选择Ceph作为Kubernetes块存储？

在云原生架构中，Kubernetes已成为容器编排的事实标准，而存储管理是其核心能力之一。Ceph作为分布式存储系统的代表，凭借其高可用性、扩展性和弹性，成为Kubernetes块存储的理想选择。通过Ceph块存储（RBD），Kubernetes可以实现动态卷供应（Dynamic Volume Provisioning），简化存储管理流程，同时满足数据库、有状态服务等对持久化存储的高要求。

本文将围绕“Kubernetes对接Ceph块存储”展开，从环境准备、存储类配置、动态卷供应到性能优化，提供完整的实施指南。

二、环境准备：前置条件与依赖

1. Ceph集群部署

在对接前，需确保Ceph集群已稳定运行，并满足以下条件：

• 版本兼容性：Ceph版本建议≥Nautilus（14.2.x），与Kubernetes的CSI驱动兼容性更佳。
• RBD池创建：为Kubernetes专用块存储创建独立的RBD池（如kubernetes-rbd-pool），避免与其他业务混用。
• 认证配置：生成客户端密钥（ceph.client.admin.keyring或专用用户密钥），并确保Kubernetes节点可访问Ceph Monitor服务。

2. Kubernetes集群要求

• 版本支持：Kubernetes 1.14+（推荐1.20+），支持CSI（Container Storage Interface）标准。
• 节点权限：在Kubernetes节点上安装ceph-common和rbd工具，用于挂载RBD卷。
• 网络连通性：确保Kubernetes节点与Ceph Monitor（MON）之间的网络互通（端口6789默认）。

三、存储类（StorageClass）配置：动态卷供应的核心

存储类是Kubernetes中定义存储属性的关键对象，通过provisioner字段指定存储后端（如ceph.com/rbd）。以下是配置示例：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ceph-block
provisioner: ceph.com/rbd  # 或使用csi-provisioner（推荐）
parameters:
  # CSI驱动参数（以ceph-csi为例）
  clusterID: "ceph-cluster-id"  # Ceph集群ID（可通过`ceph mon dump`获取）
  pool: "kubernetes-rbd-pool"   # RBD池名称
  imageFormat: "2"              # 镜像格式（2表示支持精简配置）
  imageFeatures: "layering"     # 启用快照等特性
  csi.storage.k8s.io/provisioner-secret-name: "ceph-secret"  # 密钥引用
  csi.storage.k8s.io/provisioner-secret-namespace: "kube-system"
reclaimPolicy: Delete  # 卷删除策略（Retain/Delete）
allowVolumeExpansion: true  # 允许在线扩容

关键参数说明：

• provisioner：若使用CSI驱动，需指定为rbd.csi.ceph.com（而非旧版ceph.com/rbd）。
• imageFeatures：根据Ceph版本支持的特性选择（如layering、exclusive-lock）。
• reclaimPolicy：生产环境建议设为Retain，避免误删数据。

四、动态卷供应（DVP）实现：从PVC到PV的全流程

1. 创建持久卷声明（PVC）

用户通过PVC申请存储，存储类自动触发卷创建：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysql-pvc
spec:
  accessModes: [ "ReadWriteOnce" ]
  resources:
    requests:
      storage: 10Gi
  storageClassName: ceph-block  # 引用存储类

2. 卷绑定流程

1. PVC创建：用户提交PVC后，Kubernetes根据storageClassName找到对应的存储类。
2. 卷创建：存储类通过CSI驱动（如rbd.csi.ceph.com）向Ceph请求创建RBD镜像。
3. PV生成：CSI驱动将RBD镜像映射为Kubernetes的PV对象，并绑定到PVC。
4. Pod挂载：Pod通过volumeMounts引用PVC，实现存储访问。

五、性能优化与故障排查

1. 性能调优建议

• I/O优化：
  • 在Ceph中为RBD池配置独立的OSD组（PG/PGP数量建议按(OSD数量 * 100) / 副本数计算）。
  • 启用rbd_cache（需在客户端配置rbd_cache=true）以减少延迟。
• 网络优化：
  • 使用10Gbps以上网络，避免MON节点成为瓶颈。
  • 考虑多MON部署（通常3个MON节点）。

2. 常见问题排查

• 卷挂载失败：
  • 检查rbd map命令是否成功（rbd showmapped）。
  • 验证Ceph密钥权限（ceph auth get client.kube）。
• 动态供应超时：
  • 检查CSI驱动日志（kubectl logs -n kube-system csi-rbdplugin-*）。
  • 确认Ceph集群负载（ceph osd df tree）。

六、进阶实践：多租户与快照管理

1. 多租户隔离

通过Ceph的crush map和Kubernetes的Namespace实现租户隔离：

• 为不同Namespace创建独立的存储类和RBD池。
• 使用ceph auth为每个租户分配最小权限的密钥。

2. 卷快照与克隆

利用CSI的快照功能实现数据备份：

apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshot
metadata:
  name: mysql-snapshot
spec:
  volumeSnapshotClassName: ceph-block-snapshot
  source:
    persistentVolumeClaimName: mysql-pvc

七、总结与最佳实践

1. 版本兼容性：优先使用CSI驱动（如ceph-csi），避免旧版in-tree插件的兼容性问题。
2. 监控集成：通过Prometheus+Grafana监控Ceph集群健康度（如ceph -s、rbd du）。
3. 备份策略：定期备份Ceph的monmap和osdmap，防止集群元数据丢失。
4. 升级路径：Ceph升级时，先测试RBD卷的兼容性（如从Nautilus到Quincy）。

通过以上步骤，开发者可以高效实现Kubernetes与Ceph块存储的对接，为有状态应用提供可靠、弹性的存储基础设施。