第28讲：Ceph集群使用RBD块存储与K8S Volumes集成

一、核心概念解析

1.1 Ceph RBD架构原理

RBD（RADOS Block Device）是Ceph提供的分布式块存储服务，其核心特性包括：

• 基于CRUSH算法实现数据自动分片与负载均衡
• 支持瘦供给（Thin Provisioning）和快照功能
• 数据多副本机制保障高可用性（通常3副本配置）

1.2 Kubernetes存储体系

Kubernetes通过PV/PVC机制管理存储资源：

• PersistentVolume (PV)：集群级别的存储资源定义
• PersistentVolumeClaim (PVC)：用户对存储资源的请求
• StorageClass：动态供给的存储模板

二、集成方案设计

2.1 前置条件准备

1. Ceph集群要求：

   • 已部署正常运行的Ceph集群（Luminous及以上版本）
   • 创建专用存储池（如rbd_pool）

     ceph osd pool create rbd_pool 128 128
     rbd pool init rbd_pool

2. Kubernetes环境要求：

   • 所有节点安装ceph-common工具包
   • 配置Ceph客户端认证（推荐使用cephx认证）

2.2 认证配置最佳实践

推荐使用Kubernetes Secret管理认证信息：

apiVersion: v1
kind: Secret
metadata:
  name: ceph-secret
type: "kubernetes.io/rbd"  
data:
  key: QVFB...（base64编码的ceph key）

三、详细集成步骤

3.1 静态供给配置

1. 创建RBD镜像：

   rbd create -p rbd_pool --size 10G k8s_volume

2. 定义PV资源：

   apiVersion: v1
   kind: PersistentVolume
   metadata:
   name: ceph-pv
   spec:
   capacity:
    storage: 10Gi
   accessModes:
    - ReadWriteOnce
   rbd:
    monitors:
      - 10.0.0.1:6789
      - 10.0.0.2:6789
    pool: rbd_pool
    image: k8s_volume
    user: admin
    secretRef:
      name: ceph-secret
    fsType: ext4

3.2 动态供给方案（推荐）

1. 创建StorageClass：

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
   name: ceph-rbd
   provisioner: rbd.csi.ceph.com
   parameters:
   clusterID: ceph-cluster
   pool: rbd_pool
   imageFormat: "2"
   imageFeatures: layering
   csi.storage.k8s.io/provisioner-secret-name: ceph-secret
   csi.storage.k8s.io/node-stage-secret-name: ceph-secret

2. PVC自动绑定示例：

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
   name: ceph-pvc
   spec:
   accessModes:
    - ReadWriteOnce
   storageClassName: ceph-rbd
   resources:
    requests:
      storage: 5Gi

四、高级配置与优化

4.1 性能调优参数

参数	推荐值	说明
krbd:queue_depth	128	IO队列深度
rbd_cache	true	启用客户端缓存
rbd_concurrent_management_ops	20	并发操作数

4.2 多挂载模式支持

通过volumeMode: Block实现原始块设备访问：

spec:
  volumeMode: Block
  accessModes:
    - ReadWriteOnce

五、故障排查指南

5.1 常见问题处理

1. 挂载超时问题：

   • 检查网络连通性（monitor节点可达）
   • 验证rbd内核模块加载：lsmod | grep rbd

2. 权限拒绝错误：

   • 确认secret配置正确性
   • 检查Ceph用户权限：ceph auth get client.admin

5.2 监控指标收集

关键监控指标包括：

• RBD镜像IOPS/吞吐量
• 延迟百分位值
• 集群剩余容量预警

六、生产环境建议

1. 版本兼容性矩阵：
   | Ceph版本 | Kubernetes版本 | CSI驱动版本 |
   |—————|————————|——————-|
   | Nautilus | v1.17+ | v3.3.0+ |
   | Octopus | v1.19+ | v3.5.0+ |

2. 灾备方案设计：

   • 定期执行RBD镜像快照
   • 配置跨集群复制（RBD Mirroring）

结语

通过本文介绍的集成方案，企业可以构建高可靠、高性能的云原生存储架构。建议在实际部署前进行充分的性能测试，并根据业务特点调整相关参数配置。随着Ceph和Kubernetes的版本迭代，建议持续关注CSI驱动的新特性支持情况。