Rancher与Ceph-RBD块存储的深度集成指南

1. 背景与核心价值

Ceph-RBD（RADOS Block Device）作为开源分布式存储系统Ceph的核心组件，提供高性能、高可靠的块存储服务。Rancher作为领先的Kubernetes管理平台，通过集成Ceph-RBD可实现：

• 持久化存储支持：为有状态应用提供稳定存储卷
• 动态供给能力：按需创建/销毁存储资源
• 企业级特性：支持快照、克隆、多副本等高级功能

2. 前置准备

2.1 环境要求

• Ceph集群：已部署Luminous（v12.2.x）及以上版本
• Rancher环境：v2.5+（支持CSI驱动）
• 网络连通：所有K8s节点需能访问Ceph集群的Mon节点（默认端口6789）

2.2 关键信息收集

参数	示例值	获取方式
Ceph Mon地址	10.0.0.1:6789,10.0.0.2:6789	ceph mon dump
RBD Pool名称	kube_pool	ceph osd pool ls
用户密钥	AQCv…==	ceph auth get-key client.admin

3. 详细集成步骤

3.1 创建Ceph Secret

在K8s集群中存储认证信息（建议使用kubectl或Rancher UI）：

apiVersion: v1
kind: Secret
metadata:
  name: ceph-secret
  namespace: kube-system
type: kubernetes.io/rbd
data:
  key: QVFDdl9x...BASE64编码密钥...==

3.2 安装CSI驱动（Rancher v2.5+）

1. 进入集群管理 > 驱动 > CSI
2. 启用RBD CSI驱动
3. 配置参数：

   {
     "clusterID": "fsid",
     "monitors": ["10.0.0.1:6789"],
     "pool": "kube_pool",
     "csi.storage.k8s.io/provisioner-secret-name": "ceph-secret",
     "imageFeatures": "layering"
   }

3.3 创建StorageClass

定义动态供给策略（建议使用CRD）：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ceph-rbd
provisioner: rbd.csi.ceph.com
parameters:
  clusterID: fsid
  pool: kube_pool
  imageFormat: "2"
  imageFeatures: layering
  csi.storage.k8s.io/provisioner-secret-name: ceph-secret
  csi.storage.k8s.io/node-stage-secret-name: ceph-secret
reclaimPolicy: Delete
allowVolumeExpansion: true

4. 高级配置技巧

4.1 多Pool隔离策略

# 生产环境建议按业务划分Pool
parameters:
  pool: prod_pool
  dataPool: prod_pool_ec  # 可指定EC编码池

4.2 性能调优参数

mountOptions:
  - discard           # 启用TRIM
  - noatime           # 禁用访问时间记录
parameters:
  mounter: rbd-nbd    # 替代内核rbd（需安装nbd驱动）
  bs: 4096            # 块大小调整

5. 验证与排错

5.1 测试PVC创建

kubectl apply -f - <<EOF
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: ceph-test-pvc
spec:
  storageClassName: ceph-rbd
  accessModes: [ReadWriteOnce]
  resources:
    requests:
      storage: 10Gi
EOF

5.2 常见错误处理

错误现象	解决方案
rbd: image not found	检查Pool是否存在写权限
connection timeout	验证网络防火墙规则和Mon节点状态
missing ceph.conf	在节点/etc/ceph/下放置配置文件

6. 生产环境建议

1. 监控集成：通过Ceph Dashboard或Prometheus监控RBD使用情况
2. 备份策略：结合rbd snap create和rbd export实现定时备份
3. 权限控制：使用独立用户而非admin，通过ceph auth caps限制权限

7. 结语

通过本文的配置，Rancher可充分利用Ceph-RBD的分布式特性，为Kubernetes工作负载提供企业级存储服务。建议定期检查Ceph集群健康状态，并关注RBD CSI驱动版本的更新。