Kubernetes(二)—部署集群本地镜像仓库

一、为什么需要本地镜像仓库？

在Kubernetes集群中，容器镜像的存储与分发是核心操作之一。默认情况下，开发者通常将镜像推送至Docker Hub、阿里云容器镜像服务等公共仓库。然而，这种模式存在三大痛点：

1. 网络依赖与延迟：跨国拉取镜像时，网络不稳定导致Pod启动超时，尤其在生产环境中可能引发级联故障。
2. 安全与合规风险：敏感业务镜像存储在第三方平台，存在数据泄露风险，且不符合等保2.0等合规要求。
3. 带宽成本浪费：大规模集群频繁拉取镜像产生高额流量费用，例如某金融客户曾因每月拉取TB级镜像产生数万元成本。

本地镜像仓库通过私有化部署解决上述问题，实现镜像的集中管理、快速分发与安全控制。

二、方案选型：Harbor vs Registry

1. Registry（基础方案）

Docker官方提供的Registry是轻量级镜像仓库，适合小型团队或测试环境。其核心优势在于：

• 零依赖部署：单容器运行，资源占用低（约200MB内存）
• 兼容性强：支持Docker v2协议，与Kubernetes原生集成
• 扩展灵活：可通过Nginx反向代理实现基础认证

部署示例：

# 创建持久化存储目录
mkdir -p /data/registry
# 运行Registry容器
docker run -d \
  -p 5000:5000 \
  --restart=always \
  --name registry \
  -v /data/registry:/var/lib/registry \
  registry:2.8.1

局限性：

• 缺乏Web界面与权限管理
• 不支持镜像扫描与漏洞检测
• 高可用需自行配置（如Keepalived+VIP）

2. Harbor（企业级方案）

Harbor是由CNCF孵化的开源镜像仓库，提供完整的企业级功能：

• 多租户管理：支持项目级权限控制
• 镜像复制：跨集群同步镜像
• 安全扫描：集成Clair进行漏洞检测
• AD/LDAP集成：与企业身份系统对接

部署流程（以v2.7.0为例）：

1. 环境准备：

   • 服务器要求：4核8G以上，磁盘空间根据镜像量规划（建议200GB起）
   • 依赖安装：

     # 安装Docker Compose
     curl -L "https://github.com/docker/compose/releases/download/v2.20.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
     chmod +x /usr/local/bin/docker-compose

2. 安装Harbor：

   # 下载安装包
   wget https://github.com/goharbor/harbor/releases/download/v2.7.0/harbor-online-installer-v2.7.0.tgz
   tar xvf harbor-online-installer-v2.7.0.tgz
   cd harbor
   # 修改配置文件
   cp harbor.yml.tmpl harbor.yml
   vi harbor.yml
   # 关键配置项：
   # hostname: registry.example.com  # 需配置DNS解析
   # http:
   #   port: 80
   # https:  # 生产环境必须启用
   #   certificate: /path/to/cert.pem
   #   private_key: /path/to/key.pem
   # harbor_admin_password: Harbor12345  # 初始密码
   # 执行安装
   ./install.sh

3. 安全加固：

   • 启用HTTPS：通过Let’s Encrypt或自签名证书
   • 配置OAuth2认证：集成GitHub/GitLab等身份提供商
   • 设置镜像保留策略：自动清理过期镜像

三、Kubernetes集群集成

1. 配置节点信任仓库

在所有节点修改/etc/docker/daemon.json，添加insecure-registries（仅测试环境）或配置HTTPS：

{
  "insecure-registries": ["registry.example.com:5000"],
  "registry-mirrors": ["https://registry.example.com"]
}

重启Docker服务：

systemctl restart docker

2. 创建ImagePullSecret

对于需要认证的私有仓库，创建Secret：

kubectl create secret docker-registry regcred \
  --docker-server=registry.example.com \
  --docker-username=admin \
  --docker-password=Harbor12345 \
  --docker-email=admin@example.com

在Pod定义中引用：

spec:
  containers:
  - name: nginx
    image: registry.example.com/library/nginx:latest
  imagePullSecrets:
  - name: regcred

3. 使用Helm Chart部署（可选）

对于自动化部署，可使用Harbor官方Helm Chart：

helm repo add harbor https://helm.goharbor.io
helm install harbor harbor/harbor \
  --set expose.type=nodePort \
  --set expose.nodePort.ports.http.nodePort=30002

四、运维与监控

1. 日常维护

• 镜像清理：通过Harbor API或CLI删除无用镜像

  # 使用Harbor CLI
  docker run -it --rm goharbor/harbor-cli:v2.7.0 \
    delete-project --project-name obsolete-project

• 日志分析：配置ELK收集Registry访问日志
• 备份策略：定期备份Harbor数据库（PostgreSQL）与存储目录

2. 监控指标

通过Prometheus采集关键指标：

• 镜像推送/拉取速率
• 存储空间使用率
• 扫描任务队列深度

示例Grafana看板配置：

# Prometheus配置片段
- job_name: 'harbor'
  static_configs:
  - targets: ['harbor-core:8000']
    labels:
      instance: 'harbor-prod'

五、高可用架构设计

对于生产环境，推荐以下架构：

1. 多节点部署：

   • Harbor组件拆分（Core/JobService/Database分离）
   • 使用NFS/Ceph共享存储

2. 灾备方案：

   • 跨数据中心镜像复制
   • 定期数据库冷备

3. 负载均衡：

   upstream harbor {
     server harbor1.example.com:80;
     server harbor2.example.com:80;
   }
   server {
     listen 80;
     location / {
       proxy_pass http://harbor;
     }
   }

六、常见问题解决

1. 镜像拉取失败：

   • 检查节点/etc/hosts是否包含仓库域名解析
   • 验证ImagePullSecret是否正确挂载

2. Harbor页面无法访问：

   • 检查防火墙规则（默认需要开放80/443/22端口）
   • 查看docker-compose.ps确认所有服务已启动

3. 性能瓶颈：

   • 存储层优化：使用SSD或分布式存储
   • 调整JVM参数（Harbor Core默认Xmx=1024m）

七、进阶实践

1. 镜像签名与验证

通过Notary实现内容信任：

# 初始化Notary服务器
notary server -config notary-server.json &
# 签名镜像
notary add registry.example.com/library/nginx:v1.0.0 example.json
notary sign registry.example.com/library/nginx:v1.0.0

2. 与CI/CD集成

在Jenkinsfile中添加镜像推送阶段：

pipeline {
  agent any
  stages {
    stage('Build & Push') {
      steps {
        script {
          docker.build("registry.example.com/library/app:${env.BUILD_ID}")
          withCredentials([usernamePassword(credentialsId: 'harbor-cred', usernameVariable: 'USER', passwordVariable: 'PASS')]) {
            sh "docker login registry.example.com -u $USER -p $PASS"
            sh "docker push registry.example.com/library/app:${env.BUILD_ID}"
          }
        }
      }
    }
  }
}

八、总结

部署本地镜像仓库是Kubernetes集群迈向生产环境的关键步骤。对于中小团队，Registry方案可快速验证；而企业级场景下，Harbor提供的权限管理、安全扫描等能力不可或缺。实际实施时需重点关注：

1. 存储规划：根据业务增长预留足够空间
2. 安全设计：强制HTTPS、最小权限原则
3. 运维自动化：通过Ansible/Terraform实现基础设施即代码

通过合理的架构设计，本地镜像仓库可将镜像拉取速度提升5-10倍，同时降低60%以上的网络成本，为Kubernetes集群的稳定运行提供坚实基础。