Prometheus 普罗米修斯从搭建到使用详解

一、Prometheus 简介与核心优势

Prometheus 是一款由 SoundCloud 开源的监控告警系统，自 2012 年诞生以来，凭借其强大的数据模型、灵活的查询语言（PromQL）和高效的存储机制，已成为云原生时代监控领域的标准工具。其核心设计理念围绕“多维度数据采集”和“实时告警”展开，尤其适合动态环境（如 Kubernetes）的监控需求。

核心优势：

1. 多维度数据模型：通过时间序列数据（metric name + labels）实现精准监控。
2. Pull 模式采集：主动拉取目标数据，简化目标配置。
3. PromQL 查询语言：支持聚合、过滤和预测等复杂操作。
4. 服务发现集成：天然支持 Kubernetes、Consul 等动态服务发现机制。
5. 生态丰富：与 Grafana、Alertmanager 等工具无缝集成。

二、环境准备与安装部署

1. 硬件与软件要求

• 硬件：建议 4C8G 以上配置（生产环境），存储空间根据数据保留策略调整。
• 软件：Linux/Unix 系统（推荐 CentOS 7+ 或 Ubuntu 20.04+），Docker 或二进制包。

2. 单机部署方案（快速入门）

方法一：二进制包安装

# 下载并解压
wget https://github.com/prometheus/prometheus/releases/download/v2.47.2/prometheus-2.47.2.linux-amd64.tar.gz
tar -xzf prometheus-*.tar.gz
cd prometheus-*
# 修改配置文件
cat > prometheus.yml <<EOF
global:
  scrape_interval: 15s
scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']
EOF
# 启动服务
./prometheus --config.file=prometheus.yml

方法二：Docker 容器化部署

docker run -d --name prometheus \
  -p 9090:9090 \
  -v /path/to/prometheus.yml:/etc/prometheus/prometheus.yml \
  prom/prometheus:v2.47.2

3. 集群化部署方案（高可用）

对于生产环境，推荐采用以下架构：

• 数据分片：通过 Thanos 或 Cortex 实现长期存储与全局视图。
• 多实例部署：使用 Nginx 反向代理实现负载均衡。
• 持久化存储：配置远程存储（如 InfluxDB、S3）。

示例：Thanos 集成

# prometheus.yml 配置远程写入
remote_write:
  - url: "http://thanos-receiver:19291/api/v1/receive"

三、核心功能配置与实战

1. 数据采集配置

静态目标配置

scrape_configs:
  - job_name: 'node-exporter'
    static_configs:
      - targets: ['192.168.1.100:9100', '192.168.1.101:9100']
        labels:
          cluster: 'prod'

动态服务发现（Kubernetes）

scrape_configs:
  - job_name: 'kubernetes-pods'
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
        action: keep
        regex: true

2. 告警规则配置

在 prometheus.yml 中引用告警规则文件：

rule_files:
  - 'alert.rules.yml'

示例告警规则：

groups:
  - name: node-alerts
    rules:
      - alert: HighCPUUsage
        expr: 100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80
        for: 10m
        labels:
          severity: critical
        annotations:
          summary: "High CPU usage on {{ $labels.instance }}"
          description: "CPU usage is above 80% for more than 10 minutes."

3. 与 Alertmanager 集成

配置 Alertmanager

# alertmanager.yml
route:
  group_by: ['alertname']
  receiver: 'email'
receivers:
  - name: 'email'
    email_configs:
      - to: 'admin@example.com'
        from: 'alert@example.com'
        smarthost: smtp.example.com:587
        auth_username: 'user'
        auth_password: 'pass'

启动 Alertmanager

docker run -d --name alertmanager \
  -p 9093:9093 \
  -v /path/to/alertmanager.yml:/etc/alertmanager/alertmanager.yml \
  prom/alertmanager:v0.26.0

四、数据可视化与 Grafana 集成

1. Grafana 仪表盘配置

1. 添加 Prometheus 数据源：

   • 访问 Grafana（默认端口 3000）
   • 进入 Configuration > Data Sources
   • 填写 Prometheus 地址（如 http://prometheus:9090）

2. 导入官方仪表盘：

   • 搜索 ID 1860（Node Exporter 全景仪表盘）
   • 或手动创建面板，使用 PromQL 查询示例：

     sum(rate(node_cpu_seconds_total{mode="user"}[5m])) by (instance)

2. 自定义仪表盘技巧

• 变量动态过滤：通过 label_values(job) 实现动态下拉菜单。
• 阈值告警标记：在面板设置中配置 Value mappings。
• 多维度钻取：结合 instance 和 job 标签进行交互式分析。

五、常见问题与优化建议

1. 性能优化

• 数据压缩：启用 TSDB 压缩（--storage.tsdb.retention.compression.enabled=true）
• 采样间隔调整：对低优先级指标延长采集间隔（scrape_interval: 30s）
• 资源限制：通过 --web.enable-admin-api 监控 Prometheus 自身指标。

2. 故障排查

• 目标不可达：检查 up{job="<job-name>"} == 0
• 内存泄漏：监控 process_resident_memory_bytes
• 查询超时：优化 PromQL 或拆分复杂查询。

3. 安全加固

• 认证授权：通过 Nginx 或 OAuth2 Proxy 实现访问控制。
• 数据加密：启用 TLS（--web.config.file 配置证书）。
• 审计日志：记录敏感操作（如规则修改）。

六、进阶实践

1. 自定义 Exporter 开发

使用 Go 编写 Node Exporter 风格的指标：

package main
import (
    "net/http"
    "github.com/prometheus/client_golang/prometheus"
    "github.com/prometheus/client_golang/prometheus/promhttp"
)
var (
    customMetric = prometheus.NewGauge(prometheus.GaugeOpts{
        Name: "custom_metric_value",
        Help: "Example of a custom metric",
    })
)
func init() {
    prometheus.MustRegister(customMetric)
    customMetric.Set(42) // 设置初始值
}
func main() {
    http.Handle("/metrics", promhttp.Handler())
    http.ListenAndServe(":8080", nil)
}

2. 结合 Loki 实现日志监控

通过 Promtail 采集日志并关联指标：

# promtail-config.yml
scrape_configs:
  - job_name: system
    static_configs:
      - targets: [localhost]
        labels:
          job: varlogs
          __path__: /var/log/*log

七、总结与最佳实践

1. 监控分层设计：

   • 基础设施层：Node Exporter
   • 服务层：自定义 Exporter
   • 业务层：通过客户端库推送指标

2. 告警策略原则：

   • 避免“告警风暴”：设置合理的 for 持续时间
   • 优先级分层：P0（系统崩溃）、P1（业务降级）、P2（性能劣化）

3. 容量规划：

   • 预估指标数量：每个 Node Exporter 约 2000 个时间序列
   • 存储计算：保留天数 × 指标数 × 采样点数

通过以上步骤，您已掌握 Prometheus 从部署到高级使用的完整流程。建议结合实际业务场景持续优化监控策略，并关注社区更新（如 Prometheus 3.0 的新特性）。