Prometheus+Pushgateway：实现脚本运行状态的高效监控方案

在分布式系统和自动化运维场景中，脚本（如Python、Shell等）作为核心执行单元，其运行状态直接影响业务连续性。然而，传统监控方式（如日志分析、轮询检查）存在实时性差、覆盖不全等问题。Prometheus作为开源监控解决方案，结合Pushgateway组件，可实现脚本运行状态的精准、实时监控。本文将详细阐述如何通过Prometheus+Pushgateway构建脚本监控体系，覆盖原理、配置、实践及优化全流程。

一、为什么选择Prometheus+Pushgateway？

1.1 Prometheus的核心优势

Prometheus采用拉取式（Pull-based）监控模型，通过HTTP协议定期从目标端点采集指标数据，支持多维度数据查询（PromQL）、告警规则配置（Alertmanager）及可视化（Grafana）。其时间序列数据库设计高效存储指标，适合监控高频变化的脚本状态（如执行次数、耗时、错误率）。

1.2 Pushgateway的补足作用

默认情况下，Prometheus要求被监控目标具备HTTP服务能力（如Exporter）。但脚本（尤其是短生命周期任务）通常无法持续暴露指标接口。Pushgateway作为中间代理，允许脚本主动推送指标至固定端点，由Prometheus定期拉取，解决了短任务监控的难题。其典型场景包括：

• 批处理任务：如定时数据清洗脚本，需监控单次执行结果。
• 临时任务：如一次性迁移脚本，需记录执行状态。
• 无服务环境：如Lambda函数，无法长期运行Exporter。

二、Pushgateway工作原理与配置

2.1 Pushgateway核心机制

Pushgateway接收脚本通过HTTP API推送的指标数据，按job和instance标签分组存储。Prometheus通过配置scrape_configs中的static_configs或relabel_configs拉取这些指标，实现与常规Exporter一致的监控逻辑。

2.2 部署与配置步骤

2.2.1 安装Pushgateway

• Docker部署：

  docker run -d -p 9091:9091 prom/pushgateway

• 二进制部署：从GitHub Release下载对应系统版本，解压后运行：

  ./pushgateway

2.2.2 Prometheus配置

在prometheus.yml中添加Pushgateway的抓取任务：

scrape_configs:
  - job_name: 'script_pushgateway'
    static_configs:
      - targets: ['pushgateway:9091']
    metrics_path: '/metrics'
    honor_labels: true  # 保留脚本推送的标签

2.2.3 脚本推送指标示例（Python）

使用prometheus_client库推送指标：

from prometheus_client import CollectorRegistry, Gauge, push_to_gateway
import time
# 初始化指标
registry = CollectorRegistry()
script_duration = Gauge('script_duration_seconds', 'Execution duration', registry=registry)
script_status = Gauge('script_status', 'Exit status (0=success, 1=fail)', registry=registry)
# 模拟脚本执行
start_time = time.time()
try:
    # 模拟业务逻辑
    time.sleep(2)
    script_duration.set(time.time() - start_time)
    script_status.set(0)  # 成功
except Exception as e:
    script_duration.set(time.time() - start_time)
    script_status.set(1)  # 失败
# 推送指标至Pushgateway
push_to_gateway('http://pushgateway:9091', job='data_processing_script', registry=registry)

三、监控指标设计与告警规则

3.1 关键指标设计

指标名称	类型	描述	标签建议
script_duration	Gauge	脚本执行耗时（秒）	job, instance, script
script_status	Gauge	退出状态（0=成功，非0=失败）	同上
script_run_count	Counter	累计执行次数	同上
script_last_success	Gauge	上次成功执行时间戳	同上

3.2 PromQL查询示例

• 统计最近1小时失败脚本：

  sum(increase(script_status{job="data_processing_script"}[1h])) by (script) > 0

• 计算平均执行耗时：

  avg(script_duration{job="data_processing_script"}) by (script)

3.3 Alertmanager告警规则

在alert.rules.yml中定义告警：

groups:
  - name: script_alerts
    rules:
      - alert: ScriptFailure
        expr: script_status{job="data_processing_script"} > 0
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "脚本 {{ $labels.script }} 执行失败"
          description: "实例 {{ $labels.instance }} 最近5分钟内报告失败状态"

四、实践优化与注意事项

4.1 标签设计最佳实践

• 唯一性：确保job+instance+script组合唯一，避免指标覆盖。
• 可读性：使用有意义的标签值（如script="data_cleaning_v2"）。
• 稳定性：避免频繁变更标签，否则会导致历史数据断裂。

4.2 数据清理策略

Pushgateway默认不清理数据，需通过以下方式管理：

• 脚本主动删除：推送时指定grouping_key并调用删除API：

  from prometheus_client import delete_from_gateway
  delete_from_gateway('http://pushgateway:9091', job='data_processing_script')

• Prometheus配置：通过scrape_configs中的metric_relabel_configs过滤过期指标。

4.3 高可用方案

• Pushgateway集群：部署多实例，通过Nginx负载均衡（需注意指标推送的一致性）。
• 持久化存储：启动Pushgateway时指定--persistence.file参数，将数据持久化至磁盘。

五、实际应用案例

5.1 案例：ETL脚本监控

场景：每日凌晨3点执行的ETL脚本需监控：

• 是否按时启动。
• 单步耗时是否超阈值。
• 最终数据量是否符合预期。

实现：

1. 脚本在关键步骤推送指标：

   # 步骤1：数据抽取
   start_extract = time.time()
   # ...抽取逻辑...
   extract_duration = time.time() - start_extract
   push_to_gateway('http://pushgateway:9091', job='etl_script', 
                  registry=CollectorRegistry(metrics=[
                      Gauge('etl_extract_duration', 'Extract step duration', registry=registry).set(extract_duration),
                      Gauge('etl_records_processed', 'Processed records', registry=registry).set(10000)
                  ]))

2. Prometheus中配置告警：

   absent(etl_extract_duration{job="etl_script"} offset 1h)  # 未按时执行

5.2 案例：Cron作业监控

场景：监控Cron调度的备份脚本是否成功执行。

实现：

1. 修改Cron任务，在脚本后追加推送逻辑：

   #!/bin/bash
   /path/to/backup_script.sh && echo "0" || echo "1" > /tmp/backup_status
   python3 /path/to/push_metrics.py $(cat /tmp/backup_status)

2. push_metrics.py内容：

   import sys
   from prometheus_client import Gauge, push_to_gateway
   status = int(sys.argv[1])
   registry = CollectorRegistry()
   Gauge('backup_status', 'Exit status', registry=registry).set(status)
   push_to_gateway('http://pushgateway:9091', job='cron_backup', registry=registry)

六、总结与展望

Prometheus结合Pushgateway为脚本监控提供了灵活、高效的解决方案，尤其适合短生命周期任务的监控需求。通过合理设计指标、配置告警规则及优化推送逻辑，可实现从执行状态到业务影响的全面监控。未来，随着eBPF技术的发展，可探索将脚本监控与系统级指标（如CPU、内存）关联分析，进一步提升故障定位效率。

行动建议：

1. 优先在核心业务脚本中试点，逐步扩展至全量脚本。
2. 结合Grafana构建统一监控看板，集中展示脚本状态。
3. 定期审查指标设计，删除无用指标以降低存储开销。