logo

开发者热搜

Python实现系统性能监控：获取基础参数并写入文件全攻略

作者：carzy2025.09.25 23:04浏览量：0

简介：本文详细介绍如何使用Python获取系统基础性能参数（CPU、内存、磁盘、网络等），并通过代码示例演示将数据结构化写入文件，适用于系统监控、性能分析等场景。

Python实现系统性能监控：获取基础参数并写入文件全攻略

一、引言：系统性能监控的重要性

在IT运维、开发调试和性能优化场景中，实时获取系统基础性能参数是关键需求。无论是监控服务器运行状态、分析程序资源占用，还是构建自动化运维系统，都需要准确获取CPU使用率、内存消耗、磁盘I/O等核心指标。Python凭借其丰富的标准库和第三方工具，能够高效实现这一目标。本文将系统阐述如何使用Python获取系统性能参数，并将数据结构化写入文件，为开发者提供完整的解决方案。

二、核心性能参数解析与获取方法

1. CPU使用率获取

CPU是系统核心资源，其使用率直接反映计算负载。Python可通过psutil库获取：

  1. import psutil
  3. def get_cpu_info():
  4.     # 获取CPU逻辑核心数
  5.     cpu_count = psutil.cpu_count(logical=True)
  6.     # 获取每个CPU核心的使用率（百分比）
  7.     cpu_percent = psutil.cpu_percent(interval=1, percpu=True)
  8.     # 获取全局CPU使用率
  9.     total_cpu_percent = psutil.cpu_percent(interval=1)
  11.     return {
  12.         "cpu_cores": cpu_count,
  13.         "per_cpu_percent": cpu_percent,
  14.         "total_cpu_percent": total_cpu_percent
  15.     }

关键点：

  • interval=1参数确保采样间隔为1秒，提高数据准确性
  • percpu=True可获取每个逻辑核心的独立使用率
  • 适用于多核服务器监控场景

2. 内存信息获取

内存状态直接影响系统稳定性，需关注物理内存、交换分区等：

  1. def get_memory_info():
  2.     mem = psutil.virtual_memory()
  3.     swap = psutil.swap_memory()
  5.     return {
  6.         "total_memory": mem.total,
  7.         "available_memory": mem.available,
  8.         "used_memory": mem.used,
  9.         "memory_percent": mem.percent,
  10.         "swap_total": swap.total,
  11.         "swap_used": swap.used,
  12.         "swap_percent": swap.percent
  13.     }

数据单位处理：

  • 返回值为字节（bytes），建议转换为MB/GB：
    1. def bytes_to_gb(bytes_val):
    2.   return round(bytes_val / (1024 ** 3), 2)

3. 磁盘信息获取

磁盘I/O和空间使用是关键监控项：

  1. def get_disk_info():
  2.     partitions = psutil.disk_partitions()
  3.     disk_usage = []
  4.     for partition in partitions:
  5.         usage = psutil.disk_usage(partition.mountpoint)
  6.         disk_usage.append({
  7.             "device": partition.device,
  8.             "mountpoint": partition.mountpoint,
  9.             "total": usage.total,
  10.             "used": usage.used,
  11.             "free": usage.free,
  12.             "percent": usage.percent
  13.         })
  15.     # 获取磁盘IO统计（读写速度）
  16.     io_counters = psutil.disk_io_counters()
  17.     return {
  18.         "partitions": disk_usage,
  19.         "io_read_bytes": io_counters.read_bytes,
  20.         "io_write_bytes": io_counters.write_bytes
  21.     }

4. 网络信息获取

网络带宽和连接状态监控：

  1. def get_network_info():
  2.     # 获取网络接口信息
  3.     net_io = psutil.net_io_counters()
  4.     # 获取活动连接数
  5.     connections = psutil.net_connections(kind='inet')
  7.     return {
  8.         "bytes_sent": net_io.bytes_sent,
  9.         "bytes_recv": net_io.bytes_recv,
  10.         "active_connections": len(connections)
  11.     }

三、数据结构化与文件写入实现

1. JSON格式写入

推荐使用JSON格式存储性能数据，便于后续解析：

  1. import json
  2. from datetime import datetime
  4. def write_to_json(data, filename="system_performance.json"):
  5.     timestamp = datetime.now().isoformat()
  6.     structured_data = {
  7.         "timestamp": timestamp,
  8.         "performance_data": data
  9.     }
  11.     with open(filename, 'a') as f:  # 追加模式
  12.         json.dump(structured_data, f, indent=4)
  13.         f.write("\n")  # 每个记录换行

2. CSV格式写入

适合表格化分析的场景：

  1. import csv
  3. def write_to_csv(data, filename="system_performance.csv"):
  4.     fieldnames = [
  5.         "timestamp", "cpu_percent", "memory_percent", 
  6.         "disk_used_percent", "bytes_sent", "bytes_recv"
  7.     ]
  9.     # 准备单行数据（示例简化）
  10.     row = {
  11.         "timestamp": datetime.now().isoformat(),
  12.         "cpu_percent": data["total_cpu_percent"],
  13.         "memory_percent": data["memory_percent"],
  14.         "disk_used_percent": data["partitions"][0]["percent"],
  15.         "bytes_sent": data["bytes_sent"],
  16.         "bytes_recv": data["bytes_recv"]
  17.     }
  19.     # 写入模式处理
  20.     write_mode = 'a' if os.path.exists(filename) else 'w'
  21.     with open(filename, write_mode, newline='') as f:
  22.         writer = csv.DictWriter(f, fieldnames=fieldnames)
  23.         if write_mode == 'w':
  24.             writer.writeheader()
  25.         writer.writerow(row)

3. 数据库存储方案（扩展）

对于长期监控，建议接入SQLite等轻量级数据库：

  1. import sqlite3
  3. def init_db(db_name="performance.db"):
  4.     conn = sqlite3.connect(db_name)
  5.     c = conn.cursor()
  6.     c.execute('''CREATE TABLE IF NOT EXISTS performance
  7.                  (timestamp TEXT, cpu REAL, memory REAL, disk REAL, 
  8.                   net_sent REAL, net_recv REAL)''')
  9.     conn.commit()
  10.     conn.close()
  12. def write_to_db(data, db_name="performance.db"):
  13.     conn = sqlite3.connect(db_name)
  14.     c = conn.cursor()
  15.     c.execute("INSERT INTO performance VALUES (?,?,?,?,?,?)", (
  16.         datetime.now().isoformat(),
  17.         data["total_cpu_percent"],
  18.         data["memory_percent"],
  19.         data["partitions"][0]["percent"],
  20.         data["bytes_sent"],
  21.         data["bytes_recv"]
  22.     ))
  23.     conn.commit()
  24.     conn.close()

四、完整实现示例

  1. import psutil
  2. import json
  3. from datetime import datetime
  4. import os
  6. def collect_system_metrics():
  7.     return {
  8.         "cpu": get_cpu_info(),
  9.         "memory": get_memory_info(),
  10.         "disk": get_disk_info(),
  11.         "network": get_network_info()
  12.     }
  14. def main():
  15.     # 初始化数据库（可选）
  16.     init_db()
  18.     while True:  # 示例循环，实际应考虑退出条件
  19.         metrics = collect_system_metrics()
  21.         # 写入JSON文件
  22.         write_to_json(metrics)
  24.         # 写入CSV（简化版）
  25.         simplified_data = {
  26.             "total_cpu_percent": metrics["cpu"]["total_cpu_percent"],
  27.             "memory_percent": metrics["memory"]["memory_percent"],
  28.             "disk_percent": metrics["disk"]["partitions"][0]["percent"],
  29.             "bytes_sent": metrics["network"]["bytes_sent"],
  30.             "bytes_recv": metrics["network"]["bytes_recv"]
  31.         }
  32.         write_to_csv(simplified_data)
  34.         # 写入数据库
  35.         write_to_db(simplified_data)
  37.         print(f"Metrics collected at {datetime.now()}")
  39. if __name__ == "__main__":
  40.     main()

五、最佳实践与优化建议

  1. 采样频率控制：

    • 生产环境建议每5-60秒采样一次
    • 使用time.sleep()控制循环间隔

  2. 异常处理机制：

    1. try:
    2.  metrics = collect_system_metrics()
    3. except Exception as e:
    4.  print(f"Error collecting metrics: {e}")
    5.  # 可添加邮件/短信告警

  3. 文件轮转策略：

    • 按日期分割文件（如performance_2023-08-01.json）
    • 设置文件大小限制（超过100MB创建新文件）

  4. 性能影响评估：

    • psutil本身消耗极低（<1% CPU）
    • 避免在高负载系统上设置过高采样频率

六、进阶应用场景

  1. 可视化看板：

    • 使用Python的matplotlib或plotly生成趋势图
    • 结合Grafana等工具构建专业监控面板

  2. 异常检测：

    • 设置阈值告警（如CPU持续>90%触发通知）
    • 实现基于历史数据的智能预测

  3. 容器化部署：

    • 将监控脚本打包为Docker容器
    • 使用Kubernetes的CronJob定期执行

七、总结与展望

本文系统介绍了Python获取系统性能参数的核心方法，通过psutil库实现了CPU、内存、磁盘、网络等关键指标的采集，并提供了JSON、CSV、数据库三种存储方案。实际部署时，建议：

  1. 根据监控需求选择合适的数据存储方式
  2. 结合定时任务实现自动化采集
  3. 添加异常处理和告警机制
  4. 定期分析历史数据优化系统配置

未来可扩展方向包括：支持更多操作系统（如Windows/Linux差异处理）、集成Prometheus等监控生态、开发Web界面实时查看数据等。通过完善的性能监控体系，能够显著提升系统稳定性和运维效率。

相关文章推荐

发表评论

最热文章

关于作者

  • 被阅读数
  • 被赞数
  • 被收藏数