查看服务器GPU：从基础到进阶的全面指南

在深度学习、高性能计算（HPC）和图形渲染等领域，服务器GPU的性能与状态直接影响任务效率与成本。无论是开发调试、资源调度还是故障排查，查看服务器GPU都是运维与开发人员的核心操作之一。本文将从命令行工具、监控软件、编程接口三个维度，系统介绍如何高效查看服务器GPU的状态与性能指标，并提供实际场景中的操作建议。

一、命令行工具：快速获取GPU基础信息

命令行工具是查看服务器GPU最直接的方式，尤其适合远程服务器或无图形界面的环境。以下是两种最常用的工具：

1. nvidia-smi：NVIDIA GPU的“瑞士军刀”

nvidia-smi（NVIDIA System Management Interface）是NVIDIA官方提供的命令行工具，可实时显示GPU的利用率、温度、功耗、显存占用等关键指标。

基本用法：

nvidia-smi

输出示例：

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.85.12    Driver Version: 525.85.12    CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  NVIDIA A100...  On   | 00000000:1A:00.0 Off |                    0 |
| N/A   34C    P0    50W / 400W |   1024MiB / 40960MiB |     10%      Default |
+-------------------------------+----------------------+----------------------+

关键字段解析：

• GPU-Util：GPU计算核心的利用率（0%-100%），反映当前负载。
• Memory-Usage：显存占用情况，需关注是否接近上限。
• Temp：GPU温度，过高可能导致降频。
• Pwr:Usage/Cap：功耗与最大功耗限制，影响性能与电费成本。

高级用法：

• 持续监控：通过watch命令实现动态刷新（例如每2秒刷新一次）：

  watch -n 2 nvidia-smi

• 指定GPU：若服务器有多个GPU，可通过-i参数查看特定GPU（如GPU 0）：

  nvidia-smi -i 0

• 日志记录：将输出重定向到文件，便于后续分析：

  nvidia-smi -l 5 > gpu_log.txt  # 每5秒记录一次

2. rocm-smi：AMD GPU的监控工具

对于AMD GPU，可使用rocm-smi工具（需安装ROCm驱动）：

rocm-smi --showuse

输出示例：

GPU[0]        : 100%
GPU[1]        : 45%

该工具支持查看GPU利用率、温度、风扇转速等，但功能相对nvidia-smi较少。

二、监控软件：可视化与长期追踪

命令行工具适合快速检查，而监控软件则能提供历史数据、报警功能和更直观的可视化界面，尤其适合长期运维。

1. Prometheus + Grafana：开源监控方案

Prometheus可采集GPU指标（如通过node_exporter或自定义Exporter），Grafana则负责可视化。

配置步骤：

1. 安装Prometheus：下载并配置prometheus.yml，添加GPU指标采集目标。
2. 部署GPU Exporter：
   • NVIDIA GPU：使用prometheus-nvidia-exporter。
   • AMD GPU：自定义脚本或使用rocm-exporter。
3. 配置Grafana：导入GPU监控模板（如NVIDIA GPU Dashboard），创建仪表盘。

优势：

• 支持历史数据查询与对比。
• 可设置阈值报警（如GPU温度超过80℃时通知）。
• 跨服务器集中监控。

2. NVIDIA DCGM：企业级监控

NVIDIA Data Center GPU Manager（DCGM）提供更详细的监控功能，包括：

• 细粒度指标：如SM（流式多处理器）利用率、PCIe带宽使用率。
• 健康检查：检测GPU错误（如ECC错误）。
• 集成到Kubernetes：通过DCGM Exporter与Prometheus/Grafana集成。

安装与使用：

# 安装DCGM
sudo apt-get install datacenter-gpu-manager
# 启动服务
sudo systemctl start dcgm-exporter

三、编程接口：自动化与集成

对于需要编程控制或集成到现有系统的场景，可通过API或SDK获取GPU信息。

1. NVIDIA Management Library（NVML）

NVML是NVIDIA提供的C/C++库，可通过编程获取GPU状态。Python可通过pynvml封装库调用。

示例代码：

from pynvml import *
nvmlInit()
handle = nvmlDeviceGetHandleByIndex(0)  # 获取GPU 0的句柄
# 获取GPU名称
name = nvmlDeviceGetName(handle)
print(f"GPU Name: {name.decode('utf-8')}")
# 获取利用率
utilization = nvmlDeviceGetUtilizationRates(handle)
print(f"GPU Utilization: {utilization.gpu}%")
# 获取显存占用
mem_info = nvmlDeviceGetMemoryInfo(handle)
used_mb = mem_info.used // (1024**2)
total_mb = mem_info.total // (1024**2)
print(f"Memory Used: {used_mb}/{total_mb} MB")
nvmlShutdown()

应用场景：

• 自动化资源调度：根据GPU利用率动态分配任务。
• 异常检测：当GPU温度或功耗超过阈值时触发告警。

2. ROCm的HIP API

AMD ROCm平台提供HIP API，可通过编程获取GPU信息，但生态成熟度低于NVIDIA。

四、实际场景中的操作建议

1. 开发调试阶段

• 频繁检查显存：使用nvidia-smi -q -d MEMORY查看显存详细占用，避免CUDA out of memory错误。
• 监控温度：高温可能导致性能下降，需确保散热良好。

2. 集群运维阶段

• 集中监控：通过Prometheus+Grafana或DCGM实现多服务器GPU状态可视化。
• 设置报警：对关键指标（如GPU利用率持续100%、温度超过85℃）设置邮件或短信报警。

3. 故障排查阶段

• 检查ECC错误：通过nvidia-smi -q -d ECC查看显存错误计数，高错误率可能表明硬件故障。
• 对比历史数据：利用监控软件的历史记录，分析故障发生前后的GPU状态变化。

五、总结与展望

查看服务器GPU是运维与开发人员的必备技能，从命令行工具的快速检查，到监控软件的长期追踪，再到编程接口的自动化集成，不同场景需选择合适的方法。未来，随着GPU算力的不断提升和异构计算的普及，GPU监控将向更智能化、自动化的方向发展，例如基于AI的预测性维护、动态资源优化等。掌握本文介绍的方法，将帮助您更高效地管理服务器GPU资源，提升任务效率与系统稳定性。