← 返回课程目录 · 加餐课 · 建议用时 10 分钟 · 完成入门六课后阅读

单机 GPU 运维速查

把你在 Linux 主机运维上的肌肉记忆平移到 GPU 上——命令对照、三个必踩的坑、一套可照抄的健康检查。

一、命令对照表:你会的 × GPU 的

你在 Linux 上习惯做的GPU 世界的等价命令备注
lscpu 看核数nvidia-smi -q 看卡参数(SM 数、显存、驱动版本)首次接手一台 GPU 机器先跑这个
top / htopnvtop(交互式 TUI,推荐)能看到每进程显存和 SM 占用
systemctl statusnvidia-smi 本身可用 = 驱动正常的最快信号NVIDIA-SMI has failed → 直接进驱动排障流程
dmesg 看硬件报错dmesg | grep -i xidXID 是 GPU 的内核错误码,排障第一线索
Prometheus node-exporterDCGM-Exporter集群级 GPU 监控标准方案

二、三个最容易踩的坑

坑 1 · GPU-Util ≠ 算力利用率。 nvidia-smi 的 GPU-Util 只说明"这段时间有 Kernel 在执行",可能 100 个 SM 只有 1 个在干活。判断真忙假忙要用 DCGM 的 SM Active / DRAM Active,或 Nsight 采样。
坑 2 · 显存占用高 ≠ 有问题。 模型权重、KV Cache 本来就要常驻显存(第 1/3 课);先分清"业务驻留"和"泄漏残留"再动手。
坑 3 · 推理服务突然变慢,往往不是卡坏了。 优先查:同卡进程挤占、PCIe/NVLink 带宽打满、温度降频(nvidia-smi -q | grep -i "gpu current temp")。

三、健康检查最小集(照抄可用)

# 1. 卡都在吗、驱动对吗
nvidia-smi
# 2. 有没有内核级错误
dmesg -T | grep -i xid
# 3. 显存/利用率快照(每 2 秒刷新)
watch -n 2 nvidia-smi
# 4. 谁在用这张卡(Linux)
fuser -v /dev/nvidia*
# 5. 温度与功耗墙(降频排查)
nvidia-smi -q -d TEMPERATURE,POWER
常见 XID 速记
XID 13(非法访存,多为程序 bug)· XID 31(显存越界)· XID 48(双 Bit ECC)· XID 63/64(ECC 页退役)· XID 79(掉总线,多为硬件)· XID 94/95(保留页上限)。完整表见延伸阅读。
集群化之后
单机会看了,下一步是 DCGM-Exporter + Prometheus + Grafana 的集群视图,以及健康检查自动化(L1/L2/L3 三层检查,见延伸阅读)。
延伸阅读(上游硬核版)