把你在 Linux 主机运维上的肌肉记忆平移到 GPU 上——命令对照、三个必踩的坑、一套可照抄的健康检查。
| 你在 Linux 上习惯做的 | GPU 世界的等价命令 | 备注 |
|---|---|---|
lscpu 看核数 | nvidia-smi -q 看卡参数(SM 数、显存、驱动版本) | 首次接手一台 GPU 机器先跑这个 |
top / htop | nvtop(交互式 TUI,推荐) | 能看到每进程显存和 SM 占用 |
systemctl status | nvidia-smi 本身可用 = 驱动正常的最快信号 | NVIDIA-SMI has failed → 直接进驱动排障流程 |
dmesg 看硬件报错 | dmesg | grep -i xid | XID 是 GPU 的内核错误码,排障第一线索 |
| Prometheus node-exporter | DCGM-Exporter | 集群级 GPU 监控标准方案 |
nvidia-smi -q | grep -i "gpu current temp")。# 1. 卡都在吗、驱动对吗
nvidia-smi
# 2. 有没有内核级错误
dmesg -T | grep -i xid
# 3. 显存/利用率快照(每 2 秒刷新)
watch -n 2 nvidia-smi
# 4. 谁在用这张卡(Linux)
fuser -v /dev/nvidia*
# 5. 温度与功耗墙(降频排查)
nvidia-smi -q -d TEMPERATURE,POWER