不用碰真机器。下面是一台模拟 GPU 服务器的伪终端——三起"生产事故"等你亲手处理。左侧选任务,右侧敲命令,做对了会打 ✅。
GPU2 显存被吃到 79.6GB,新 Pod 调度不上来。诡异的是 nvidia-smi 里"看不到"进程。找到真凶并释放显存。
没有报错、没有重启,就是慢。用户甩锅网络,你怀疑硬件。用内核日志找证据,并让 GPU3 恢复。
业务方喊"GPU0 利用率 97% 要扩容"。先别急着信 nvidia-smi 的数字——看看算力是不是真的被用满了。
help 列出命令 · nvidia-smi / nvidia-smi -q / nvidia-smi -L 显卡状态 ·
dmesg | grep -i xid 内核日志找 XID · fuser -v /dev/nvidia2 查谁在用卡 ·
ps -p PID 查进程 · kill PID 结束进程 ·
smactive 0 看真实算力占用(模拟 DCGM 的 SM Active)·
reset 3 复位 GPU(对应真实命令 nvidia-smi --gpu-reset -i 3)·
tasks 任务状态 · hint 当前任务提示 · clear 清屏