← 返回课程目录 · 实操实验室 · 完成加餐「单机 GPU 运维速查」后体验

GPU 排障模拟器

不用碰真机器。下面是一台模拟 GPU 服务器的伪终端——三起"生产事故"等你亲手处理。左侧选任务,右侧敲命令,做对了会打 ✅。

事故 1 · 推理服务突然起不来 ⬜

GPU2 显存被吃到 79.6GB,新 Pod 调度不上来。诡异的是 nvidia-smi 里"看不到"进程。找到真凶并释放显存。

事故 2 · 训练作业莫名变慢 ⬜

没有报错、没有重启,就是慢。用户甩锅网络,你怀疑硬件。用内核日志找证据,并让 GPU3 恢复。

事故 3 · "GPU 快跑满了"的求救 ⬜

业务方喊"GPU0 利用率 97% 要扩容"。先别急着信 nvidia-smi 的数字——看看算力是不是真的被用满了。

 sre@gpu-node01: ~  (模拟终端)
sre@gpu-node01:~$
可用命令(真实语法 + 少量模拟器内置命令):

help 列出命令 · nvidia-smi / nvidia-smi -q / nvidia-smi -L 显卡状态 · dmesg | grep -i xid 内核日志找 XID · fuser -v /dev/nvidia2 查谁在用卡 · ps -p PID 查进程 · kill PID 结束进程 · smactive 0 看真实算力占用(模拟 DCGM 的 SM Active)· reset 3 复位 GPU(对应真实命令 nvidia-smi --gpu-reset -i 3)· tasks 任务状态 · hint 当前任务提示 · clear 清屏
与现实的关系:本模拟器的输出格式参照真实 nvidia-smi / dmesg 简化而来;三起事故的排查思路(fuser 找隐形进程 → XID 日志定位硬件 → SM Active 识破假忙)就是 GPU 集群健康检查 与 驱动故障速查 的日常。有真机后,直接照着敲。