这是你的主场:Pod、调度、亲和性你都熟。GPU 只是多了一种"扩展资源",但它的独占、昂贵、易故障,催生了几个 K8s 原生没有的新问题。
| 你熟悉的(CPU 世界) | GPU 世界的对应物 | 关键差别 |
|---|---|---|
| CPU requests / limits | nvidia.com/gpu: 1 整卡申请;细粒度靠 MIG / HAMi 切分 | GPU 默认无硬隔离:不切分时一个进程能吃光整卡显存,把别人挤 OOM |
| Node NotReady / 硬件故障 | XID 错误、ECC 不可修复错误 | GPU 有自己的错误码体系(XID),掉卡常表现为"作业莫名变慢"而非节点下线 |
| liveness / readiness probe | nvidia-smi / DCGM 健康检查 | DCGM-Exporter + Prometheus 是 GPU 集群的标准监控栈 |
| HPA 按负载扩容 | 推理服务按 TTFT / QPS 扩缩容 | 扩容单位是" expensive GPU",冷启动要拉镜像 + 加载几十 GB 权重 |
| Deployment 滚动更新 | 训练作业 Gang Scheduling(Volcano / Kueue) | 8 卡训练作业要么 8 卡全到位,要么一个都别起——否则先起的卡干等,白烧钱 |
| cgroup 限制 CPU / 内存 | GPU 没有原生 cgroup 等价物 | 所以才有 HAMi / vGPU 这一层"补课"(仓库 gpu_manager 专题) |
| PV / CSI 存储编排 | Device Plugin 管理算力编排 | 同一个思路:kubelet 通过 gRPC 找"插件"要资源 |
| OOMKilled | CUDA out of memory | 进程不会被杀,而是报错退出;显存碎片也能导致"明明够却分配失败" |
现象:任务报 OOM 退出;nvidia-smi 显示显存被别的进程占着。
定位:先查"谁占着"(fuser -v /dev/nvidia*),再看是否该上切分/配额。
现象:作业报错、dmesg 出现 XID 79,卡"掉了"。
典型处置:重置 GPU(nvidia-smi --gpu-reset)或重启节点;频繁出现则报硬件。
现象:DCGM 报 Remapped Rows / Uncorrectable ECC,作业反复失败。
这是显存硬件损伤信号:摘除节点、报修换卡,别让作业再往坏卡上调度。
现象:nvidia-smi 直接不可用,"NVIDIA-SMI has failed"。
查内核升级后模块没重编、驱动版本与容器内 libcuda 不匹配(版本对齐表见仓库)。
Q1 · Pod 里的 nvidia.com/gpu: 1 这个资源,是谁上报给 K8s 的?
Q2 · 8 卡训练作业为什么需要 Gang Scheduling?
Q3 · 整卡 / 时间切片 / MPS / MIG 四种共享方式里,隔离性最强的是?