← 返回课程目录 · 第 4 课 / 共 14 课 · 建议用时 12 分钟

K8s 上跑 GPU

这是你的主场:Pod、调度、亲和性你都熟。GPU 只是多了一种"扩展资源",但它的独占、昂贵、易故障,催生了几个 K8s 原生没有的新问题。

一、一个 GPU Pod 的完整旅程(6 步)

点「下一步」,左边走流程,右边看 YAML 里谁在起作用。

二、一张卡怎么被多个 Pod 共用:四种模式

1 × GPU(如 H100 80GB)

三、SRE 概念映射表:你会的 × 你要学的

你熟悉的(CPU 世界)GPU 世界的对应物关键差别
CPU requests / limitsnvidia.com/gpu: 1 整卡申请;细粒度靠 MIG / HAMi 切分GPU 默认无硬隔离:不切分时一个进程能吃光整卡显存,把别人挤 OOM
Node NotReady / 硬件故障XID 错误、ECC 不可修复错误GPU 有自己的错误码体系(XID),掉卡常表现为"作业莫名变慢"而非节点下线
liveness / readiness probenvidia-smi / DCGM 健康检查DCGM-Exporter + Prometheus 是 GPU 集群的标准监控栈
HPA 按负载扩容推理服务按 TTFT / QPS 扩缩容扩容单位是" expensive GPU",冷启动要拉镜像 + 加载几十 GB 权重
Deployment 滚动更新训练作业 Gang Scheduling(Volcano / Kueue)8 卡训练作业要么 8 卡全到位,要么一个都别起——否则先起的卡干等,白烧钱
cgroup 限制 CPU / 内存GPU 没有原生 cgroup 等价物所以才有 HAMi / vGPU 这一层"补课"(仓库 gpu_manager 专题)
PV / CSI 存储编排Device Plugin 管理算力编排同一个思路:kubelet 通过 gRPC 找"插件"要资源
OOMKilledCUDA out of memory进程不会被杀,而是报错退出;显存碎片也能导致"明明够却分配失败"

四、故障速查(SRE 视角四连卡)

CUDA out of memory

现象:任务报 OOM 退出;nvidia-smi 显示显存被别的进程占着。

定位:先查"谁占着"(fuser -v /dev/nvidia*),再看是否该上切分/配额。

XID 79(GPU 掉总线)

现象:作业报错、dmesg 出现 XID 79,卡"掉了"。

典型处置:重置 GPU(nvidia-smi --gpu-reset)或重启节点;频繁出现则报硬件。

ECC 不可修复错误

现象:DCGM 报 Remapped Rows / Uncorrectable ECC,作业反复失败。

这是显存硬件损伤信号:摘除节点、报修换卡,别让作业再往坏卡上调度。

驱动 / 内核模块不匹配

现象:nvidia-smi 直接不可用,"NVIDIA-SMI has failed"。

查内核升级后模块没重编、驱动版本与容器内 libcuda 不匹配(版本对齐表见仓库)。

五、小测验

Q1 · Pod 里的 nvidia.com/gpu: 1 这个资源,是谁上报给 K8s 的?

Q2 · 8 卡训练作业为什么需要 Gang Scheduling?

Q3 · 整卡 / 时间切片 / MPS / MIG 四种共享方式里,隔离性最强的是?

延伸阅读(本仓库硬核版)