JD 加分项原文:"定位并解决过具体的训练问题:收敛、拖尾(straggler)、通信开销、OOM,并能讲清排查过程。"——前几课你已经知道训练应该长什么样,这一页讲它坏掉时怎么修:四类事故,每类一条嫌疑链,按顺序排除。SRE 的排障直觉(先定位域、再二分、拿证据说话)在这里全部复用。
🧠 SRE 记忆锚点:这四类对应四个"资源域"——数值域(算错了)、时间域(不齐了)、通信域(送慢了)、空间域(装不下了)。先问"坏在哪个域",再进嫌疑链——和"先看 CPU 还是看内存还是看网络"是同一种肌肉。
| 症状 | 第一嫌疑 | 关键证据 / 命令 | 常见根因 |
|---|---|---|---|
| loss 震荡上升 / NaN | 学习率过大 | loss 曲线形态(wandb / tensorboard) | lr × 10、缺 warmup、fp16 溢出、脏数据 |
| 步长 P99 ≫ P50 | 慢节点 / 拖尾 | 逐卡 SM active 对比(DCGM) | 网卡降速、ECC、邻居进程、dataloader 卡 IO |
| MFU 低且 SM active 低 | 通信拖计算 | busbw 对照法、NCCL_DEBUG=INFO | 跨机走以太网、跨 NVLink 域、bucket 太小 |
| CUDA OOM | 先分"启动炸"还是"训着炸" | torch.cuda.memory_summary() | 模型放不下(ZeRO 档位)、碎片、激活超、计算图泄漏 |
分布式训练里每次都最慢的那个进程/节点——同步式训练(AllReduce 要等最慢者)使整体步速被它锁死。
🧠 类比:车队行军,全队速度 = 最慢那辆车。所以优化平均没用,要找那辆车。
fp16 动态范围小,梯度易下溢/上溢,GradScaler 用放大系数补偿;溢出的 step 会被跳过。日志里大量 skipping step = 放大系数一直在崩。
🧠 类比:信号增益调太大就削波——换 bf16(动态范围大)≈ 换更宽的信道。
grad norm 是训练健康的核心指标:尖峰后接 NaN ≈ 梯度爆炸;clip_grad_norm_(1.0) 给它设上限。
🧠 类比:K8s 的资源 limit——不改变正常路径,只截断异常尖峰。
PyTorch 显存分配器的碎片问题:reserved 高、used 低却 OOM。设 PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True 让段可扩张。
🧠 类比:磁盘碎片整理前先看 free -m 里 cached 那行——显存也有"已分配未使用"。
Q1 · step 耗时 P99 是 P50 的 5 倍,该先查什么?
Q2 · fp16 训练日志大量 "skipping step"、loss scale 一路下调?
Q3 · 训到一半 OOM,但 used 显存不高、reserved 很高?