← 返回课程目录 · 加餐 · 训练框架线 · 承接第 2/6 课与框架地图 · 对应训练侧 JD 加分项

训练作业排障

JD 加分项原文:"定位并解决过具体的训练问题:收敛、拖尾(straggler)、通信开销、OOM,并能讲清排查过程。"——前几课你已经知道训练应该长什么样,这一页讲它坏掉时怎么修:四类事故,每类一条嫌疑链,按顺序排除。SRE 的排障直觉(先定位域、再二分、拿证据说话)在这里全部复用。

一、动手:训练挂了,从哪个症状入手

🧠 SRE 记忆锚点:这四类对应四个"资源域"——数值域(算错了)、时间域(不齐了)、通信域(送慢了)、空间域(装不下了)。先问"坏在哪个域",再进嫌疑链——和"先看 CPU 还是看内存还是看网络"是同一种肌肉。

二、四类事故速查表(面试可背版)

症状第一嫌疑关键证据 / 命令常见根因
loss 震荡上升 / NaN学习率过大loss 曲线形态(wandb / tensorboard)lr × 10、缺 warmup、fp16 溢出、脏数据
步长 P99 ≫ P50慢节点 / 拖尾逐卡 SM active 对比(DCGM)网卡降速、ECC、邻居进程、dataloader 卡 IO
MFU 低且 SM active 低通信拖计算busbw 对照法、NCCL_DEBUG=INFO跨机走以太网、跨 NVLink 域、bucket 太小
CUDA OOM先分"启动炸"还是"训着炸"torch.cuda.memory_summary()模型放不下(ZeRO 档位)、碎片、激活超、计算图泄漏

三、关键词卡

拖尾(Straggler)

分布式训练里每次都最慢的那个进程/节点——同步式训练(AllReduce 要等最慢者)使整体步速被它锁死。

🧠 类比:车队行军,全队速度 = 最慢那辆车。所以优化平均没用,要找那辆车。

loss scale 与 skipped steps

fp16 动态范围小,梯度易下溢/上溢,GradScaler 用放大系数补偿;溢出的 step 会被跳过。日志里大量 skipping step = 放大系数一直在崩。

🧠 类比:信号增益调太大就削波——换 bf16(动态范围大)≈ 换更宽的信道。

梯度范数与裁剪

grad norm 是训练健康的核心指标:尖峰后接 NaN ≈ 梯度爆炸;clip_grad_norm_(1.0) 给它设上限。

🧠 类比:K8s 的资源 limit——不改变正常路径,只截断异常尖峰。

expandable_segments(碎片)

PyTorch 显存分配器的碎片问题:reserved 高、used 低却 OOM。设 PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True 让段可扩张。

🧠 类比:磁盘碎片整理前先看 free -m 里 cached 那行——显存也有"已分配未使用"。

四、小测验

Q1 · step 耗时 P99 是 P50 的 5 倍,该先查什么?

Q2 · fp16 训练日志大量 "skipping step"、loss scale 一路下调?

Q3 · 训到一半 OOM,但 used 显存不高、reserved 很高?

延伸阅读