NCCL 是分布式训练的"通信中间件":第 2 课那个环形 AllReduce 就由它在 NVLink/IB 上执行。本页是导读——怎么测、看什么、常见旋钮。
看结果别看 algbw(算法带宽),要看 busbw(总线带宽)——它剔除了环形算法的冗余系数,才能和硬件上限(NVLink 900GB/s / IB 400Gbps×卡数)直接对比。经验判断:单机 busbw 达到 NVLink 上限的 80%+ 算健康;明显低于 50% 就有拓扑/配置问题。
NCCL_P2P_DISABLE、NCCL_IB_DISABLE、NCCL_DEBUG=INFO 是排障三板斧:先看日志选了哪条路径,再谈调优。
🧠 类比:先看路由表,再调拥塞参数。
NCCL 启动时会探测 NVLink/PCIe/IB 拓扑自动选算法(Ring/Tree)。日志里的 "NCCL INFO Channel" 与拓扑不符时优先查 BIOS/NUMA 绑定。
🧠 类比:LB 自动探测后端健康度——探测错了,转发就错。
AllReduce 有固定延迟项;小模型/小梯度时跨机通信占比飙升,扩展效率骤降——先算通信/计算比。
🧠 类比:RPC 打得太碎,延迟吃光收益。
先分清是通信慢还是计算慢:Nsight Systems 时间轴里看 AllReduce kernel 的等待占比;再回到 IB/拓扑层找根因(上一页的检查清单)。
🧠 经典分层排障:应用 → 中间件 → 网络 → 硬件。
NCCL 内部算法选择、channel 划分、与调度器的协同属于深水区,本站不展开——上游有一篇完整的 NCCL 实战指南(基准测试与多节点部署) 以及 理论教程,看完本页后直接去读。运维向读者把 nccl-tests + busbw 对照法练熟即可覆盖 80% 场景。
Q1 · 评估 NCCL 性能优先看哪个指标?
Q2 · 环形 AllReduce 的总通信量随卡数怎么变?
Q3 · NCCL 排障第一步?