← 返回课程目录 · 加餐 · 集群通信 · 承接 IB/RDMA 页与第 2 课 AllReduce 动画

NCCL 调优导读

NCCL 是分布式训练的"通信中间件":第 2 课那个环形 AllReduce 就由它在 NVLink/IB 上执行。本页是导读——怎么测、看什么、常见旋钮。

一、温习:环形 AllReduce 为什么这么设计

8 卡环形:每卡把梯度的 1/8 依次传给下一环。总通信量 2(N-1)/N × 数据量——与卡数几乎无关,这就是环形的优雅之处。点按钮重温流动过程。

二、怎么测:nccl-tests 是第一工具

# 单机 8 卡 allreduce 带宽(总线带宽视角最关键)
./build/all_reduce_perf -b 8 -e 512M -f 2 -g 8
# 双机 16 卡(先确保 IB 通,见上一页)
mpirun -np 16 -H node01:8,node02:8 ./build/all_reduce_perf -b 8 -e 512M -f 2

看结果别看 algbw(算法带宽),要看 busbw(总线带宽)——它剔除了环形算法的冗余系数,才能和硬件上限(NVLink 900GB/s / IB 400Gbps×卡数)直接对比。经验判断:单机 busbw 达到 NVLink 上限的 80%+ 算健康;明显低于 50% 就有拓扑/配置问题。

三、常见旋钮与排查顺序

NCCL_P2P_LEVEL / 环境变量族

NCCL_P2P_DISABLE、NCCL_IB_DISABLE、NCCL_DEBUG=INFO 是排障三板斧:先看日志选了哪条路径,再谈调优。

🧠 类比:先看路由表,再调拥塞参数。

拓扑感知自动选路

NCCL 启动时会探测 NVLink/PCIe/IB 拓扑自动选算法(Ring/Tree)。日志里的 "NCCL INFO Channel" 与拓扑不符时优先查 BIOS/NUMA 绑定。

🧠 类比:LB 自动探测后端健康度——探测错了,转发就错。

通信量小的作业别硬凑多机

AllReduce 有固定延迟项;小模型/小梯度时跨机通信占比飙升,扩展效率骤降——先算通信/计算比。

🧠 类比:RPC 打得太碎,延迟吃光收益。

定位"变慢"的思路

先分清是通信慢还是计算慢:Nsight Systems 时间轴里看 AllReduce kernel 的等待占比;再回到 IB/拓扑层找根因(上一页的检查清单)。

🧠 经典分层排障:应用 → 中间件 → 网络 → 硬件。

四、导读边界声明

NCCL 内部算法选择、channel 划分、与调度器的协同属于深水区,本站不展开——上游有一篇完整的 NCCL 实战指南(基准测试与多节点部署) 以及 理论教程,看完本页后直接去读。运维向读者把 nccl-tests + busbw 对照法练熟即可覆盖 80% 场景。

五、小测验

Q1 · 评估 NCCL 性能优先看哪个指标?

Q2 · 环形 AllReduce 的总通信量随卡数怎么变?

Q3 · NCCL 排障第一步?

延伸阅读(上游硬核版)