← 返回课程目录 · 加餐 · 硬件与互连 · 承接 GPUDirect

NVLink / NVSwitch

把机内 8 张卡连成"一张大卡"的总线:TP/EP 这类通信密集并行的物理前提。点按钮看两种拓扑的差别。

一、动手:直连 vs 交换拓扑

8 卡 DGX 式机柜:卡两两直连成 4 组,组间靠 NVSwitch 交换——任意两卡都通,但路径有亲疏(nvidia-smi topo -m 里的 NV# 就是这个含义)。

二、代际带宽(厂商口径)

NVLink 3(A100)600 GB/s 单向
NVLink 4(H100)900 GB/s 单向
NVLink 5(B200)1.8 TB/s 单向

对比第 5 课金字塔:NVLink 5 ≈ 28 倍于 PCIe Gen5 x16(64 GB/s)。每代带宽大约翻倍,是 TP 扩展性的硬件天花板。

三、关键词卡

NVLink

卡对卡的高速直连总线,替代 PCIe 承担 GPU 间通信。

🧠 机内高速专线,比"普通公路"(PCIe)宽一个量级。

NVSwitch

NVLink 的交换机:让机内(乃至机架内)任意两卡全速互联,不必两两拉线。

🧠 从"两两拉专线"升级到"全部接交换机"。

NVLink 域

被 NVLink/NVSwitch 连成一体的卡的范围(单机 8 卡;GB300 NVL72 是 72 卡机架级)。

🧠 调度时的"亲和域":TP 的 Pod 要尽量放同一个域内(第 6 课)。

nvidia-smi topo -m

运维第一命令:打印卡间拓扑矩阵(NV18/NV12/PIX/PHB/NODE/SYS),排多卡性能问题时先看它。

🧠 机内"网络接线图":谁和谁走得近一目了然。

四、小测验

Q1 · NVSwitch 解决的问题是什么?

Q2 · TP(张量并行)尽量不跨机器的根本原因是?

Q3 · 拿到一台新 8 卡机器,查看卡间拓扑的命令是?

延伸阅读(上游硬核版)