P2P(卡对卡)、RDMA(网卡对卡)、Storage(盘对卡)——同一个思想的三种落地:别让 CPU 当二传手。点按钮看数据包赛跑。
同一台机上两块 GPU 直接互访显存(走 PCIe Switch 或 NVLink),不过 CPU 内存。
🧠 类比:同机房两台机器直连线,不过网关。
远端机器的网卡直接写进本机 GPU 显存——多机训练 AllReduce 的底层高速路(配合 IB/RoCE,见集群章)。
🧠 类比:快递直送仓库月台,不经收发室登记。
GPUDirect Storage(GDS):存储数据经 DMA 直达显存。模型加载、训练读数据集的大文件场景收益明显。
🧠 类比:数据库直读磁盘页,不经过应用缓冲区。
P2P:nvidia-smi topo -m 看卡间拓扑(PIX/PHB/NODE 表示亲疏);NCCL 日志会打印走了哪条路径。GDS:用 gsync/gdsio 基准工具对比开关前后的带宽。
🧠 类比:改了网络策略要 ping/traceroute 验证——这里用拓扑和基准验证。
大块、高频传输(训练数据流、多机通信、模型加载)。小而碎的 I/O 收益有限——直通也有建立成本。
🧠 类比:大文件走 P2P,碎文件批量打包更划算。
Q1 · GPUDirect RDMA 主要省掉了什么?
Q2 · 多机训练里 AllReduce 的高速通信底层通常依赖?
Q3 · 排查"P2P 是否走了最优路径"的第一步?