← 返回课程目录 · 加餐 · 硬件与互连 · 承接上一页 PCIe/CXL

GPUDirect:绕开 CPU 的三条直通道

P2P(卡对卡)、RDMA(网卡对卡)、Storage(盘对卡)——同一个思想的三种落地:别让 CPU 当二传手。点按钮看数据包赛跑。

一、动手:数据包赛跑

红线 = 要过 CPU 的老路;绿线 = 直通路。看谁先到。

老路:过 CPU(两次拷贝)–

网卡CPU 内存
CPUGPU 显存

直路:GPUDirect RDMA–

网卡GPU 显存
两条路都还没发车。点「同时发送」。

二、三个变体,一张表

P2P 卡对卡

同一台机上两块 GPU 直接互访显存(走 PCIe Switch 或 NVLink),不过 CPU 内存。

🧠 类比:同机房两台机器直连线,不过网关。

RDMA 网卡对卡

远端机器的网卡直接写进本机 GPU 显存——多机训练 AllReduce 的底层高速路(配合 IB/RoCE,见集群章)。

🧠 类比:快递直送仓库月台,不经收发室登记。

Storage 盘对卡

GPUDirect Storage(GDS):存储数据经 DMA 直达显存。模型加载、训练读数据集的大文件场景收益明显。

🧠 类比:数据库直读磁盘页,不经过应用缓冲区。

三、SRE 关心的三件事

怎么确认它在生效

P2P:nvidia-smi topo -m 看卡间拓扑(PIX/PHB/NODE 表示亲疏);NCCL 日志会打印走了哪条路径。GDS:用 gsync/gdsio 基准工具对比开关前后的带宽。

🧠 类比:改了网络策略要 ping/traceroute 验证——这里用拓扑和基准验证。

什么时候收益最大

大块、高频传输(训练数据流、多机通信、模型加载)。小而碎的 I/O 收益有限——直通也有建立成本。

🧠 类比:大文件走 P2P,碎文件批量打包更划算。

四、小测验

Q1 · GPUDirect RDMA 主要省掉了什么?

Q2 · 多机训练里 AllReduce 的高速通信底层通常依赖?

Q3 · 排查"P2P 是否走了最优路径"的第一步?

延伸阅读(上游硬核版)