← 返回课程目录 · 加餐 · 硬件与互连 · 配合第 5 课延迟金字塔使用

PCIe 与 CXL

CPU 和 GPU 之间的"普通公路"。GPU 再快,数据过这条公路就得排队——看清它多窄、以及 CXL 想怎么拓宽它。

一、点一代,看带宽差多少

PCIe x16≈ 16 GB/s(单向)
NVLink 5≈ 900 GB/s 单向(H100,厂商口径)
拷 1 GB 数据到 GPU:PCIe Gen3 单向 ≈ 0.6 s;NVLink 5 ≈ 0.01 s——差着几十倍。

口径:PCIe x16 单向带宽 Gen3≈16 / Gen4≈32 / Gen5≈64 / Gen6≈128 GB/s(协议理论值,实际打 8-9 折)。这就是第 5 课金字塔里"过 PCIe 就掉一个量级"的数字来源。

二、"绕不绕 CPU":一条数据的两种走法

默认走法:CPU 当中转站

网卡 / 磁盘CPU 内存(bounce buffer)
CPU(再拷一次)
GPU 显存

数据先进 CPU 内存、CPU 再搬一次进 GPU:两次拷贝、两次占 CPU、带宽还只有 PCIe。

直通走法:绕开 CPU

网卡 / 磁盘PCIe Switch / P2PGPU 显存

GPUDirect P2P / RDMA / Storage 三兄弟干的就是这件事——下一页细讲。

三、CXL:给"公路"装上内存语义

PCIe 的老问题:它只会"搬数据",不懂"共享内存"。CXL(Compute Express Link)建立在 PCIe 物理层之上,加上了缓存一致性协议——让 CPU 和设备像访问自己内存一样访问对方的内存。

CPU自己的内存不够用
内存扩展设备额外的 512GB 挂进来

为什么 AI 关心它

显存贵且不够:KV Cache 卸载到"CPU 内存/扩展内存"是推理系统的主流玩法(第 3 课),CXL 让这条卸载路径延迟更低、语义更干净。

🧠 类比:给内存不够的机器外接一根"一致性内存条"。

SRE 视角

按内存用(CXL.mem 池化)时,延迟仍高于本地内存一个档位——放"温数据"合适,放热路径要测。

🧠 类比:远端内存池 ≈ 网盘:能放,但别当本地盘跑热数据。

四、小测验

Q1 · PCIe Gen5 x16 单向理论带宽大约是?

Q2 · 没有 GPUDirect 时,网卡数据到 GPU 显存要经过谁?

Q3 · CXL 相对 PCIe 的核心增量是?

延伸阅读(上游硬核版)