← 返回课程目录 · 第 5 课 / 共 14 课 · 建议用时 8 分钟

AI 基础设施延迟金字塔

排障时所有的"慢",最终都能落到这张图上的一层:算不动、搬不动,还是送不到。点每一层,看它的数字和它"逼出来"的系统设计。

一、点一层,看一层

条宽为对数刻度(每往上一层大约慢 3–10 倍);延迟为量级示意,具体随芯片代际变化。

二、自己算:读一次权重要多久

从 HBM 显存读取 14 GB(约一个 7B 模型的 FP16 权重)
@ H100 带宽 3.35 TB/s → 需要 4.2 ms

这就是第 3 课 Decode 每步耗时的物理下限:每个生成 token 都要重读全部权重 → 单请求理论上限约 240 token/s。先撞带宽,不撞算力。

三、金字塔逼出来的三个系统设计

① HBM 带宽是推理瓶颈

Decode 每步重读权重 → 拼带宽不拼算力。于是有了:Continuous Batching(拼车摊薄读权重的钱)、FP8/INT8 量化(权重变薄)、投机解码(一次前向多赚几个 token)。

🧠 对应第 3 课的三件套。

② PCIe 是窄门

CPU 内存 ↔ GPU 显存之间只有几十 GB/s,还要经过 CPU 中转(bounce buffer)。于是有了:GPUDirect P2P / RDMA / Storage——让数据绕开 CPU 直达显存。

🧠 类比:DMA 直通 vs 先拷进内核再拷出来。

③ 跨节点最贵

跨机通信比单机内贵一个量级。于是有了:拓扑感知调度(相关 Pod 放同一 NVLink 域)、通信与计算重叠、以及"跨机传 KV 划不划算"的容量账(PD 分离的核心纠结)。

🧠 类比:机架内 vs 跨机房的网络资费差异。

四、小测验

Q1 · 推理 Decode 阶段扩容,优先升级什么?

Q2 · 把 KV Cache 从 HBM 卸载到主机内存(CPU DRAM),单次读取大约慢多少?

Q3 · 为什么 TP(张量并行)一般不跨机器?

延伸阅读(上游硬核版)