排障时所有的"慢",最终都能落到这张图上的一层:算不动、搬不动,还是送不到。点每一层,看它的数字和它"逼出来"的系统设计。
条宽为对数刻度(每往上一层大约慢 3–10 倍);延迟为量级示意,具体随芯片代际变化。
这就是第 3 课 Decode 每步耗时的物理下限:每个生成 token 都要重读全部权重 → 单请求理论上限约 240 token/s。先撞带宽,不撞算力。
Decode 每步重读权重 → 拼带宽不拼算力。于是有了:Continuous Batching(拼车摊薄读权重的钱)、FP8/INT8 量化(权重变薄)、投机解码(一次前向多赚几个 token)。
🧠 对应第 3 课的三件套。
CPU 内存 ↔ GPU 显存之间只有几十 GB/s,还要经过 CPU 中转(bounce buffer)。于是有了:GPUDirect P2P / RDMA / Storage——让数据绕开 CPU 直达显存。
🧠 类比:DMA 直通 vs 先拷进内核再拷出来。
跨机通信比单机内贵一个量级。于是有了:拓扑感知调度(相关 Pod 放同一 NVLink 域)、通信与计算重叠、以及"跨机传 KV 划不划算"的容量账(PD 分离的核心纠结)。
🧠 类比:机架内 vs 跨机房的网络资费差异。
Q1 · 推理 Decode 阶段扩容,优先升级什么?
Q2 · 把 KV Cache 从 HBM 卸载到主机内存(CPU DRAM),单次读取大约慢多少?
Q3 · 为什么 TP(张量并行)一般不跨机器?