第 3 课埋的两个伏笔在这里揭晓:一个治"排队浪费",一个治"显存碎片"——vLLM 吞吐优势的两根支柱。
模拟 16 个显存页。会话 A 需要 6 页、会话 B 需要 5 页。预留制:给 A、B 各预留"最大可能长度"的整块——没用到的地方全空着;分页制:按需分配、用完即还,别人能用上你腾出来的页。
短请求等长请求、序列内 padding 空转、整批必须全部完成才换下一批。
🧠 类比:整点发车的大巴——先上车的等最晚的。
每生成一步都是一次调度机会:做完即走、到了即上,批是"流动"的。
🧠 类比:滚动发布 / 公交随到随走。vLLM V1 与 SGLang 的调度哲学差异见上游深读。
把 KV Cache 切成固定页按需分配,显存浪费从 60-80% 降到近零,等效并发翻倍。
🧠 就是 OS 虚拟内存分页思想搬进显存。
分页提高"每批能塞多少人",连续批提高"批的周转率"——生产引擎两个都用。
🧠 存储优化 × 调度优化,乘起来才是吞吐。
Q1 · 静态批最大的浪费来自?
Q2 · PagedAttention 治理的是什么问题?
Q3 · 为什么说分页和连续批是"乘法关系"?