← 返回课程目录 · 加餐 · 推理深入 · 承接第 3 课

Continuous Batching 与 PagedAttention

第 3 课埋的两个伏笔在这里揭晓:一个治"排队浪费",一个治"显存碎片"——vLLM 吞吐优势的两根支柱。

一、动手:静态批 vs 连续批

批次利用率:– 吞吐(相对):–
4 条请求长度不同(R1 短、R4 长)。选模式后点「运行」,看紫色格(在算)和虚线格(干等)怎么分布。

二、动手:预留 vs 分页

模拟 16 个显存页。会话 A 需要 6 页、会话 B 需要 5 页。预留制:给 A、B 各预留"最大可能长度"的整块——没用到的地方全空着;分页制:按需分配、用完即还,别人能用上你腾出来的页。

三、关键词卡

静态批的三重浪费

短请求等长请求、序列内 padding 空转、整批必须全部完成才换下一批。

🧠 类比:整点发车的大巴——先上车的等最晚的。

Continuous Batching

每生成一步都是一次调度机会:做完即走、到了即上,批是"流动"的。

🧠 类比:滚动发布 / 公交随到随走。vLLM V1 与 SGLang 的调度哲学差异见上游深读。

PagedAttention

把 KV Cache 切成固定页按需分配,显存浪费从 60-80% 降到近零,等效并发翻倍。

🧠 就是 OS 虚拟内存分页思想搬进显存。

两者是乘法关系

分页提高"每批能塞多少人",连续批提高"批的周转率"——生产引擎两个都用。

🧠 存储优化 × 调度优化,乘起来才是吞吐。

四、小测验

Q1 · 静态批最大的浪费来自?

Q2 · PagedAttention 治理的是什么问题?

Q3 · 为什么说分页和连续批是"乘法关系"?

延伸阅读(上游硬核版)