← 返回课程目录 · 第 3 课 / 共 14 课 · 建议用时 12 分钟

推理是怎么回事?

模型读你的问题叫 Prefill(一口气),吐答案叫 Decode(一个字一个字)。中间藏着一个决定并发上限的东西:KV Cache。

一、动手:看一次生成的全过程

GPU 显存中的 KV Cache(示意)0 / 90 token 容量
TTFT(首 token 延迟):– TPOT(每 token 耗时):– 吞吐估算:–
点「开始生成」。紫色是 Prefill(读问题,一口气),绿色是 Decode(吐答案,一个一个蹦)。

二、两阶段的本质差别:一个喂得饱,一个搬不动

Prefill(预填充)—— compute-bound

把整个 prompt 一次性并行算完:token 多、矩阵大,GPU 的几万个核心全都能派上活,算力是瓶颈。它决定 TTFT(用户等多久看到第一个字)。

🧠 类比:一次 cat 整个大文件——吞吐大,单次耗时长。

Decode(解码)—— memory-bound

自回归地一次只生成 1 个 token,但每生成一个,都要把整个模型的权重从显存重新读一遍。算力闲着,显存带宽是瓶颈。它决定 TPOT 和总吞吐。

🧠 类比:tail -f 逐行追日志——每次只取一行,但房租(读权重)照付。

数字感受:7B 模型 14GB 权重 ÷ 3.35TB/s 带宽 ≈ 4.2ms/token,单请求理论上限约 240 token/s(估算口径)——先撞带宽,不撞算力。

三、四个关键词

KV Cache

生成第 N 个 token 时,前面 N-1 个 token 的中间结果(K/V 矩阵)其实不用重算——存起来直接查,这就是 KV Cache。代价:显存占用随上下文长度线性增长。

🧠 类比:应用层写缓存(Redis)。7B 模型每个 token 约占 0.5MB KV(32 层 FP16 估算),10 万 token 的会话 ≈ 50GB。

PagedAttention

把 KV Cache 切成固定大小的"页"按需分配,而不是给每个会话预留一整块连续显存。

🧠 类比:就是操作系统的虚拟内存分页——治的是显存碎片,vLLM 的成名之作。

Continuous Batching

请求随到随进批、做完即出批,而不是等一整批全部完成再换下一批。

🧠 类比:滚动发布 vs 整批重启。吞吐能差数倍。

量化 / 投机解码

量化:把权重/KV 从 FP16 压到 INT8/FP8,显存减半、带宽减半。投机解码:用小模型先猜几个 token,大模型一次验证多个,"一次前向多赚几个字"。

🧠 类比:压缩传输 + 批量确认。仓库里有完整深读文章(见延伸)。

四、小测验

Q1 · Decode 阶段的瓶颈主要是?

Q2 · KV Cache 的代价是什么?

Q3 · 为什么一台 8 卡机器跑 70B 模型,"能同时服务几个用户"主要由显存决定?

延伸阅读(本仓库硬核版)