模型读你的问题叫 Prefill(一口气),吐答案叫 Decode(一个字一个字)。中间藏着一个决定并发上限的东西:KV Cache。
把整个 prompt 一次性并行算完:token 多、矩阵大,GPU 的几万个核心全都能派上活,算力是瓶颈。它决定 TTFT(用户等多久看到第一个字)。
🧠 类比:一次 cat 整个大文件——吞吐大,单次耗时长。
自回归地一次只生成 1 个 token,但每生成一个,都要把整个模型的权重从显存重新读一遍。算力闲着,显存带宽是瓶颈。它决定 TPOT 和总吞吐。
🧠 类比:tail -f 逐行追日志——每次只取一行,但房租(读权重)照付。
数字感受:7B 模型 14GB 权重 ÷ 3.35TB/s 带宽 ≈ 4.2ms/token,单请求理论上限约 240 token/s(估算口径)——先撞带宽,不撞算力。
生成第 N 个 token 时,前面 N-1 个 token 的中间结果(K/V 矩阵)其实不用重算——存起来直接查,这就是 KV Cache。代价:显存占用随上下文长度线性增长。
🧠 类比:应用层写缓存(Redis)。7B 模型每个 token 约占 0.5MB KV(32 层 FP16 估算),10 万 token 的会话 ≈ 50GB。
把 KV Cache 切成固定大小的"页"按需分配,而不是给每个会话预留一整块连续显存。
🧠 类比:就是操作系统的虚拟内存分页——治的是显存碎片,vLLM 的成名之作。
请求随到随进批、做完即出批,而不是等一整批全部完成再换下一批。
🧠 类比:滚动发布 vs 整批重启。吞吐能差数倍。
量化:把权重/KV 从 FP16 压到 INT8/FP8,显存减半、带宽减半。投机解码:用小模型先猜几个 token,大模型一次验证多个,"一次前向多赚几个字"。
🧠 类比:压缩传输 + 批量确认。仓库里有完整深读文章(见延伸)。
Q1 · Decode 阶段的瓶颈主要是?
Q2 · KV Cache 的代价是什么?
Q3 · 为什么一台 8 卡机器跑 70B 模型,"能同时服务几个用户"主要由显存决定?