← 返回课程目录 · 实验室 · 配合第 3 课使用

KV Cache 容量计算器

"这台机器能同时服务几个用户?"——调参看看各变量怎么拉高/压垮并发上限。

×
20%
8K
权重
预留
KV 可用
单会话 KV 占用
–
可用于 KV 的显存
–
理论并发上限
–

口径说明:KV 每 token = 2 × 层数 × KV头数×头维 × 精度字节;预设值按 Llama 系公开结构估算(MHA/GQA 差别巨大——这就是 GQA 存在的意义)。未计激活值与框架碎片,生产规划请再打 7–8 折。对应上游文章:L1 KV Pool 与系统并发上限。