"这台机器能同时服务几个用户?"——调参看看各变量怎么拉高/压垮并发上限。
口径说明:KV 每 token = 2 × 层数 × KV头数×头维 × 精度字节;预设值按 Llama 系公开结构估算(MHA/GQA 差别巨大——这就是 GQA 存在的意义)。未计激活值与框架碎片,生产规划请再打 7–8 折。对应上游文章:L1 KV Pool 与系统并发上限。