面试官问"你怎么知道系统是健康的",答单个指标就输了。正确姿势是一套自上而下对齐业务、自下而上可定位根因的分层账本——业务层 token → 服务层 SLO → 引擎层效率 → 硬件层健康。
| 层 | 核心指标 | 回答什么问题 | 谁消费 |
|---|---|---|---|
| L4 业务 | $/M token · 日 token 量 · 缓存命中率 | 这门生意赚不赚、省不省 | 管理层 / FinOps |
| L3 服务 SLO | TTFT(P50/P99)· TPOT · 可用性 · 拒绝率 | 用户体验有没有达标 | SRE / 业务方 |
| L2 引擎效率 | 推理:并发/批次利用率/KV 占用;训练:MFU、损失尖刺、通信占比 | 资源用得值不值 | 性能工程师 |
| L1 硬件健康 | SM Active · DRAM Active · ECC/Remapped Rows · XID · 温度功耗 | 哪台机器在拖后腿 | SRE / 硬件团队 |
实际消耗 FLOPs ÷(卡数 × 峰值 FLOPS × 时间)。大模型训练健康区间通常 35-50%(口径不同差异大)——低于 30% 先查通信占比和数据 IO。
🧠 类比:CPU 利用率的"含金量版"——把墙钟时间折算成理论峰值占比。
① loss 尖刺(数据脏/某个 rank 异常)② 吞吐台阶式下降(坏卡/降频/网络降级)③ 通信等待占比升高(IB 丢包重传/NVLink 降速)。
🧠 类比:QPS 正常但 P99 抖——问题往往不在应用层。
| 指标 | 定义 | 典型目标(示例) | 超标第一怀疑 |
|---|---|---|---|
| TTFT P99 | 请求到首 token | < 1-2s | 长 prompt 阻塞(PD 混布)/ 排队过深 |
| TPOT / ITL | 后续每 token 间隔 | < 50-100ms | 批次过挤 / 带宽瓶颈 / 降频 |
| 拒绝率 / 排队时长 | 被限流或超时比例 | < 1% | KV 显存满(并发×长度超容量——KV 计算器) |
| 输出质量回归 | 业务 case 集通过率 | 版本变更前后持平 | 量化/模型版本/温度变更没走灰度 |
token 长度分布、拒答率、敏感词率突然变化——上游模型/提示词被改了而没人告诉你。
🧠 类比:API 响应 schema 突变。
线上流量按比例抽样跑 LLM-as-Judge 或人工抽检——质量是"监控"出来的,不是"部署"完就没事的。
🧠 类比:混沌演练——定期主动验证。
$/M token 突涨往往比质量投诉先出现:某租户 prompt 暴涨 / 缓存命中率崩了 / 有人把 max-length 调到 128K。
🧠 类比:云账单异常告警。
Q1 · "GPU-Util 都 95% 了为什么还慢"——用四层账本定位,先看哪个引擎层指标?
Q2 · 训练作业 MFU 从 45% 掉到 25%,以下最值得先查的是?
Q3 · TTFT 均值 0.8s 很健康,但 P99 到了 9s,最可能的画像?