← 返回课程目录 · 面试准备 · 指标篇 · 面试高频:"生产上你看哪些指标"

生产指标体系:四层健康账本

面试官问"你怎么知道系统是健康的",答单个指标就输了。正确姿势是一套自上而下对齐业务、自下而上可定位根因的分层账本——业务层 token → 服务层 SLO → 引擎层效率 → 硬件层健康。

一、四层账本总览

层核心指标回答什么问题谁消费
L4 业务$/M token · 日 token 量 · 缓存命中率这门生意赚不赚、省不省管理层 / FinOps
L3 服务 SLOTTFT(P50/P99)· TPOT · 可用性 · 拒绝率用户体验有没有达标SRE / 业务方
L2 引擎效率推理:并发/批次利用率/KV 占用;训练:MFU、损失尖刺、通信占比资源用得值不值性能工程师
L1 硬件健康SM Active · DRAM Active · ECC/Remapped Rows · XID · 温度功耗哪台机器在拖后腿SRE / 硬件团队
🔑 面试标准答法:"我看四层——业务看 $/token 和缓存命中,服务看 TTFT/TPOT 的 P99,引擎看批次利用率/MFU,硬件看 SM Active 和 ECC。每层都有告警阈值和向下一层的定位路径。" —— 一句话展示体系化。

二、训练侧:MFU 是核心

MFU 模型算力利用率

实际消耗 FLOPs ÷(卡数 × 峰值 FLOPS × 时间)。大模型训练健康区间通常 35-50%(口径不同差异大)——低于 30% 先查通信占比和数据 IO。

🧠 类比:CPU 利用率的"含金量版"——把墙钟时间折算成理论峰值占比。

训练三大报警信号

① loss 尖刺(数据脏/某个 rank 异常)② 吞吐台阶式下降(坏卡/降频/网络降级)③ 通信等待占比升高(IB 丢包重传/NVLink 降速)。

🧠 类比:QPS 正常但 P99 抖——问题往往不在应用层。

三、推理侧:SLO 黄金四件套

指标定义典型目标(示例)超标第一怀疑
TTFT P99请求到首 token< 1-2s长 prompt 阻塞(PD 混布)/ 排队过深
TPOT / ITL后续每 token 间隔< 50-100ms批次过挤 / 带宽瓶颈 / 降频
拒绝率 / 排队时长被限流或超时比例< 1%KV 显存满(并发×长度超容量——KV 计算器)
输出质量回归业务 case 集通过率版本变更前后持平量化/模型版本/温度变更没走灰度
⚠️ P99 陷阱:均值正常 P99 爆表 = 长尾请求(长上下文用户)在挨饿——PD 分离/按长度路由就是治这个的。这也是"均值叙事"在 LLM 服务失效的经典例子。

四、质量与漂移:LLM 特有的监控

输出分布漂移

token 长度分布、拒答率、敏感词率突然变化——上游模型/提示词被改了而没人告诉你。

🧠 类比:API 响应 schema 突变。

采样质量抽检

线上流量按比例抽样跑 LLM-as-Judge 或人工抽检——质量是"监控"出来的,不是"部署"完就没事的。

🧠 类比:混沌演练——定期主动验证。

成本异常告警

$/M token 突涨往往比质量投诉先出现:某租户 prompt 暴涨 / 缓存命中率崩了 / 有人把 max-length 调到 128K。

🧠 类比:云账单异常告警。

五、小测验

Q1 · "GPU-Util 都 95% 了为什么还慢"——用四层账本定位,先看哪个引擎层指标?

Q2 · 训练作业 MFU 从 45% 掉到 25%,以下最值得先查的是?

Q3 · TTFT 均值 0.8s 很健康,但 P99 到了 9s,最可能的画像?

延伸阅读