推理加速的两大面试必考:投机解码用"小模型打草稿、大模型批改"骗过串行依赖;量化把数字压瘦换取带宽与显存。两个都有动手交互。
关键性质:投机解码不改变输出分布(大模型逐位验证,错了就地纠正)——是无损加速。收益取决于"小模型猜得多准":文本续写类接受率高,代码更高(语法可预测);开放创作类收益低。
原理一句话:把 16 位浮点压成 8/4 位整数存储——Decode 是带宽瓶颈(第 3 课),权重瘦一半,每步时间就近乎减半。代价是精度:权重扰动带来输出质量下降,需要校准数据(AWQ/GPTQ 等算法找最优缩放因子)+ 回归测试兜底。KV Cache 也能量化(FP8 KV 已是生产标配,官方精度表见延伸阅读)。
为什么快?——串行依赖被"批发验证"打破:N 次前向变 1 次。
为什么无损?——大模型逐位验证+纠错,输出分布不变。
什么时候失效?——小模型与任务分布不匹配时接受率低,反而更慢(草稿也要算)。
🧠 类比:实习生写 PR、架构师一次 review 全部——接受率高就赚。
压什么?——权重(省显存/带宽)、KV(省显存)、激活(部分算子)。
怎么不坏?——校准数据集 + 逐层缩放(AWQ/GPTQ)。
线上的坑?——长尾精度劣化(基准分不降但个别 case 崩)、与投机解码 draft 模型的精度组合。
🧠 类比:有损压缩——码率高没人发现,码率低关键帧糊了。
生产引擎把几招叠着用:量化(权重 FP8)× Continuous Batching(摊薄读权重)× 投机解码(一次多 token)× PD 分离(各自最优)——分别对应"每步更便宜 / 每步服务更多人 / 每步多产出 / 全局不互相拖累"。面试能讲清每招作用于成本公式的哪个变量($token 速算页),就是体系化理解。
Q1 · 投机解码为什么是无损加速?
Q2 · INT4 量化的 70B 模型最直接的变化?
Q3 · 哪种任务上投机解码收益最低?