跳转至

Prefill 与 Decode:两阶段的推理机制

推理系统的所有优化都从这两个阶段的差异出发:Prefill 是 compute-bound 的并行大矩阵乘,Decode 是 memory-bound 的逐 token 串行读取。本目录从一个具体例子把两阶段的矩阵形状与计算量算清楚,并给出批处理调度从静态到迭代级演进的完整脉络。

内容导航

相关链接