PD 分离小白版
第 3 课讲过 Prefill 吃算力、Decode 吃带宽——这两种"脾气完全不同"的负载挤在同一张卡上会互相拖累。PD 分离就是让它们各开各的机器,代价是要搬运 KV Cache。
一、动手:耦合 vs 分离,看负载波形
GPU0(耦合)—— 又做 P 又做 D
🟩 Prefill🟧 Decode⬜ 空转
Pool P(专做 Prefill)
🟩 Prefill⬜ 空转
Pool D(专做 Decode)
🟧 Decode⬜ 空转
KV Cache 需要从 P 池搬到 D 池(跨机 RDMA / 共享存储)
点「播放一段流量」:观察耦合模式下长 prompt 的 Prefill 如何阻塞别人的 Decode(TTFT 和 TPOT 互相伤害)。
二、为什么值得分:两种负载的物理矛盾
Prefill 池 —— 吃算力
大矩阵并行计算,GPU 利用率高、批次越大越赚。专机可以配高算力卡、大批次策略,专注压 TTFT。
🧠 类比:批发打包车间——来一批货一次处理完。
Decode 池 —— 吃带宽
每步只算 1 个 token,瓶颈在读权重的显存带宽。专机可以配高带宽卡、小批次多并发,专注稳 TPOT。
🧠 类比:零售发货台——单件高频,讲究周转。
耦合的三个痛(面试展开点):
- 互相阻塞:一个 32K 长 prompt 的 Prefill 能把同批 Decode 卡住几百毫秒——TPOT 尖刺;
- 资源错配:P 和 D 最优的批次大小/并行度/卡型都不同,一套配置两头不讨好;
- 扩容耦合:TTFT 高和 TPOT 高得分开治,耦合模式下扩容=两个都扩,浪费。
三、代价:KV Cache 怎么搬家(面试必问)
| 方案 | 怎么搬 | 权衡 |
| 重算 | D 池拿到 prompt 重新 Prefill 一遍 | 不搬数据,但白烧一次算力——只对短 prompt 划算 |
| 跨机传输 | P 池算完把 KV 通过 RDMA(第 5 课)/ NVLink 直传 D 池 | 主流方案;核心是传输时间 < 重算时间 才值得分 |
| 共享 KV 存储 | KV 写到分层存储(LMCache/Mooncake 一页通),D 池按需拉 | 配合前缀复用最划算;多一层运维对象 |
一句话答面试:"PD 分离的本质是把算力密集与带宽密集两种负载拆到各自最优的池子,核心成本是 KV 的跨池搬运——传输与重算的临界点由 prompt 长度、网络带宽和模型规模共同决定(DeepSeek 生产系统、Mooncake、llm-d 都是这个路线)。"
四、小测验
Q1 · PD 分离解决的核心矛盾是?
Q2 · PD 分离后,一个请求的 KV Cache 最典型去向?
Q3 · 什么情况下 PD 分离可能不划算?