第 2 课讲过:模型放不下单卡,才有了五花八门的"切法"。切数据、切层内、切层间、切专家——四种切法,四种通信代价。
注意:这只算了权重。KV Cache 和激活值还要再吃 20–30% 显存(第 3 课),实际规划要留余量。更细的账见上游 显存占用分析。
| 策略 | 切什么 | 通信模式 | 通信量 | 典型用法 |
|---|---|---|---|---|
| DP 数据并行 | 不切模型,切数据 | AllReduce(每步同步一次梯度) | 大 | 模型单卡放得下时,复制多份提吞吐 |
| TP 张量并行 | 每一层的权重矩阵切成 N 份 | AllReduce / AllGather(每层多次) | 最大 | 单机 NVLink 域内(8 卡内) |
| PP 流水线并行 | 按层切成 N 段 | 点对点 Send/Recv(仅相邻段) | 最小 | 跨机;生产常 TP(机内)+PP(机间) 混合 |
| EP 专家并行 | MoE 的专家分布到不同卡 | All-to-All(token 按路由分发) | 中 | MoE 模型(DeepSeek / Qwen-MoE 等) |
Q1 · 8 张 80GB 卡跑 70B(FP16 权重 140GB),只用 DP 行不行?
Q2 · TP(张量并行)的主要代价是什么?
Q3 · 为什么跨机器扩展时常用 PP 而不是 TP?