← 返回课程目录 · 第 6 课 / 共 14 课 · 建议用时 10 分钟

并行策略:一个 70B 模型怎么塞进 8 张卡

第 2 课讲过:模型放不下单卡,才有了五花八门的"切法"。切数据、切层内、切层间、切专家——四种切法,四种通信代价。

一、四种切法,挨个看

问题设定:70B 模型 FP16 权重 ≈ 140 GB,一张 H100 只有 80 GB 显存,手上有 8 张卡。

二、算一算:你的模型放得下吗

模型 卡数

注意:这只算了权重。KV Cache 和激活值还要再吃 20–30% 显存(第 3 课),实际规划要留余量。更细的账见上游 显存占用分析。

三、四种策略对照表

策略切什么通信模式通信量典型用法
DP 数据并行不切模型,切数据AllReduce(每步同步一次梯度)大模型单卡放得下时,复制多份提吞吐
TP 张量并行每一层的权重矩阵切成 N 份AllReduce / AllGather(每层多次)最大单机 NVLink 域内(8 卡内)
PP 流水线并行按层切成 N 段点对点 Send/Recv(仅相邻段)最小跨机;生产常 TP(机内)+PP(机间) 混合
EP 专家并行MoE 的专家分布到不同卡All-to-All(token 按路由分发)中MoE 模型(DeepSeek / Qwen-MoE 等)

四、小测验

Q1 · 8 张 80GB 卡跑 70B(FP16 权重 140GB),只用 DP 行不行?

Q2 · TP(张量并行)的主要代价是什么?

Q3 · 为什么跨机器扩展时常用 PP 而不是 TP?

延伸阅读