← 返回课程目录 · 加餐 · 训练框架线 · 承接第 2/6 课 · 对应字节/百度/阿里校招岗

训练框架地图

JD 写"熟悉 PyTorch、了解 DeepSpeed/Megatron"——第 2 课你已懂训练循环,第 6 课懂并行策略,这一课把策略落到框架名和配置上:谁实现了什么、怎么选、ZeRO 三档差在哪。

一、动手:ZeRO 三档,显存账本怎么变

以 4 卡训练 7B(混合精度+Adam,总状态 112GB 量级)为例:DDP 模式下每张卡都完整复制一份——切的是数据不是模型。点 ZeRO 各档看"复制"怎么变"分片"。

二、框架对照:一张表选型

框架/工具一句话定位对应课程概念什么时候选它
PyTorch DDP官方数据并行,一行装饰器第 2 课 AllReduce 梯度同步模型单卡放得下——默认起点
PyTorch FSDP官方版 ZeRO-3(参数/梯度/优化器全切)下面 ZeRO 演示想要 PyTorch 原生、少一层依赖
DeepSpeed微软系训练加速全家桶(ZeRO 起家)ZeRO-1/2/3 + Offload要显存极限(CPU/NVMe Offload)或配置式调参
Megatron-LMNVIDIA 系,TP/PP 原生大厂预训练主力第 6 课 TP/PP/EP千亿级预训练、要榨 NVLink 域性能
torchrunPyTorch 官方分布式启动器第 2 课"多卡一起训"的进程管理层所有 torchrun/torch.distributed 的入口
Accelerate / TrainerHuggingFace 的封装层SFT 实战常用(happy-llm/self-llm 都在用)微调场景少写样板代码
# 三个框架做同一件事的"体感"(伪代码级对照) model = DDP(model) # DDP:一行 deepspeed.initialize(model, config=ds_config) # DeepSpeed:配置文件驱动(json 里写 ZeRO 档位) model = MegatronModule(...) # TP/PP 在模型定义层就切开 # Megatron:侵入式改造,性能上限最高

选型口径(面试可背):放得下用 DDP;放不下先 FSDP/ZeRO-3;再不够上 Offload;到千亿预训练级,Megatron 的 TP+PP+EP 组合仍是主流——后者正是第 6 课并行策略的工程化。

三、关键词卡

ZeRO 与并行的区别

DP/TP/PP 切的是计算(谁算哪部分),ZeRO 切的是状态存储(优化器/梯度/参数放谁那)——两者叠加使用。

🧠 类比:分活干(计算并行)vs 分库存放(仓配一体化)。

Offload 卸载

ZeRO-Offload 把优化器状态挪到 CPU 内存、ZeRO-Infinity 再扩到 NVMe——用第 5 课金字塔的下层换空间。

🧠 冷数据下沉,但每步要多付 PCIe 过路费。

3D 并行

DP × TP × PP 三维组合(如 64 卡 = 8 DP × 2 TP × 4 PP)——Megatron 时代的标准答案,面试画出三维度即是加分。

🧠 直接对应第 6 课交互图,只是换成了训练语境。

通信库的落点

这些框架底下的集合通信全由 NCCL 执行(第 2 课环形动画)——"框架层看到的是 API,GPU 层看到的是 NCCL 算法"。

🧠 面试阿里训练架构岗的连接点:框架经验 × busbw 排查法。

四、小测验

Q1 · ZeRO-2 相比 ZeRO-1 多切了什么?

Q2 · 7B 微调单卡放不下,最平缓的升级路径?

Q3 · Megatron 相对 DeepSpeed 的取舍?

延伸阅读