JD 写"熟悉 PyTorch、了解 DeepSpeed/Megatron"——第 2 课你已懂训练循环,第 6 课懂并行策略,这一课把策略落到框架名和配置上:谁实现了什么、怎么选、ZeRO 三档差在哪。
| 框架/工具 | 一句话定位 | 对应课程概念 | 什么时候选它 |
|---|---|---|---|
| PyTorch DDP | 官方数据并行,一行装饰器 | 第 2 课 AllReduce 梯度同步 | 模型单卡放得下——默认起点 |
| PyTorch FSDP | 官方版 ZeRO-3(参数/梯度/优化器全切) | 下面 ZeRO 演示 | 想要 PyTorch 原生、少一层依赖 |
| DeepSpeed | 微软系训练加速全家桶(ZeRO 起家) | ZeRO-1/2/3 + Offload | 要显存极限(CPU/NVMe Offload)或配置式调参 |
| Megatron-LM | NVIDIA 系,TP/PP 原生大厂预训练主力 | 第 6 课 TP/PP/EP | 千亿级预训练、要榨 NVLink 域性能 |
| torchrun | PyTorch 官方分布式启动器 | 第 2 课"多卡一起训"的进程管理层 | 所有 torchrun/torch.distributed 的入口 |
| Accelerate / Trainer | HuggingFace 的封装层 | SFT 实战常用(happy-llm/self-llm 都在用) | 微调场景少写样板代码 |
选型口径(面试可背):放得下用 DDP;放不下先 FSDP/ZeRO-3;再不够上 Offload;到千亿预训练级,Megatron 的 TP+PP+EP 组合仍是主流——后者正是第 6 课并行策略的工程化。
DP/TP/PP 切的是计算(谁算哪部分),ZeRO 切的是状态存储(优化器/梯度/参数放谁那)——两者叠加使用。
🧠 类比:分活干(计算并行)vs 分库存放(仓配一体化)。
ZeRO-Offload 把优化器状态挪到 CPU 内存、ZeRO-Infinity 再扩到 NVMe——用第 5 课金字塔的下层换空间。
🧠 冷数据下沉,但每步要多付 PCIe 过路费。
DP × TP × PP 三维组合(如 64 卡 = 8 DP × 2 TP × 4 PP)——Megatron 时代的标准答案,面试画出三维度即是加分。
🧠 直接对应第 6 课交互图,只是换成了训练语境。
这些框架底下的集合通信全由 NCCL 执行(第 2 课环形动画)——"框架层看到的是 API,GPU 层看到的是 NCCL 算法"。
🧠 面试阿里训练架构岗的连接点:框架经验 × busbw 排查法。
Q1 · ZeRO-2 相比 ZeRO-1 多切了什么?
Q2 · 7B 微调单卡放不下,最平缓的升级路径?
Q3 · Megatron 相对 DeepSpeed 的取舍?