训练 = 把同一套"预测 → 对答案 → 找差距 → 改参数"的循环,跑几十万遍。跑这个循环的是几千张 GPU,一起跑。
球的当前位置就是"当前参数",梯度告诉你下坡方向。每点一次「走一步」,参数就往低处挪一点。
最常用的并行方式叫数据并行(DDP):每张卡持有完整模型,各自吃不同的数据算梯度——但"各改各的参数"会让模型分叉,所以每步之后必须把 8 张卡的梯度平均,这个集合通信就是 AllReduce(由 NCCL 在 NVLink / IB 上执行)。
混合精度 + Adam 优化器的常用估算口径:每参数约 16 字节(fp16 权重 2 + fp16 梯度 2 + fp32 主权重 4 + Adam 动量/方差 8)→ 7B ≈ 112GB,还没算激活值。一张 80GB 的 H100 根本放不下 —— 这就是为什么要么多卡分摊(ZeRO / 流水线 / 张量并行),要么用 LoRA 只训一小部分参数。
batch = 一步喂多少样本;step = 参数更新一次;epoch = 全部数据过完一遍。
🧠 类比:按批处理日志 vs 全量重放。
算力用 fp16/bf16 提速,关键状态用 fp32 保精度;训练每隔一段时间把参数存盘(checkpoint),崩了能续。
🧠 类比:WAL + 定期快照。训练作业崩了恢复到最近 checkpoint,是 SRE 参与救援的高频场景。
Q1 · 一个训练 step 的正确顺序是?
Q2 · 数据并行(DDP)里,每张 GPU 持有什么?
Q3 · 学习率设置过大,最可能出现什么?