← 返回课程目录 · 第 2 课 / 共 14 课 · 建议用时 12 分钟

训练是怎么回事?

训练 = 把同一套"预测 → 对答案 → 找差距 → 改参数"的循环,跑几十万遍。跑这个循环的是几千张 GPU,一起跑。

一、训练循环:点一下,走一步

① 取一批数据从数据集拿一小批(batch)样本
→
② 前向计算数据过一遍网络,得到预测值
→
③ 算损失预测 vs 标准答案,差多少?
→
④ 反向传播逐层算出"每个参数该背多少锅"(梯度)
→
⑤ 优化器更新按梯度微微修正参数,进入下一轮
点「训练一步」,看数据怎么在 5 个阶段里流动。每完成一轮(一个 step),loss 都会往下走一点。
已完成 step:0 当前 loss:2.40
lossstep →

二、梯度下降 = 蒙眼下山,学习率 = 步子大小

参数 x →loss 谷底 = 最优参数

球的当前位置就是"当前参数",梯度告诉你下坡方向。每点一次「走一步」,参数就往低处挪一点。

学习率 0.30
试试 0.05(太保守)、0.9(刚好)、2.1(要出事)三档。

三、多卡怎么一起训:数据并行 + AllReduce

最常用的并行方式叫数据并行(DDP):每张卡持有完整模型,各自吃不同的数据算梯度——但"各改各的参数"会让模型分叉,所以每步之后必须把 8 张卡的梯度平均,这个集合通信就是 AllReduce(由 NCCL 在 NVLink / IB 上执行)。

8 张卡颜色深浅 = 各自算出的梯度。点按钮,看梯度怎么绕环流动、最后所有人拿到同一个平均值。

四、显存去哪了:7B 模型为什么单卡放不下训练

权重 14GB
梯度 14GB
优化器状态 56GB
激活值(随 batch 涨)

混合精度 + Adam 优化器的常用估算口径:每参数约 16 字节(fp16 权重 2 + fp16 梯度 2 + fp32 主权重 4 + Adam 动量/方差 8)→ 7B ≈ 112GB,还没算激活值。一张 80GB 的 H100 根本放不下 —— 这就是为什么要么多卡分摊(ZeRO / 流水线 / 张量并行),要么用 LoRA 只训一小部分参数。

batch / step / epoch

batch = 一步喂多少样本;step = 参数更新一次;epoch = 全部数据过完一遍。

🧠 类比:按批处理日志 vs 全量重放。

混合精度 + Checkpoint

算力用 fp16/bf16 提速,关键状态用 fp32 保精度;训练每隔一段时间把参数存盘(checkpoint),崩了能续。

🧠 类比:WAL + 定期快照。训练作业崩了恢复到最近 checkpoint,是 SRE 参与救援的高频场景。

五、小测验

Q1 · 一个训练 step 的正确顺序是?

Q2 · 数据并行(DDP)里,每张 GPU 持有什么?

Q3 · 学习率设置过大,最可能出现什么?

延伸阅读(本仓库硬核版)