第 2 课说过全参微调每参数约 16 字节——那 LoRA 为什么能把它打到地板上?调参数看看。
口径:全参 ≈ 16 字节/参数(fp16 权重 2 + fp16 梯度 2 + fp32 主权重 4 + Adam 状态 8)+ 激活值;LoRA ≈ 冻结权重 2 字节/参数 + 可训练参数(≈0.2%)×16 字节 + 激活值。激活值按 batch × 参数量的经验比例粗估(已含梯度检查点前的常见水位)。都是教学口径,生产以 profiler 实测为准。
| 模型 | 全参微调(batch 4) | 80GB 卡 | LoRA(batch 4) | 80GB 卡 |
|---|