← 返回课程目录 · 实验室 · 配合第 2 课使用

训练显存对比:全参微调 vs LoRA

第 2 课说过全参微调每参数约 16 字节——那 LoRA 为什么能把它打到地板上?调参数看看。

4

口径:全参 ≈ 16 字节/参数(fp16 权重 2 + fp16 梯度 2 + fp32 主权重 4 + Adam 状态 8)+ 激活值;LoRA ≈ 冻结权重 2 字节/参数 + 可训练参数(≈0.2%)×16 字节 + 激活值。激活值按 batch × 参数量的经验比例粗估(已含梯度检查点前的常见水位)。都是教学口径,生产以 profiler 实测为准。

速查表

模型全参微调(batch 4)80GB 卡LoRA(batch 4)80GB 卡
延伸阅读:SFT 微调实战 · 显存占用分析