第 2 课讲了训练循环的原理,这一课讲它落到"微调"上时的实际问题:数据长什么样、只算哪部分的 loss、有哪些经典坑。
主流格式就是「指令 + (可选输入) + 期望输出」的三元组。训练时框架会用模型的 chat template 把它拼成对话(<|im_start|>user … <|im_end|> 之类的特殊标记),再喂给第 2 课讲过的训练循环。
这叫 loss mask(指令屏蔽):我们教的是"怎么回答",不是"怎么提问"。忘了 mask 的框架会把 prompt 也当学习目标——浪费容量还学偏。另外两个实务数字:微调学习率通常比预训练小一到两个数量级;epoch 一般 1~3 轮就够(多了必过拟合)。
全参微调小数据集,模型学会新任务的同时把原有通用能力"覆盖"掉了。
🧠 类比:改配置只回归测试了新功能,老功能全挂。对策:混入通用数据 / 用 LoRA。
数据质量差时,模型学会的是"回答的风格"(如总以"根据相关规定"开头),而不是知识。
🧠 类比:监控大盘全绿但故障照出——指标学了个形。
业界反复验证:几千条高质量、多样化的数据,胜过几十万条低质重复(LIMA 论文观点,业界共识化)。
🧠 类比:精校的 runbook 胜过一堆潦草笔记。
| 手段 | 改的是什么 | 适用 | 不适用 |
|---|---|---|---|
| 提示词工程 | 只改输入 | 快速验证、通用能力够用的场景 | 需要稳定输出格式/领域风格时乏力 |
| RAG(第 8 课) | 补知识(外挂资料) | 知识常更新、需溯源 | 教不会"风格与流程" |
| SFT / LoRA | 改权重(能力与风格) | 稳定输出格式、领域话术、任务行为 | 塞时效性知识(会过时) |
组合拳才是常态:RAG 管知识 + 轻量 LoRA 管格式与风格。显存够不够用 训练显存对比计算器 先算一遍。
Q1 · SFT 训练时,prompt 部分参与 loss 计算吗?
Q2 · 全参微调后模型"忘了怎么写代码",最可能的原因与对策?
Q3 · 公司产品手册(每月更新)要让机器人答得准,首选?