← 返回课程目录 · 加餐 · 微调实战 · 承接第 2 课训练循环

SFT 微调小白版

第 2 课讲了训练循环的原理,这一课讲它落到"微调"上时的实际问题:数据长什么样、只算哪部分的 loss、有哪些经典坑。

一、SFT 的训练数据长什么样

{ "instruction": "你是运维值班助手。给出磁盘使用率 92% 时的处置步骤。", "input": "", "output": "1) 先确认是数据盘还是系统盘;2) 定位大文件(du -sh /*)… 3) 评估是否可清理或扩容;4) 变更前通知业务方。" }

主流格式就是「指令 + (可选输入) + 期望输出」的三元组。训练时框架会用模型的 chat template 把它拼成对话(<|im_start|>user … <|im_end|> 之类的特殊标记),再喂给第 2 课讲过的训练循环。

二、关键细节:loss 只算"回答"部分

[user] 磁盘 92% 怎么处置?[assistant]1) 先确认数据盘…2) 定位大文件…3) 评估扩容…
Prompt 部分:参与前向、不计 loss  Answer 部分:计算 loss、驱动更新

这叫 loss mask(指令屏蔽):我们教的是"怎么回答",不是"怎么提问"。忘了 mask 的框架会把 prompt 也当学习目标——浪费容量还学偏。另外两个实务数字:微调学习率通常比预训练小一到两个数量级;epoch 一般 1~3 轮就够(多了必过拟合)。

三、三个经典坑

灾难性遗忘

全参微调小数据集,模型学会新任务的同时把原有通用能力"覆盖"掉了。

🧠 类比:改配置只回归测试了新功能,老功能全挂。对策:混入通用数据 / 用 LoRA。

学腔调不学内容

数据质量差时,模型学会的是"回答的风格"(如总以"根据相关规定"开头),而不是知识。

🧠 类比:监控大盘全绿但故障照出——指标学了个形。

数据质量 > 数量

业界反复验证:几千条高质量、多样化的数据,胜过几十万条低质重复(LIMA 论文观点,业界共识化)。

🧠 类比:精校的 runbook 胜过一堆潦草笔记。

四、微调 / RAG / 提示词:到底用哪个

手段改的是什么适用不适用
提示词工程只改输入快速验证、通用能力够用的场景需要稳定输出格式/领域风格时乏力
RAG(第 8 课)补知识(外挂资料)知识常更新、需溯源教不会"风格与流程"
SFT / LoRA改权重(能力与风格)稳定输出格式、领域话术、任务行为塞时效性知识(会过时)

组合拳才是常态:RAG 管知识 + 轻量 LoRA 管格式与风格。显存够不够用 训练显存对比计算器 先算一遍。

五、小测验

Q1 · SFT 训练时,prompt 部分参与 loss 计算吗?

Q2 · 全参微调后模型"忘了怎么写代码",最可能的原因与对策?

Q3 · 公司产品手册(每月更新)要让机器人答得准,首选?

延伸阅读