SFT 教会模型"听话",但对齐算法教会它"哪种回答更好"。RLHF/PPO、DPO、GRPO 是同一目标的三条路线——差别在工程复杂度和显存账。
方块 = 参与训练过程的模型副本(以 7B 模型 fp16 驻留 ≈ 14GB/个 粗估,训练态的梯度/优化器开销另计——第 2 课的 16 字节/参数口径只作用于"训练中"的方块)。标注估算口径,生产常用 LoRA 或流水线拆分压显存。
先训奖励模型(RM)给回答打分,再用强化学习(PPO)最大化得分。效果成熟,但 4 个模型在场、工程复杂、训练不稳出名。
🧠 类比:装一套自动评分系统 + 在线试错改流程——能力最强,运维最重。
数学上证明可以跳过奖励模型:直接用"偏好对(好答案, 坏答案)"优化策略,监督学习式的稳定训练。
🧠 类比:不用上线评分服务,直接从历史工单对里学规则。
DeepSeek 系的简化:去掉 PPO 的 Critic 模型,同一问题采样一组回答,用组内相对得分当基线。
🧠 类比:不请教练打分,看"你比同组人平均强多少"。推理型任务的主力算法。
所有对齐算法都要防止策略漂移太远:跑分高但答案空洞(奖励黑客)。手段是惩罚与参考模型的偏离(KL)。
🧠 类比:只刷 SLA 数字不解决真实故障——指标对了,事情坏了。
Q1 · DPO 相比 PPO 的主要简化是?
Q2 · GRPO 相比 PPO 省掉了什么?
Q3 · 训练后模型"跑分很高但回答变得空洞冗长",这叫什么、怎么防?