← 返回课程目录 · 第 11 课 / 共 14 课 · 建议用时 12 分钟 · 配合第 2/7 课

对齐算法是怎么回事?

SFT 教会模型"听话",但对齐算法教会它"哪种回答更好"。RLHF/PPO、DPO、GRPO 是同一目标的三条路线——差别在工程复杂度和显存账。

一、先动手:偏好数据是怎么来的

问题:"新手想开始定投基金,给点建议。"——下面两个回答,点你更偏好的那个(共 3 组):
点击选择后自动进入下一组。

二、三条路线:显存里各摆几个模型

方块 = 参与训练过程的模型副本(以 7B 模型 fp16 驻留 ≈ 14GB/个 粗估,训练态的梯度/优化器开销另计——第 2 课的 16 字节/参数口径只作用于"训练中"的方块)。标注估算口径,生产常用 LoRA 或流水线拆分压显存。

三、DPO 里的 β:贴多近、拉多开

β(偏移系数)0.30
贴近参考模型的约束
拉开偏好差距的力度
β 大 → 模型改动被"拴"在参考模型附近(保守、稳);β 小 → 更用力拉开好/坏回答的差距(激进,易过拟合偏好甚至"奖励黑客")。训练里调它 = SRE 调"变更幅度"旋钮。

四、关键词卡

RLHF / PPO

先训奖励模型(RM)给回答打分,再用强化学习(PPO)最大化得分。效果成熟,但 4 个模型在场、工程复杂、训练不稳出名。

🧠 类比:装一套自动评分系统 + 在线试错改流程——能力最强,运维最重。

DPO

数学上证明可以跳过奖励模型:直接用"偏好对(好答案, 坏答案)"优化策略,监督学习式的稳定训练。

🧠 类比:不用上线评分服务,直接从历史工单对里学规则。

GRPO

DeepSeek 系的简化:去掉 PPO 的 Critic 模型,同一问题采样一组回答,用组内相对得分当基线。

🧠 类比:不请教练打分,看"你比同组人平均强多少"。推理型任务的主力算法。

KL 约束 & 奖励黑客

所有对齐算法都要防止策略漂移太远:跑分高但答案空洞(奖励黑客)。手段是惩罚与参考模型的偏离(KL)。

🧠 类比:只刷 SLA 数字不解决真实故障——指标对了,事情坏了。

五、小测验

Q1 · DPO 相比 PPO 的主要简化是?

Q2 · GRPO 相比 PPO 省掉了什么?

Q3 · 训练后模型"跑分很高但回答变得空洞冗长",这叫什么、怎么防?

延伸阅读