← 返回课程目录 · 第 14 课 / 共 14 课 · 基础补全模块 · 与第 11 课呼应

强化学习入门

不喂答案,只给奖励,让程序自己试错学出策略——第 11 课的 RLHF、AlphaGo、自动驾驶决策,全都是它。这一课我们在浏览器里真跑一个 Q-learning。

一、循环:Agent 与环境的对话

🤖 Agent(学习程序) 动作 Action ↓
↑ 状态 State + 奖励 Reward
🌍 Environment(环境)

目标是学出一个策略(Policy):在每个状态下选什么动作,能让长期累计奖励最大。

State 状态

环境当前的样子(你在棋盘哪个位置)。

🧠 类比:监控面板当前的快照。

Action 动作

Agent 能做的选择(上下左右 / 扩容或不动)。

🧠 类比:可执行的变更操作。

Reward 奖励

每步环境的即时反馈(+1 到达 / -0.04 耗步)。

🧠 类比:报警降了加分,成本超了扣分。

二、真跑一个 Q-learning:5×3 网格世界

探索率 ε 0.30
规则:从左下角出发,每走一步 -0.04 分,到达右下角 ★ +1 分并结束。真正的 Q-learning 就在你的浏览器里跑——看学习曲线怎么收敛。
步数局数 →
已完成局数:0 近 10 局平均步数:–

三、探索 vs 利用:那个 ε 的意义

ε-greedy 策略

以 ε 概率随机探索(试没试过的路),以 1-ε 概率走已知最优。训练时 ε 从大到小退火。

🧠 类比:A/B 测试的流量切分——不试新方案怎么知道有更好的?

做个实验

把 ε 拉到 0 再点「训练 80 局」:学不动——从不探索就永远发现不了通往终点的路。这就是"探索不足"的直观感受。

🧠 线上灰度 0% = 永远不知道新版本更好。

四、算法谱系:从 Q-learning 到第 11 课

Q-learning(值函数:学"每个状态-动作值多少分")→ 表格装不下大世界时DQN(用神经网络当 Q 表)→Policy Gradient(直接学策略)
└→Actor-Critic→PPO(加裁剪,稳)→RLHF:奖励换成"人类偏好" → 对齐大模型(第 11 课)→GRPO(DeepSeek)

谱系记忆:先有"学分数"(值方法),再有"学动作"(策略方法),PPO 是两者融合的工程稳定形态——第 11 课的显存对比图在这一课找到了技术根源。

五、小测验

Q1 · 强化学习区别于监督学习的根本点?

Q2 · ε=0(完全不探索)训练会怎样?

Q3 · RLHF 与游戏 RL 的本质差别?

延伸阅读