← 返回课程目录 · 第 14 课 / 共 14 课 · 基础补全模块 · 与第 11 课呼应
强化学习入门
不喂答案,只给奖励,让程序自己试错学出策略——第 11 课的 RLHF、AlphaGo、自动驾驶决策,全都是它。这一课我们在浏览器里真跑一个 Q-learning。
一、循环:Agent 与环境的对话
🤖 Agent(学习程序)
动作 Action ↓
↑ 状态 State + 奖励 Reward
🌍 Environment(环境)
目标是学出一个策略(Policy):在每个状态下选什么动作,能让长期累计奖励最大。
State 状态
环境当前的样子(你在棋盘哪个位置)。
🧠 类比:监控面板当前的快照。
Action 动作
Agent 能做的选择(上下左右 / 扩容或不动)。
🧠 类比:可执行的变更操作。
Reward 奖励
每步环境的即时反馈(+1 到达 / -0.04 耗步)。
🧠 类比:报警降了加分,成本超了扣分。
二、真跑一个 Q-learning:5×3 网格世界
探索率 ε 0.30
规则:从左下角出发,每走一步 -0.04 分,到达右下角 ★ +1 分并结束。真正的 Q-learning 就在你的浏览器里跑——看学习曲线怎么收敛。
已完成局数:0
近 10 局平均步数:–
三、探索 vs 利用:那个 ε 的意义
ε-greedy 策略
以 ε 概率随机探索(试没试过的路),以 1-ε 概率走已知最优。训练时 ε 从大到小退火。
🧠 类比:A/B 测试的流量切分——不试新方案怎么知道有更好的?
做个实验
把 ε 拉到 0 再点「训练 80 局」:学不动——从不探索就永远发现不了通往终点的路。这就是"探索不足"的直观感受。
🧠 线上灰度 0% = 永远不知道新版本更好。
四、算法谱系:从 Q-learning 到第 11 课
Q-learning(值函数:学"每个状态-动作值多少分")→ 表格装不下大世界时DQN(用神经网络当 Q 表)→Policy Gradient(直接学策略)
└→Actor-Critic→PPO(加裁剪,稳)→RLHF:奖励换成"人类偏好" → 对齐大模型(第 11 课)→GRPO(DeepSeek)
谱系记忆:先有"学分数"(值方法),再有"学动作"(策略方法),PPO 是两者融合的工程稳定形态——第 11 课的显存对比图在这一课找到了技术根源。
五、小测验
Q1 · 强化学习区别于监督学习的根本点?
Q2 · ε=0(完全不探索)训练会怎样?
Q3 · RLHF 与游戏 RL 的本质差别?