第 1 章 · 导论：什么是强化学习
课程第 1 课 · 依据《强化学习（第 2 版）》第 1 章 · 约需 25–35 分钟
1. 从交互中学习
人类是通过与环境交互来学习的：婴儿挥舞双臂、四处张望，没有老师，只有运动感知带来的直接联结。从这些交互中，我们学到因果关系、动作的后果、以及达到目标的方法。强化学习（Reinforcement Learning, RL）就是研究"在交互中学习"的计算性方法——以人工智能研究者或工程师的视角，而非直接建立人或动物的学习理论。
"强化学习就是学习做什么（即如何把当前的情境映射成动作）才能使得数值化的收益信号最大化。"—— §1.1
注意这句话里的两个关键特征，它们是强化学习最重要、最显著的标志：
2. 与有监督、无监督学习的区别
| 有监督学习 | 无监督学习 | 强化学习 | |
|---|---|---|---|
| 学习信号 | 带标注的训练集（每个情境给出正确动作） | 无标注，寻找数据隐含结构 | 数值化的收益信号 |
| 目标 | 泛化：对没见过的情境做出正确分类/预测 | 揭示结构 | 最大化长期总收益 |
| 为何不适用交互问题 | 不可能获得所有情境下既正确又有代表性的动作示例 | 找出结构 ≠ 最大化收益 | —（正是为此设计） |
所以书中明确主张：强化学习是与有监督、无监督并列的第三种机器学习范式。
强化学习独有的挑战：试探 vs 开发
为了获得收益，智能体倾向于选择过去有效的动作（开发，exploitation）；但为了发现更好的动作，又必须尝试没选过的动作（试探，exploration）。两者都不可偏废——只开发可能错过更优解，只试探则浪费收益。这个"试探—开发"困境在有监督/无监督学习中（至少在最简单形式下）不存在，是强化学习独有的挑战，数学家研究了几十年仍未彻底解决。
3. 四个核心要素（§1.3）
除智能体与环境之外，强化学习系统有四个核心要素：
收益由环境直接给出，价值必须靠综合评估与反复重估——价值评估方法几乎是所有强化学习算法中最重要的组成部分，这是 60 年来关于 RL 最重要的认识。
4. 一组例子（§1.2）
体会这些例子的共性——决策智能体 + 不确定环境 + 明确目标 + 动作影响未来：
- 国际象棋大师走子：反复考虑对手可能的应对，兼顾直观判断；
- 自适应石油控制器：实时调整炼油参数，权衡收益率/成本/质量；
- 羚羊幼崽：出生数分钟挣扎站起，半小时后能以 20 英里/小时奔跑；
- 扫地机器人：进新房间收集垃圾，还是回充电站？基于电量和过去的经验；
- 菲尔做早餐：走近橱柜→选麦片→取盒→拿碗勺牛奶，每一步由目标引导，又服务于更高层目标（营养）。
共同点：动作影响未来环境状态 → 需要远见和规划；影响无法完全预测 → 需要监视与反应；有明确目标可判断进展；且智能体可以利用经验改进性能。
5. 扩展实例：井字棋与时序差分（§1.5）⭐
这是全章最重要的一节。问题：对手是一个会犯错的 imperfect 玩家（平局 = 输），能否构造一个越下越强的玩家？
为什么经典方法不行：极大极小（Minimax）算法不适用——它假设对手完美，从不走入可能输的状态，而这些状态恰恰是战胜弱对手的机会；动态规划需要对手走棋概率的完整说明，而实践中未知。
价值函数方法的做法
- 建一张表：每个棋局状态对应一个数 = 当前对获胜概率的估计。三连 X 的状态价值为 1，三连 O 或棋盘下满为 0，其余初始化 0.5。
- 走棋时查看每种走法产生的状态价值，大多数时候贪心选价值最高的，偶尔随机试探——试探可能带我们到达从未见过的状态。
- 博弈中不断回溯更新：把后继状态的价值"回传"给先前状态。
更新公式（若 $S_t$ 是贪心动作之前的状态，$S_{t+1}$ 是之后的状态）：
效果：α 随时间适当减小时，对任何固定对手，价值收敛到最优策略下每个状态的真实获胜概率——即收敛到针对该对手的最佳策略；α 不降到 0 时，还能对抗缓慢改变策略的对手。
进化方法 vs 价值函数方法
| 进化方法（遗传算法等） | 价值函数方法 | |
|---|---|---|
| 评估单位 | 整个策略（多局比赛的最终胜负） | 单个状态的价值 |
| 中间信息 | 忽略博弈中间发生的事，甚至把功劳分给从未出现的动作 | 利用博弈过程中每一步的可用信息 |
| 与环境的交互中学习？ | 否（仅在个体生命周期之外进化） | 是 |
RL 的迷人之处：井字棋玩家没有对手模型、也不显式搜索未来所有序列，却能达到规划与预测的效果——它甚至能学会给短视的对手设多步陷阱。
6. 适用范围（§1.4 与 §1.5 末尾）
- 不依赖小状态集：Tesauro 用神经网络 + TD 学习西洋双陆棋（约 1020 个状态），达到世界顶级人类水平；泛化能力是大状态集 RL 的关键。
- 模型不是必需的：无模型方法纯试错；有模型则可用于规划，两者可结合（第 8 章 Dyna）。
- 不限于分幕式问题：也适用于连续动作、实时收益、甚至连续时间（理论更复杂）。
- 可融入先验知识：RL 绝不是永远"像婴儿一样"从零学习。
- 进化方法（遗传算法、模拟退火等）也能解 RL 问题但不用价值函数；书中认为它们忽略了"策略是状态到动作的函数"等有用结构，一般效率更低，故不 covered。
7. 本章小结
- RL 是对目标导向的学习与决策问题进行理解和自动化的计算方法，强调智能体通过与环境的直接互动学习，不需要可效仿的监督信号或环境的完整建模。
- RL 使用马尔可夫决策过程（MDP）的形式化框架：状态、动作、收益——涵盖因果、不确定性与显式目标。
- 价值与价值函数是绝大多数 RL 方法的重要特征：它让策略空间的搜索比进化式的整策略评估高效得多。
8. 检索练习（凭记忆作答）
📝 书后练习（可在下节课向我提问讨论）
- 练习 1.1 左右互搏：让算法自己跟自己对战训练会发生什么？会学到不同策略吗？
- 练习 1.2 对称性：如何利用棋盘对称性改进学习？对手不利用对称性时我们还该利用吗？
- 练习 1.3 贪心策略：从不试探的玩家会玩得更好还是更差？可能出现什么问题？
- 练习 1.4 从试探中学习：从试探动作中学习/不学习，收敛到的两组概率有何不同？哪组更有利？