术语速查表 · 第 1 章 导论
打印友好 · 后续课程的用词以此为准
| 术语 | 一句话定义 |
|---|---|
| 强化学习 | 学习"做什么"（如何把情境映射为动作）以最大化数值化收益信号的计算方法；兼具问题、方法与领域三层含义。 |
| 智能体 / 环境 | 学习者与决策者称为智能体；它交互的对象（智能体之外的一切）称为环境。 |
| 试错（trial-and-error） | 无人告知正确动作，靠自身尝试发现高收益动作——RL 两大特征之一。 |
| 延迟收益（delayed reward） | 动作影响未来情境与后续收益——RL 两大特征之二。 |
| 试探（exploration） | 尝试未曾选择过的动作以发现更优选择。 |
| 开发（exploitation） | 选择当前估计下收益最大的动作以获取收益。 |
| 策略（policy）π | 状态到动作的映射，决定智能体的行为方式；RL 智能体的核心。对应"刺激—反应"规则。 |
| 收益信号（reward signal） | 每步环境发给智能体的标量，定义目标（最大化长期总收益），决定短期好坏，是改变策略的主要基础。 |
| 价值（value） | 从某状态出发对未来累积收益的期望；长期视角的"好坏"。由智能体反复评估所得，非环境直接给出。 |
| 价值函数（value function） | 状态→价值的函数；几乎所有 RL 算法最重要的组成部分。 |
| 环境模型（model） | 对环境反应模式的模拟：给定状态与动作可预测下一状态与收益；用于规划。 |
| 规划（planning） | 在真正经历之前，先考虑未来可能情境并预先决定动作。 |
| 有模型 / 无模型方法 | 使用环境模型+规划的方法 / 纯试错、不用模型的方法。 |
| 回溯更新（backup） | 把后继状态的价值回传、用于更新先前状态的价值。 |
| 时序差分（TD） | 更新量依赖于相邻两个时刻状态价值之差 V(St+1)−V(St) 的学习方法。 |
| 步长参数 α | 小的正分数，控制每次更新的幅度（学习速率）。 |
| 进化方法 | 遗传算法等不估计价值函数、按整策略长期收益筛选策略的方法；忽略交互中间信息。 |
| 马尔可夫决策过程（MDP） | 以状态、动作、收益形式化"感知—动作—目标"交互的框架（第 3 章正式定义）。 |
| 幕（episode） | 可自然结束的任务的一次完整交互过程（如一局井字棋）。 |
第 2 章 多臂赌博机
| 术语 | 一句话定义 |
|---|---|
| k 臂赌博机问题 | 重复在 k 个动作中选择，每个动作产生平稳概率分布的收益，目标是长期总收益最大。单状态、非关联。 |
| 评估性 / 指导性反馈 | 前者只评"所选动作的好坏"（依赖动作），后者直接给"正确动作"（与所选动作无关，即有监督学习）。 |
| 动作价值 q*(a) | 选择动作 a 的期望收益：q*(a) ≐ 𝔼[Rt|At=a]；估计值记 Qt(a)。 |
| 贪心动作 / 开发 / 试探 | 估计价值最高的动作 / 选贪心动作（利用已知）/ 选非贪心动作（获取信息）。 |
| ε-贪心方法 | 以 1−ε 概率贪心、ε 概率随机等概率选动作；长期保证所有 Q 收敛到真值。 |
| 采样平均法 | 用历史收益的样本均值估计 Qt(a)（式 2.1），适合平稳问题。 |
| 增量式更新 | Qn+1 = Qn + (1/n)[Rn − Qn]；一般形式：新估计值←旧估计值+步长×[目标−旧估计值]。 |
| 固定步长 α / 指数近因加权 | Qn+1=Qn+α[Rn−Qn]，历史收益权重 α(1−α)n−i 指数衰减，适合非平稳问题。 |
| 收敛条件 (2.7) | Σαn=∞ 且 Σαn2<∞；1/n 满足，常数 α 不满足（永不完全收敛）。 |
| 乐观初始值 | 把 Q1(a) 设得远高于真值，靠"失望"驱动贪心方法试遍所有动作；试探力是暂时的，不适合非平稳。 |
| UCB 动作选择 | 选 argmax[Qt(a)+c√(ln t/Nt(a))]；平方根项度量不确定性，样本少的动作优先。 |
| 梯度赌博机算法 | 学偏好 Ht(a)，按 softmax πt(a) 选择；更新含基准项 𝑅̄t，是期望收益的随机梯度上升。 |
| softmax / πt(a) | πt(a) ≐ e^H/Σe^H，动作被选概率；偏好同加常数不影响分布。 |
| 基准项（baseline） | 更新中减去的不依赖所选动作的标量（常取 𝑅̄t），不改变期望更新但显著降低方差。 |
| 关联搜索 / 上下文赌博机 | 每步可见任务线索（状态），需学"情境→动作"策略，但动作不影响下一情境；介于赌博机与完整 RL 之间。 |
| 10 臂测试平台 | 2000 个随机 10 臂问题（q*~N(0,1)，R~N(q*,1)）的平均性能基准实验。 |
第 2 章核心公式
Qn+1 = Qn + α[Rn − Qn] （α=1/n 得采样平均）
At = argmaxa[Qt(a) + c√(ln t / Nt(a))] （UCB）
πt(a) = eHt(a) / Σb eHt(b) （softmax）
三条历史主线（§1.7）
| 主线 | 起源 | 贡献 |
|---|---|---|
| 试错学习 | 动物学习心理学 → 早期 AI | RL 的行为主义内核，20 世纪 80 年代初激发 RL 复兴 |
| 最优控制 | Bellman 动态规划、MDP、Howard 策略迭代 | 价值函数与贝尔曼方程 |
| 时序差分 | 较隐蔽的独立线索 | 20 世纪 80 年代末三线交汇 → 现代强化学习 |