One Forth

A10 / advanced

强化学习

强化学习围绕第一编 决策过程与价值、第二编 控制与策略、第三编 高级强化学习与综合复习建立连续章节顺序。

结构
3 Parts · 6 章
适合读者
适合完成相关本科基础课程、需要进入高级理论与计算方法的读者。
正文状态
0 章已有正文，6 章已规划
开始本册

BEFORE READING

先修与记号

本册对象

从 Markov 决策过程进入价值方法、策略优化、模型学习和离线强化学习。

先修教材

符号约定

  • 本册在首次使用时定义强化学习专用符号，并区分标量、向量、算子与单位。
  • 同一符号出现多种约定时明确命名空间、假设和适用章节。

COMPLETE CONTENTS

完整目录

PART 01

第一编 决策过程与价值

第一编 决策过程与价值组织Markov 决策过程与 Bellman 方程、动态规划、Monte Carlo 与时序差分，形成连续的学习单元。

  1. 01

    Markov 决策过程与 Bellman 方程

    本章研究Markov 决策过程与 Bellman 方程。内容依次处理状态、动作、转移核与回报、策略价值、动作价值与占用分布、Bellman 期望方程和最优方程。

    计划章节
  2. 02

    动态规划、Monte Carlo 与时序差分

    本章研究动态规划、Monte Carlo 与时序差分。内容依次处理策略评估、策略改进与价值迭代、Monte Carlo 回报与自举估计、TD(λ)、资格迹与偏差方差折中。

    计划章节
PART 02

第二编 控制与策略

第二编 控制与策略组织Q-learning、探索与函数逼近、策略梯度、actor–critic 与优势估计，形成连续的学习单元。

  1. 03

    Q-learning、探索与函数逼近

    本章研究Q-learning、探索与函数逼近。内容依次处理表格 Q-learning 更新与离策略目标、ε-greedy、乐观初始化与探索覆盖、函数逼近、目标网络与致命三元组。

    计划章节
  2. 04

    策略梯度、actor–critic 与优势估计

    本章研究策略梯度、actor–critic 与优势估计。内容依次处理对数导数技巧与 REINFORCE、actor–critic 的价值基线与时序更新、优势估计、重要性比率与策略裁剪。

    计划章节
PART 03

第三编 高级强化学习与综合复习

第三编 高级强化学习与综合复习组织基于模型、离线与多智能体强化学习、稳定性、评估与强化学习综合复习，形成连续的学习单元。

  1. 05

    基于模型、离线与多智能体强化学习

    本章研究基于模型、离线与多智能体强化学习。内容依次处理环境模型学习、规划与模型偏差、离线数据支持集和分布外动作、多智能体信用分配与非平稳性。

    计划章节
  2. 06

    稳定性、评估与强化学习综合复习

    本章研究稳定性、评估与强化学习综合复习。内容依次处理回报尺度、种子方差与学习曲线、在线离线评估、反事实估计与置信区间、奖励投机、安全约束与部署回退。

    计划章节

综合练习计划

  • 每章安排定义辨析、推导计算和结果核验练习。
  • 本册末章安排跨 Part 综合题，并保留可复算的解题检查点。

参考资料计划

  • TODO：为《强化学习》逐项核验权威教材、课程页面或原始论文后登记资源 ID。

修订状态

课程 Schema v1。目录与章节位置已登记；参考资料需逐项核验后进入正式正文。

相关教材