强化学习

5 篇公开记录

• 强化学习2026-01-15
  Lec1: Basic Concepts in Reinforcement Learning

  强化学习

  以方格世界为例,构建强化学习的基础数学框架:状态、动作、奖励、状态转移、策略、轨迹与回报,以及引入折扣率后的折扣回报,最终统一为马尔可夫决策过程(MDP)。
• 强化学习2026-01-22
  Lec2: Bellman Equation

  强化学习

  从回报的递推性出发推导 Bellman 方程:状态价值函数的定义、矩阵形式的封闭解,以及策略评估在 MDP 上的意义。
• 强化学习2026-01-29
  Lec3: Bellman Optimality Equation

  强化学习

  Bellman 最优方程及其压缩映射性质,Banach 不动点定理保证收敛唯一解,以及最优策略的存在性。
• 强化学习2026-02-05
  Lec4: Value Iteration & Policy Iteration

  强化学习

  求解 Bellman 最优方程的两条经典路径:Value Iteration 直接迭代 Bellman 算子,Policy Iteration 在策略评估与改进之间交替,并讨论二者的等价性与收敛性。
• 强化学习2026-02-12
  Lec5: Monte Carlo Learning

  强化学习

  从 Model-based 走向 Model-free:用蒙特卡洛采样估计动作价值,介绍 MC Basic、Exploring Starts 与 ε-Greedy 等同策略 MC 方法。