▶《强化学习的数学原理》(2024春)_西湖大学赵世钰 Ch5 蒙特卡洛方法【model-based ——＞ model-free】

PPT 截取必要信息。 课程网站做习题。总体 MOOC 过一遍

• 1、视频 + 学堂在线 习题
• 2、 过 电子书 是否遗漏 【下载：本章 PDF GitHub 页面链接 】 【第二轮 才整理的，忘光了。。。又看了一遍视频】
• 3、 过 MOOC 习题
• 看 PDF 迷迷糊糊， 恍恍惚惚。

学堂在线 课程页面链接
中国大学MOOC 课程页面链接
B 站 视频链接

PPT和书籍下载网址： 【GitHub链接】

---

上次课程 model-based 【值迭代、策略迭代。动态规划】基于系统模型找最优策略
本次课程 第一次介绍 model-free 方法

策略迭代方法 是这次课的基础 ： 把 策略迭代 中基于模型的部分 替换成 不需要模型的。
动态规划： 值迭代、策略迭代 【model-based】
基于模型的强化学习方法： 用数据 估计出一个模型，根据这个模型进行强化学习。

找最优策略： 要么有模型， 要么有数据
强化学习中的 “数据” 通常是指智能体与环境的交互经验。

5.1 蒙特卡洛估计 的基本思想

P1
如何在没有模型的情况下 估计一些量？ ——> 蒙特卡洛估计

针对 硬币投掷 问题，期望计算

方法一： 当 概率模型已知， 基于概率模型 进行计算。

• 有些问题对应的精确概率分布无法知晓

方法二： 蒙特卡洛思想【多次投掷硬币，求平均值】

大数定律：大量样本的平均值 接近 期望值。

如果概率分布未知，那么我们可以多次抛硬币并记录采样结果 { x i } i = 1 n \{x_i\}_{i=1}^n {xi​}i=1n​ 通过计算样本的平均值，我们可以得到均值的估计。
随着样本数量的增加，估计的均值越来越准确。

用于均值估计的样本必须是独立且同分布的 (i.i.d. 或 iid)。
否则，如果采样值相关，则可能无法正确估计期望值。
一个极端的情况是所有的采样值都和第一个相同，不管第一个是什么。在这种情况下，无论我们使用多少个样本，样本的平均值总是等于第一个样本。

大数定理

对于随机变量 $X$， 假设 { x j } j = 1 N \{x_j\}_{j=1}^N {xj​}j=1N​ 是独立同分布抽样。其中 样本均值 $\bar{x}=\frac{1}{N}\sum _{j=1}^N{x}_j$。则
1、 $\bar{x}$ 是 $\mathbb{E}[X]$ 的无偏估计： $\mathbb{E}[\bar{x}]=\mathbb{E}[X]$
2、当 $N\to \infty$， 方差趋向 0。$Var[\bar{x}]=\frac{1}{N}Var[X]$

样本均值的 期望 等于总体的期望
样本均值的 方差 等于总体方差的$\frac{1}{N}$

证明： 电子书 补充 P90
$$\mathbb{E}[\bar{x}]=\mathbb{E}[\frac{1}{N}\sum _{i=1}^N{x}_i]=\frac{1}{N}\sum _{i=1}^N\mathbb{E}[x_i]\stackrel{同分布}{=}\mathbb{E}[X]$$
同分布，则 $\mathbb{E}[x_i]=\mathbb{E}[X]$
$$Var[\bar{x}]=Var[\frac{1}{N}\sum _{i=1}^N{x}_i]\stackrel{独立}{=}\frac{1}{N^2}\sum _{i=1}^{N}Var[x_i]=\frac{1}{N^2}\cdot N\cdot Var[X]\stackrel{同分布}{=}\frac{1}{N}Var[X]$$

蒙特卡洛估计： 重复随机抽样 近似

• 无需模型

状态值 和 动作值 为随机变量期望

蒙特卡洛估计是指依靠重复随机抽样来解决近似问题的一大类技术。
为什么我们关心蒙特卡洛估计？因为它不需要模型！
为什么我们关心均值估计？因为 状态值 和 动作值 被定义为随机变量的期望！

为什么关心均值估计问题？
因为 状态值 和 动作值 都被定义为 折扣回报 的均值。
估计 状态值 或 动作值 实际上是一个均值估计问题。

• $v_{\pi }(s)=\mathbb{E}[G_t|S_t=s]$
• $q_{\pi }(s,a)=\mathbb{E}[G_t|S_t=s,A_t=a]$

—— 3 个 基于蒙特卡洛 的强化学习 算法

MC Basic、MC Exploring Starts、MC ε-Greedy

5. 2 MC Basic

P2 - P3
如何 将 策略迭代算法 转成 model-free 方法？

蒙特卡洛均值估计

策略迭代算法 在 一次迭代 中的两步：
策略评估：$v_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}$
策略改进： ${\pi }_{k+1}=\arg \underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k})$
————
其中
$$\begin{array}{rl}{\pi }_{k+1}(s)& =\arg \underset{\pi }{\max }\sum _a\pi (a|s)[\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_{{\pi }_k}(s^{\prime })]\\ & =\arg \underset{\pi }{\max }\sum _a\pi (a|s)q_{{\pi }_k}(s,a),s\in \mathcal{S}\end{array}$$

两个步骤中， 动作值 是核心：第一步计算的 状态值 是为了 第二步 中动作值的计算， 且第二步中 新策略 是基于 动作值 确定

选择最大的 $q_{{\pi }_k}(s,a)$，得到新的策略。
那么关键在于如何计算 $q_{{\pi }_k}(s,a)$ ？

修改 动作值 的求解公式：

方法一： model-based 策略迭代算法。

• 先通过求解 贝尔曼公式 计算 状态值 $v_{{\pi }_k}$，再通过下式计算 动作值。
• $q_{{\pi }_k}(s,a)=\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_{{\pi }_k}(s^{\prime })$
• 需要模型 $p(r|s,a)$ 和 $p(s^{\prime }|s,a)$ 已知。 奖励 和 状态转换 的概率分布
  ~  

公式二： model-free 无需模型，基于数据或经验 ✔

• $q_{{\pi }_k}(s,a)=\mathbb{E}[G_t|S_t=s,A_t=a]\approx \frac{1}{n}\sum _{i=1}^n{g}_{{\pi }_k}^{(i)}(s,a)$ 从定义出发

$G_t$： 折扣回报

没有模型时， 依赖数据。
数据在统计或概率里叫 sample， 在强化学习里称为 experience经验。

求解流程：

第 $k$ 次迭代：
1、策略评估：对所有 $(s,a)$ ， 求 $q_{{\pi }_k}$
从 $(s,a)$ 出发， 得到 很多 episodes[回合]，对所有 episode 的 return 求平均。

• 策略迭代： 计算 状态值 ——> 根据系统模型计算 动作值 。【需要 奖励 和 状态转移概率 已知】
• MC Basic： 直接通过数据得到 $q_{{\pi }_k}$。

2、策略改进： 将 动作 改成 最大 $q_{{\pi }_k}$ 对应的动作。

算法描述：

无模型算法 直接估计 动作值。
否则，如果估计状态值，我们仍然需要使用系统模型从这些状态值计算动作值

——————
小结：
MC Basic 是 策略迭代算法 的变形

MC Basic 有助于揭示 基于MC 的无模型 RL 的核心思想，但由于效率低，并不实用。

MC Basic 估计的是 动作值 而不是 状态值。

• 状态值 无法直接用于 改进策略，当系统模型不可获得，应直接估计 动作值。

5.2.3 例子：

针对 $s_1$ 计算 5 个动作的。

环境 和 策略 均确定， 采样 一次 即可

1、从 $(s_1,a_1)$ 开始。上移
episode： $s_1\stackrel{a_1}{\to }{s}_1\stackrel{a_1}{\to }{s}_1\stackrel{a_1}{\to }\cdots$
$q_{{\pi }_0}(s_1,a_1)=-1+\gamma (-1)+{\gamma }^2(-1)+\cdots =(-1)\times \frac{1\times (1-{\gamma }^{(n+2)})}{1-\gamma }=\frac{-1}{1-\gamma }$
~  
2、从 $(s_1,a_2)$ 开始。右移
episode： $s_1\stackrel{a_2}{\to }{s}_2\stackrel{a_3}{\to }{s}_5\stackrel{a_3}{\to }{s}_8\stackrel{a_2}{\to }{s}_9\stackrel{a_5}{\to }{s}_9\stackrel{a_5}{\to }{s}_9\cdots$
$q_{{\pi }_0}(s_1,a_2)=0+\gamma 0+{\gamma }^{2}0+{\gamma }^{3}1+{\gamma }^{4}1+{\gamma }^{5}1+\cdots =\frac{{\gamma }^3}{1-\gamma }$✔
~  
3、从 $(s_1,a_3)$ 开始。下移
episode： $s_1\stackrel{a_3}{\to }{s}_4\stackrel{a_2}{\to }{s}_5\stackrel{a_3}{\to }{s}_8\stackrel{a_2}{\to }{s}_9\stackrel{a_5}{\to }{s}_9\stackrel{a_5}{\to }{s}_9\cdots$
$q_{{\pi }_0}(s_1,a_3)=0+\gamma 0+{\gamma }^{2}0+{\gamma }^{3}1+{\gamma }^{4}1+{\gamma }^{5}1+\cdots =\frac{{\gamma }^3}{1-\gamma }$✔
~  
4、从 $(s_1,a_4)$ 开始。左移
episode： $s_1\stackrel{a_4}{\to }{s}_1\stackrel{a_1}{\to }{s}_1\stackrel{a_1}{\to }\cdots$
$q_{{\pi }_0}(s_1,a_4)=-1+\gamma (-1)+{\gamma }^2(-1)+\cdots =(-1)\times \frac{1\times (1-{\gamma }^{(n+2)})}{1-\gamma }=\frac{-1}{1-\gamma }$
~  
5、从 $(s_1,a_5)$ 开始。不动
episode： $s_1\stackrel{a_5}{\to }{s}_1\stackrel{a_1}{\to }{s}_1\stackrel{a_1}{\to }\cdots$
$q_{{\pi }_0}(s_1,a_4)=0+\gamma (-1)+{\gamma }^2(-1)+\cdots =(-1)\times \frac{1\times (1-{\gamma }^{(n+2)})}{1-\gamma }=\frac{-\gamma }{1-\gamma }$

策略改进： 让 $s_1$ 处选择 执行动作 $a_2$ 或 动作 $a_3$

——————————
练习：

$a_1$： 上移
$a_2$： 右移
$a_3$： 下移
$a_4$： 左移
$a_5$： 不动

通过 观察 发现， 应该 让 $s_3$ 往左 🤣

讨论 $s_3$ 时，所有动作均纳入考量范围。
$s_3$ 上一个策略的动作的 $a_2$ 右移
若是再次 进入当前状态，将采取之前策略的动作。

1、从 $(s_3,a_1)$ 开始。上移 撞墙
episode： $s_3\stackrel{a_1}{\to }{s}_3\stackrel{a_2}{\to }{s}_3\stackrel{a_2}{\to }\cdots$
$q_{{\pi }_0}(s_3,a_1)=-1+\gamma (-1)+{\gamma }^2(-1)+\cdots =(-1)\times \frac{1\times (1-{\gamma }^{(n+2)})}{1-\gamma }=\frac{-1}{1-\gamma }$

2、从 $(s_3,a_2)$ 开始。 右移 撞墙
episode： $s_3\stackrel{a_2}{\to }{s}_3\stackrel{a_2}{\to }{s}_3\stackrel{a_2}{\to }\cdots$
$q_{{\pi }_0}(s_3,a_2)=-1+\gamma (-1)+{\gamma }^2(-1)+\cdots =(-1)\times \frac{1\times (1-{\gamma }^{(n+2)})}{1-\gamma }=\frac{-1}{1-\gamma }$

3、从 $(s_3,a_3)$ 开始。 下移 进入禁止区
episode：$s_3\stackrel{a_3}{\to }{s}_6\stackrel{a_3}{\to }{s}_9\stackrel{a_5}{\to }{s}_9\stackrel{a_5}{\to }{s}_9\stackrel{a_5}{\to }{s}_9\cdots$
$q_{{\pi }_0}(s_3,a_3)=-1+\gamma 1+{\gamma }^{2}1+{\gamma }^{3}1+\cdots =-1+\frac{1}{1-\gamma }=\frac{\gamma }{1-\gamma }$✔

4、从 $(s_3,a_4)$ 开始。左移
episode：$s_3\stackrel{a_4}{\to }{s}_2\stackrel{a_3}{\to }{s}_5\stackrel{a_3}{\to }{s}_8\stackrel{a_2}{\to }{s}_9\stackrel{a_5}{\to }{s}_9\stackrel{a_5}{\to }{s}_9\stackrel{a_5}{\to }\cdots$
$q_{{\pi }_0}(s_3,a_4)=0+\gamma 0+{\gamma }^{2}0+{\gamma }^{3}1+{\gamma }^{4}1+{\gamma }^{5}1+\cdots =\frac{{\gamma }^3}{1-\gamma }$

5、从 $(s_3,a_5)$ 开始。 不动
episode：$s_3\stackrel{a_5}{\to }{s}_3\stackrel{a_2}{\to }{s}_3\stackrel{a_2}{\to }{s}_3\stackrel{a_2}{\to }\cdots$
$q_{{\pi }_0}(s_3,a_5)=0+\gamma (-1)+{\gamma }^2(-1)+{\gamma }^3(-1)+\cdots =\frac{-1}{1-\gamma }$

向下 $a_3$ 进入 禁止区最大。！！！只是中间策略，还不是最优策略。

——————————————————————

示例 2：

episode 长度的影响

当 episode length 较短时，只有接近目标的状态具有非零状态值。
随着 episode length 的增加，距离目标较近的状态比距离目标较远的状态更早具有非零值。

长到足以找到目标即可。

————————
从一个状态出发，agent 必须至少经过一定的步数才能到达目标状态，然后才能获得正奖励。如果 episode length 小于所需的最小步数，回报为零，估计的状态值也为零。在本例中，episode length 必须不少于15，这是从左下角状态开始到达目标所需的最小步数。
上述分析涉及到一个重要的奖励设计问题——稀疏奖励，稀疏奖励是指除非达到目标，否则无法获得正奖励的情况。稀疏的奖励设置要求玩家的 episode 长度应足以达到目标。当状态空间很大时，这个需求很难满足。因此，稀疏奖励问题降低了学习效率。
在上述网格世界的例子中，我们可以重新设计奖励设置，使智能体在达到接近目标的状态时获得一个小的正奖励。这样可以在目标周围形成一个“吸引场”，使 agent 更容易找到目标。

——————

5.3 MC Exploring Starts

P4

MC Basic 算法的优缺点：
1、优点： 清晰揭示核心思想
2、缺点： 过于简单 不实用

具体原因：

对 MC Basic 算法 进行改进：

高效使用数据：

first-visit：只有第一次遇到的时候估计， 后续遇到不再进行估计。
every-visit：每次遇到都估计

就样本使用效率而言，every-visit 策略是最好的。
如果一个 episode 足够长，以至于它可以多次访问所有 状态-动作对，那么这个 episode 可能足以使用 every-visit 策略 估计所有动作值。然而，every-visit 策略获得的样本是相关的，因为从第二次访问开始的轨迹只是从第一次访问开始的轨迹的子集。然而，如果两次访问在轨迹上彼此距离较远，则相关性不强。

• 额外参数用于 判断两次访问距离的远近？

5.3.2

何时更新策略?
方式一：在策略评估步骤中，收集从状态-动作对开始的所有 episodes，然后使用 平均 return 来近似动作值。

• MC Basic 算法所采用的。
• agent 必须等到所有 episodes 都收集完毕。

方式二：使用 单个 episode 的 return 来近似动作值。✔

• 得到一个 episode 的结果就改进
• 逐步改善 策略

GPI: Generalized policy iteration

• 在 policy-evaluation 和 policy-improvement 进程间不断切换。

搜索 最佳策略 的方法： MC Exploring Starts 【MC Basic 的进阶版本】
1、episode 获取： 状态-动作 对 集合
2、策略 评估 和 改进

• 从 后往前算

选择 MC Exploring Starts 的原因：
Exploring：理论上，只有充分探索了每个状态的每个动作值，我们才能选到最佳动作。如果一个行动没有被探索，这个行动可能恰好是最优的，这样错过了最佳动作。

• 从每一个 $(s,a)$ 出发， 都要有 episode, 这样可以用后面的 reward 来估计 return，进一步估计 action value。

Starts：
要访问每一个 $(s,a)$, 获取后面生成 reward 的数据。两个方式：
1、考虑 从 $(s,a)$ 开始一个 episode,
2、从其它的 $(s,a)$ 开始， 经过 所需的 $(s,a)$ , 后面的数据也可以用于估计这个 $(s,a)$ 的 return 。【visit】

visit 的方式 由于 策略 和 环境 的随机性，无法保证 从 某一个 $(s,a)$ 开始一定经过 剩下的 $(s,a)$。

——> 对于 任意一个 $(s,a)$ ， 保证一定有一个 episode 从该 $(s,a)$ 开始。

在实践中，exploring starts 很难实现。对于许多应用，特别是那些涉及与环境进行物理交互的应用，很难从每个 状态-动作对 开始收集所有 的 episodes。

5.4 MC ε-Greedy：无需 exploring starts

P5 - P6

exploring starts： 要求每个 状态-动作对 都可以被访问足够多次。 ——> 软策略 亦可 达到

软策略： 每一个 action 都有可能 执行。

确定的策略：贪心策略
随机策略： soft policy 中 的 $\epsilon$-greedy

soft policy： 任一状态 采取 任一动作 的 概率均为 正。

当 有限个 状态-动作对 开始的 episodes 已经可以覆盖 所有的 状态-动作对， 此时 可以 无需 exploring starts。

ε 贪心策略

$$\pi (a|s)=\{\begin{array}{rlr}& 1-\frac{\epsilon }{|\mathcal{A}(s)|}(|\mathcal{A}(s)|-1),& 贪心动作\\ & \frac{\epsilon }{|\mathcal{A}(s)|},& 其它动作\end{array}$$

• $\epsilon \in [0,1]$， $|\mathcal{A}(s)|$ 是 动作集 $s$ 的长度。
• 选择 贪心动作的 几率总是 大于 其它动作。 因为 $1-\frac{\epsilon }{|\mathcal{A}(s)|}(|\mathcal{A}(s)|-1)=1-\epsilon +\frac{\epsilon }{|\mathcal{A}(s)|}\ge \frac{\epsilon }{|\mathcal{A}(s)|}$

使用 $\epsilon$ 贪心策略 的原因： 平衡 exploitation 和 exploration

exploitation VS exploration:
exploitation：充分利用。 知道某个 action 的 action value 比较大，下一时刻马上实施 该动作。

• $\epsilon$ = 0， 贪心， 看当前

exploration：探索。虽然知道 某个 action 当前有更多的 reward, 但认为 当前信息 存在不完备问题， 仍考虑探索 其它 action。

• $\epsilon$ = 1， 对 每个动作的 选择概率 相同， 均匀分布，探索性 更强。

如何 将 $\epsilon$ 贪心策略 运用到 基于 MC 的强化学习 算法？

$\Pi$：所有 可能策略 的集合
策略改进步骤：
$${\pi }_{k+1}(s)=\arg \underset{\pi \in \Pi }{\max }\sum _a\pi (a|s)q_{{\pi }_k}(s,a)$$
最优策略为：
$${\pi }_{k+1}(a|s)=\{\begin{array}{rlr}& 1,& a=a_k^{\ast }\\ & 0,& a\ne a_k^{\ast }\end{array}$$
其中 $a_k^{\ast }=\arg \underset{a}{\max }{q}_{{\pi }_k}(s,a)$
————————————————————
${\Pi }_{\epsilon }$：$\epsilon$ 给定 时的 $\epsilon$ 贪心策略 集合
策略改进步骤：
$${\pi }_{k+1}(s)=\arg \underset{\pi \in {\Pi }_{\epsilon }}{\max }\sum _a\pi (a|s)q_{{\pi }_k}(s,a)$$
最优策略为：
$${\pi }_{k+1}(a|s)=\{\begin{array}{rlr}& 1-\frac{|\mathcal{A}(s)|-1}{|\mathcal{A}(s)|}\epsilon ,& a=a_k^{\ast }\\ & \frac{1}{|\mathcal{A}(x)|}\epsilon ,& a\ne a_k^{\ast }\end{array}$$

$\Pi$ $\Pi$

————————

P6
$\epsilon$-greedy 的探索性

当 $\epsilon$ 比较大时， 探索性较强， 可以 不用 exploring starts 这样的条件。从某一些 (s, a) 对 出发的 episodes 就能 覆盖 其它 所有 的 (s, a) 对。 状态-动作 对

$\epsilon =1$， 均匀分布， 每个 action 的执行概率相等。

25 个状态， 每个状态 有 5 个 action。一共 25 * 5 = 125 个 状态-动作 $(s,a)$ 对。

从访问次数可以看出， 从 某一些 $(s,a)$ 出发， 即可覆盖其它所有的 $(s,a)$。

当 $\epsilon$ 比较小时， 当 步数 达到 1 万时， 仍有 状态-动作对 未被探索到。

例子：
按照以下步骤运行 MC - greedy 算法：
在每次迭代中：在 episode 生成步骤中，使用之前的策略生成一个100万步 的 episode !
在其余步骤中，使用单个 episode 更新策略。

两次迭代可以得到最优的 $\epsilon$-greedy 策略。

5.5 $\epsilon -$ greedy 策略的探索与利用

$\epsilon$-greedy 策略：
探索性较强，不需要 exploring starts 条件。
获得的策略通常不是最优的。——> 设置较小的 $\epsilon$

• 因为 最终获得的策略 只是 $\epsilon$-greedy 策略 集合 ${\Pi }_{\epsilon }$中的最优。

$\epsilon$ 逐渐减小：一开始设置较大的 ，较强的探索能力；后面 让 $\epsilon$ 逐渐趋向于 0， 增加获得最优策略的可能性。

例子：

随着 $\epsilon$ 增大， 所获得的最优策略变差。

如果策略中具有最大概率的行为是相同的，则两个 $\epsilon$ 贪婪策略是一致的 (consistent)。

因此一般在后面 让 $\epsilon$ 逐渐趋向于 0。

---

exploration探索 和 exploitation利用 构成了强化学习的基本权衡。
探索意味着策略可以采取尽可能多的行动。这样，所有的动作都可以被访问和评估。
利用是指改进后的策略应采取 动作值最大的贪心行为。但是，由于探索不够，目前得到的动作值可能不准确，所以我们在利用的同时要不断探索，避免遗漏最优动作。

$\epsilon -$ greedy 策略 提供了一种平衡探索和利用的方法。
一方面， $\epsilon -$ greedy 策略 采取贪心行为的概率更高，从而可以利用估计值。
另一方面，$\epsilon -$ greedy 策略 也有机会采取其他行动，使其能够继续探索。
$\epsilon -$ greedy 策略 不仅用于基于 MC 的强化学习算法，还用于其他强化学习算法，如第 7 章介绍的时间差分学习。

$\epsilon$ 减小 ——> 利用
$\epsilon$ 增大 ——> 探索

√ 5.6 小结：

MC Basic：这是最简单的基于 MC 的强化学习算法。该算法通过将 策略迭代 算法中基于模型的策略评估步骤替换为基于无模型 MC 的估计组件而获得。给定足够的样本，保证算法收敛到最优策略和最优状态值。
MC Exploring Starts：该算法是 MC Basic 的一个变体。MC Basic 算法可以采用 first-visit 策略 或 every-visit 策略来更有效地利用样本。
MC $\epsilon$-Greedy：这个算法是 MC Exploring Starts 的一个变体。具体来说，在策略改进步骤中，它搜索 最优的 $\epsilon$-greedy 策略，而不是贪心策略。这样可以增强策略的探索能力，从而消除 exploring starts 的条件。

exploration探索 和 exploitation利用 之间的权衡。随着 $\epsilon$ 值的增大，$\epsilon$-greedy 策略的探索能力增强，贪心行为的利用减少。另一方面，如果 $\epsilon$ 的值降低，我们可以更好地利用贪心行为，但探索能力下降。

————————————————
√ 5.7 Q&A

均值估计问题：基于随机样本计算随机变量的期望值。

免模型的 基于 MC 的强化学习 的核心思想：
将 策略迭代算法 中基于模型的策略评估步骤 ——> 免模型 的 基于 MC 的策略评估步骤。

initial-visit, first-visit, every-visit
它们是在一个 回合episode 中使用样本的不同策略。
一个 episode 可能会访问在许多 状态-动作 组合中。
initial-visit 策略使用 整个 episode 来估计 初始 状态-动作对的 动作值。 【MC Basic】
every-visit 和 first-visit 策略可以更好地利用给定的样本。
如果在每次访问状态-动作对时， 都用 episode 的其余部分估计其动作值，则这种策略称为 every-visit。【MC $\epsilon$-Greedy】
如果我们仅在 状态-动作对 第一次被访问时估计其动作值，这样的策略被称为 first-visit。

• first-visit 和 every-visit 哪个好些呢？一般怎么选择用哪种？ P97
  ——> 样本使用效率上，every-visit 最好，但若是两次访问较近，可能存在相关性。
  ⭐ 可参考链接： https://deepgram.com/ai-glossary/monte-carlo-learning

——————
习题笔记：

均值估计： 利用一些随机样本来估算一个随机变量的 均值 或 期望。

研究 均值估计问题的原因：状态值 和 动作值 为随机变量期望

蒙特卡罗(Monte Carlo)估计在强化学习中的作用是什么？

• MC 是用来直接估计动作值的。注意本次课中没有用 MC 估计状态值，因为即使估计出来状态值，还需要进一步估计动作值，因此要一步到位估计动作值。

在强化学习中“模型”（model）：表示 状态转换 和 奖励函数 的概率分布

在强化学习中“数据”：从与环境的互动中获得的经验样本

MC Basic算法 把 策略迭代算法 中 依赖模型的部分 用不依赖模型的部分替换掉得到的算法。

MC Basic 算法的每次迭代有 2 个步骤：策略评估 和 策略改进