强化学习小笔记 —— 如何选择合适的更新步长

在强化学习中，动作价值函数的更新可以使用增量法，如下所示：
$$\begin{array}{rl}{Q}_k& =\frac{1}{k}\sum _{i=1}^k{r}_i\\ & =\frac{1}{k}(r_k+\sum _{i=1}^{k-1}{r}_i)\\ & =\frac{1}{k}(r_k+(k-1)Q_{k-1})\\ & =\frac{1}{k}(r_k+k{Q}_{k-1}-Q_{k-1})\\ & =Q_{k-1}+\frac{1}{k}[r_k-Q_{k-1}]\end{array}$$
因此，根据最新观测到的奖励$r_k$，使用增量计算方法根据误差$r_k-Q_{k-1}$调整当前的估计值$Q_k$，步长为$\frac{1}{k}$，继而获得新的估计值$Q_k$。这意味着，如果最近观测到的奖励大于当前的估计值，我们会向上修改行动值的估计值。

请注意，由于存在$\frac{1}{k}$项，随着我们进行更多的观测，我们调整估计的比率将变小（公式中的$k$随着访问次数的增加而不断增加，导致$\frac{1}{k}$越来越小）。因此，我们对最新的观测不太重视，对特定动作的动作值的估计会随着时间的推移而逐渐稳定下来。这意味着学习过程会逐渐变得保守，因为我们更加相信之前的经验。

但是，如果环境不是静止而是随时间变化的，这可能是不利的。在某些情况下，我们希望使用不会随时间减小的固定不长，例如，固定的步长$\alpha \in (0,1)$。当环境随时间变化时，我们希望智能体能够适应环境的变化，而不是过分依赖过去的经验。如果我们使用固定步长，智能体将更好地适应这些变化，因为它会持续地从新的经验中学习，而不是逐渐降低学习速率。

综上，在一个平稳问题（环境）中，我们通常设置步长不断递减，这将有助于模型更快收敛。在一个随时间变化的环境中，我们通常设置固定的步长，避免模型过分依赖过去的经验。