策略梯度方法

策略梯度方法

数学背景

给定一个标量函数$J\left(\theta \right)$，利用梯度上升法，使其最大化，此时的${\pi }_{\theta }$就是最优策略。
$${\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }J({\theta }_t)$$

标量函数$J(\theta )$

就是上面提到的最优指标$J$，一般有以下几种定义：

1. 平均状态价值
   $${\bar{v}}_{\pi }=\sum _{s\in \mathcal{S}}{d}_{\pi }(s)v_{\pi }(s)=\mathbb{E}\left[v_{\pi }(S)\right]$$
   如果$d$与$\pi$无关，那么记$d_{\pi }=d_0$，就Grid World问题，由于状态价值$v$是回报的期望，考虑两种具体情况：

   • 起始在随机位置，均匀考虑每个状态价值：$d_0=1/|\mathcal{S}|$
   • 起始在固定位置，只考虑$s_0$状态价值即可：$d_0(s_0)=1,d_0(s\ne s_0)$

   如果$d$与$\pi$有关，求解$d_{\pi }^T{P}_{\pi }=d_{\pi }^T$得到$d_{\pi }$，其中$P_{\pi }$是在策略$\pi$下的状态转移矩阵。此时，如果一个状态经常出现，对应的$d(s)$就会变大。

2. 平均瞬时奖励
   $${\bar{r}}_{\pi }=\sum _{s\in \mathcal{S}}{d}_{\pi }(s)r_{\pi }(s)=\mathbb{E}\left[r_{\pi }(S)\right]$$

   其中$r_{\pi }(s)$是agent在某状态按策略$\pi$在动作空间中采取动作的瞬时奖励
   $$r_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (s\mid a)r(s,a)$$

   此定义与episode reward等价，即当episode长度无限大时，$s$按$d_{\pi }$分布，即
   $$\underset{n\to \infty }{\lim }\frac{1}{n}\mathbb{E}[\sum _{k=1}^n{R}_{t+k}]⟺{\bar{r}}_{\pi }$$

$J(\theta )$的梯度

上面两类指标函数的梯度都可以写成：
$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)\\ & =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}\pi (a|s,\theta ){\nabla }_{\theta }\log \pi (a|s,\theta )q_{\pi }(s,a)\\ & =\mathbb{E}[{\nabla }_{\theta }\log \pi (A|S,\theta )q_{\pi }(S,A)]\end{array}$$
其中，$S\sim \eta$，$A\sim \pi (a|s,\theta )$

训练时，使用随机近似的梯度：
$${\nabla }_{\theta }J\approx {\nabla }_{\theta }\log \pi (a|s,\theta )q_{\pi }(s,a)$$

REINFORCE伪代码