◇【code】PPO： Proximal Policy Optimization

整理的代码库：https://github.com/Gaoshu-root/Code-related-courses/tree/main/RL2024/PPO

OpenAI 文档 —— PPO-Clip

OpenAI 文档 界面链接

PPO： on-policy 算法、适用于 离散 或 连续动作空间。可能局部最优

PPO 的动机与 TRPO 一样：如何利用现有的数据在策略上采取最大可能的改进 step，而不会改动过大而意外导致性能崩溃？

• TRPO 试图用一种复杂的二阶方法来解决这个问题，PPO 则是一种一阶方法，它使用了一些其他技巧来保持 新策略接近旧策略。
• PPO 方法的实现要简单得多，而且从经验上看，其执行效果至少与 TRPO 一样好。

PPO 有两种主要的变体：PPO-Penalty 和 PPO-Clip。

• PPO-Penalty 近似地解决了像 TRPO 这样的 KL 约束更新，但在目标函数中惩罚了 KL-divergence，而不是使其成为硬约束，并在训练过程中自动调整惩罚系数，使其适当缩放。
• PPO-Clip 在目标函数中没有 KL-divergence 项，也没有约束。而是依靠对目标函数的特定裁剪来去除 新策略远离旧策略 的激励。
  PPO-Clip (OpenAl 使用的主要变体)。

关键公式

PPO-clip 更新策略： ${\theta }_{k+1}=\arg \underset{\theta }{\max }\underset{s,a\sim {\pi }_{{\theta }_k}}{\mathbb{E}}[L(s,a,{\theta }_k,\theta )]$

通常采取多步(通常是小批量) SGD 来最大化目标。

$L(s,a,{\theta }_k,\theta )=\min (\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_k}(a|s)}{A}^{{\pi }_{{\theta }_k}}(s,a),\text{clip}(\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_k}(a|s)},1-ϵ,1+ϵ)A^{{\pi }_{{\theta }_k}}(s,a))$

• 其中 $ϵ$ 是一个(小)超参数，它大致表示新策略 与 旧策略之间的距离。

这是一个相当复杂的表达式，乍一看很难看出它在做什么，或者它如何帮助保持新策略接近旧策略。事实证明，这个目标有一个相当简化的版本[1]，更容易处理(也是我们在代码中实现的版本):

$L(s,a,{\theta }_k,\theta )=\min (\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_k}(a|s)}{A}^{{\pi }_{{\theta }_k}}(s,a),g(ϵ,A^{{\pi }_{{\theta }_k}}(s,a)\left)\right)$

• 其中 $g(ϵ,A)=\{\begin{array}{rl}(1+ϵ)A& A\ge 0\\ (1-ϵ)A& A<0\end{array}$

————————————————

简化版本的 PPO-Clip 目标 推导

整理自 链接 (20180730)

命题 1： PPO-Clip 目标可简化成

$L_{{\theta }_k}^{\mathrm{CLIP}}(\theta )=\underset{s,a\sim {\theta }_k}{\mathbb{E}}\left[\min \right(\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_k}(a|s)}{A}^{{\theta }_k}(s,a),g(ϵ,A^{{\theta }_k}(s,a))\left)\right]$

• 其中 $g(ϵ,A)=\{\begin{array}{rl}(1+ϵ)A& A\ge 0\\ (1-ϵ)A& \text{otherwise}\end{array}$

简化过程：
PPO-Clip 的目标函数为：
~  
$L_{{\theta }_k}^{\mathrm{CLIP}}(\theta )\doteq \underset{s,a\sim {\theta }_k}{\mathbb{E}}\left[\min \right(\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_k}(a|s)}{A}^{{\theta }_k}(s,a),\mathrm{clip}(\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_k}(a|s)},1-ϵ,1+ϵ)A^{{\theta }_k}(s,a)\left)\right]$
~  
$\underset{s, a\sim\theta_k}{\mathbb E}$$\underset{s,a\sim {\theta }_k}{\mathbb{E}}$

• 其中 ${\theta }_k$ 为第 $k$ 次迭代 的策略的参数 ， $ϵ$ 为 小的超参数。

~  
设 $ϵ\in (0,1)$， 定义
$F(r,A,ϵ)\doteq \min (rA,\mathrm{clip}(r,1-ϵ,1+ϵ)A)$
当 $A\ge 0$
$\begin{array}{rl}F(r,A,ϵ)& =\min (rA,\mathrm{clip}(r,1-ϵ,1+ϵ)A)\\ & =A\min (r,\mathrm{clip}(r,1-ϵ,1+ϵ))\\ & =A\min (r,\left\{\begin{array}{rlr}& 1+ϵ& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & 1-ϵ& r\le 1-ϵ\end{array}\right\})\\ & =A\left\{\begin{array}{rlr}& \min (r,1+ϵ)& r\ge 1+ϵ\\ & \min (r,r)& r\in (1-ϵ,1+ϵ)\\ & \min (r,1-ϵ)& r\le 1-ϵ\end{array}\right\}\\ & =A\left\{\begin{array}{rlr}& 1+ϵ& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & r& r\le 1-ϵ\end{array}\right\}根据右侧的范围\\ & =A\min (r,1+ϵ)\\ & =\min (rA,(1+ϵ)A)\end{array}$
~  
当 $A<0$
$\begin{array}{rl}F(r,A,ϵ)& =\min (rA,\mathrm{clip}(r,1-ϵ,1+ϵ)A)\\ & =A\max (r,\mathrm{clip}(r,1-ϵ,1+ϵ))\\ & =A\max (r,\left\{\begin{array}{rlr}& 1+ϵ& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & 1-ϵ& r\le 1-ϵ\end{array}\right\})\\ & =A\left\{\begin{array}{rlr}& \max (r,1+ϵ)& r\ge 1+ϵ\\ & \max (r,r)& r\in (1-ϵ,1+ϵ)\\ & \max (r,1-ϵ)& r\le 1-ϵ\end{array}\right\}\\ & =A\left\{\begin{array}{rlr}& r& r\ge 1+ϵ\\ & r& r\in (1-ϵ,1+ϵ)\\ & 1-ϵ& r\le 1-ϵ\end{array}\right\}根据右侧的范围\\ & =A\max (r,1-ϵ)\\ & =\min (rA,(1-ϵ)A)\end{array}$
~  
综上：可定义 $g(ϵ,A)$
~  
$g(ϵ,A)=\{\begin{array}{rlr}& (1+ϵ)A& A\ge 0\\ & (1-ϵ)A& A<0\end{array}$

动机： 如果给定的 状态-动作 对 具有负的优势 $A$，优化想要让 ${\pi }_{\theta }(a|s)$ 更小，但让 ${\pi }_{\theta }(a|s)$ 比 $(1-ϵ){\pi }_{\theta }(a|s)$ 小对目标函数并没有额外的益处。
如果给定的 状态-动作 对 具有正的优势 $A$，优化想要让 ${\pi }_{\theta }(a|s)$ 更大，但让 ${\pi }_{\theta }(a|s)$ 比 $(1+ϵ){\pi }_{\theta }(a|s)$ 大对目标函数并没有额外的益处。

————————————————

1、当 advantage优势 为正

$L(s,a,{\theta }_k,\theta )=\min (\frac{{\pi }_{\theta }(a|s)\uparrow }{{\pi }_{{\theta }_k}(a|s)},1+ϵ)A^{{\pi }_{{\theta }_k}}(s,a)$

当 状态-动作对 的优势是正的，希望拟习得的策略增大动作 $a$ 被执行的概率，即增大 ${\pi }_{\theta }(a|s)$ ，这将会使得目标增大。
但该项中的 min 限制了 目标函数只能增大到某个值
一旦 ${\pi }_{\theta }(a|s)>(1+ϵ){\pi }_{{\theta }_k}(a|s)$， min 触发，限制该项值为 $(1+ϵ){\pi }_{{\theta }_k}(a|s)$。
the new policy does not benefit by going far away from the old policy.
新策略 不会因远离 旧策略而受益。
——> 策略将会习得 不要与原策略相差过大。

2、当 advantage优势为负

$L(s,a,{\theta }_k,\theta )=\max (\frac{{\pi }_{\theta }(a|s)\downarrow }{{\pi }_{{\theta }_k}(a|s)},1-ϵ)A^{{\pi }_{{\theta }_k}}(s,a)$

当 某个状态-动作对 的优势是负的，希望拟习得的策略减小该动作 $a$ 被执行的概率 ，即 减小 ${\pi }_{\theta }(a|s)$ ，此时目标函数就会增大。但是该项中的 max 限制了目标函数可以增大到多少。
一旦 ${\pi }_{\theta }(a|s)<(1-ϵ){\pi }_{{\theta }_k}(a|s)$， max 触发，限制该项值为 $(1-ϵ){\pi }_{{\theta }_k}(a|s)$。

再次说明：the new policy does not benefit by going far away from the old policy.
新策略 不会因远离 旧策略而受益。

注意： 这种 clipping 最终仍有可能得到一个与旧策略相去甚远的新策略，在这里的实现中，我们使用了一个特别简单的方法：提前停止。如果新策略与旧策略的平均 KL -散度超过一个阈值，我们就停止执行梯度步骤。

探索 vs. 利用

PPO 以一种 on-policy 的方式训练随机策略。
这意味着它根据随机策略的最新版本通过抽样动作进行探索。
动作选择的随机性取决于初始条件和训练过程。
在训练过程中，策略通常会逐渐变得不那么随机，因为更新规则会鼓励它利用已经找到的奖励。这可能导致策略陷入局部最优状态。

PPO-Clip 算法伪码

算法： PPO-Clip
1：输入：策略的初始参数 ${\theta }_0$，价值函数的初始参数 ${\varphi }_0$
2：$\mathbf{for}k=0,1,2,\dots \mathbf{do}$：每个 epoch轮次 ~~~~     未过拟合的前提下，轮次越多越好
3： ~~~~~~       通过在环境中运行策略 ${\pi }_k=\pi ({\theta }_k)$ 收集轨迹集 D k = { τ i } {\cal D}_k=\{\tau_i\}~~~~~ Dk​={τi​}      $|{\mathcal{D}}_k|$ 个并行 actors，每个 actor 收集 长度为 $T$ 个时间步 的数据
4： ~~~~~~       计算奖励 (rewards-to-go) ${\hat{R}}_t$ 有些实现用的 td_target ${\hat{R}}_t=\sum _{t^{\prime }=t}^{T}R(s_{t^{\prime }},a_{t^{\prime }},s_{t^{\prime }+1})$ 【参考链接】 ~~~~~       $R(\tau )=\sum _{t=0}^{\infty }{\gamma }^t{r}_t$ 【参考链接】
5： ~~~~~~       计算优势估计，基于当前价值函数 $V_{{\varphi }_k}$ 的 ${\hat{A}}_t$ (使用任何优势估计方法) ~~~~~      GAE

6： ~~~~~~       通过最大化 PPO-Clip 目标 更新策略：
~~~~~~~~~~~            
${\theta }_{k+1}=\arg \underset{\theta }{\max }\frac{1}{|{\mathcal{D}}_k|T}\sum _{\tau \in {\mathcal{D}}_k}\sum _{t=0}^T\min (\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_k}(a_t|s_t)}{A}^{{\pi }_{{\theta }_k}}(s_t,a_t),g(ϵ,A^{{\pi }_{{\theta }_k}}(s_t,a_t)))$
~~~~~~~~~~~            
~~~~~~~~~~~            
~~~~~~~~~~~            一般 随机梯度上升 + Adam
7： ~~~~~~       均方误差回归 拟合 价值函数:
~~~~~~~~~~~            
${\varphi }_{k+1}=\arg \underset{\varphi }{\min }\frac{1}{|{\mathcal{D}}_k|T}\sum _{\tau \in {\mathcal{D}}_k}\sum _{t=0}^T(V_{\varphi }(s_t)-{\hat{R}}_t{)}^2$
~~~~~~~~~~~            
~~~~~~~~~~~            一般 梯度下降
8：$\mathbf{end}\mathbf{for}$

$\dots$$\dots$

spinup 关于 ${\hat{R}}_t$ 的计算

        # the next two lines implement GAE-Lambda advantage calculationdeltas = rews[:-1] + self.gamma * vals[1:] - vals[:-1]self.adv_buf[path_slice] = core.discount_cumsum(deltas, self.gamma * self.lam)# the next line computes rewards-to-go, to be targets for the value functionself.ret_buf[path_slice] = core.discount_cumsum(rews, self.gamma)[:-1]

def discount_cumsum(x, discount):"""magic from rllab for computing discounted cumulative sums of vectors.input: vector x, [x0, x1, x2]output:[x0 + discount * x1 + discount^2 * x2,  x1 + discount * x2,x2]"""return scipy.signal.lfilter([1], [1, float(-discount)], x[::-1], axis=0)[::-1]

• spinup/algos/pytorch/ppo
• rllib/algorithms/ppo/torch

第 12 章 PPO 算法 【上交】

整理自 链接

TRPO ： 计算过程复杂，每一步更新的运算量非常大。

paperswithcode 页面相关整理

paperswithcode 页面 链接