李宏毅深度强化学习入门笔记：PPO

网课链接：https://www.bilibili.com/video/BV1XP4y1d7Bk/?p=4

一、Policy Gradient

（一）基本元素

（二）Policy of Actor

1. Policy $\pi$ 是带有参数 $\theta$ 的 network

输入：表示机器观测的一个向量或矩阵
输出：在输出层与动作相关的神经元

2. 例子：运行流程

（三）Actor, Environment, Reward

1. 轨迹 $\tau$ 的概率

2. 计算总的 reward 的期望

3. Policy Gradient

4. Tip

Tip 1：add a baseline

Tip 2：Assign suitable credit

二、On-policy 到 Off-policy

（一）On-policy VS Off-policy

on-policy：跟环境互动的 agent 跟要学习的 agent 是同一个
off-policy：跟环境互动的 agent 跟要学习的 agent 不是同一个

（二）On-policy → Off-policy

如果想要在 p 做互动，但又不能跟 p 做互动，可以把 p 换成 q 进行实验。

三、增加 constraint：PPO / TRPO

1. 如果 $p_{\theta }$ 跟 $p_{\theta }^{\prime }$ 相差太多，importance sampling 的结果会不好时，可用 PPO 解决。

2. PPO vs TRPO

PPO 的前身是 TRPO，二者不同之处在于 $KL(\theta ,{\theta }^{\prime })$。


$KL(\theta ,{\theta }^{\prime })$ 衡量 $\theta$ 跟 ${\theta }^{\prime }$ 有多像，一般时越像越好的。
PPO 和 TRPO 结果看着似乎差不多，但在实践中，PPO 比 TRPO 容易得多。

3. PPO 算法

原论文代码：

4. PPO2 算法

当 A<B 时，cilp(A,B,C) = B
当 A>C 时，cilp(A,B,C) = C

PPO2 算法目的：$p^{\theta }$ 跟 $p^{{\theta }^{\prime }}$ 在优化后不要差距太大

5. PPO 效果