策略梯度定理公式的详细推导

策略梯度定理公式的详细推导

以下是策略梯度定理公式从基础概率公式到最终形式的完整推导，帮助更清晰地理解推导过程中的每一个步骤。

---

1. 策略梯度的目标

我们希望最大化期望累积奖励 ( $J(\theta )$ )，其定义为：

$$J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[R_t\right]$$

根据期望的定义，可以将 ( $J(\theta )$ ) 写为积分形式：

$$J(\theta )={\int }_{\tau }P(\tau ;\theta )R_{t}d\tau$$

其中：

• ( $\tau =(s_0,a_0,s_1,a_1,\dots )$ ) 表示一条轨迹；
• ( $P(\tau ;\theta )$ ) 是轨迹的概率分布。

接下来，我们对目标 ( $J(\theta )$ ) 求梯度：

$${\nabla }_{\theta }J(\theta )={\nabla }_{\theta }{\int }_{\tau }P(\tau ;\theta )R_{t}d\tau$$

根据微积分中的交换求导与积分的规则，将梯度符号与积分符号交换位置：

$${\nabla }_{\theta }J(\theta )={\int }_{\tau }{\nabla }_{\theta }\left[P(\tau ;\theta )R_t\right]d\tau$$

因为 ( $R_t$ ) 不依赖于参数 ( $\theta$ )，所以可以提取出来：

$${\nabla }_{\theta }J(\theta )={\int }_{\tau }{R}_t{\nabla }_{\theta }P(\tau ;\theta )d\tau$$

---

2. 引入对数梯度

为了化简 ( ${\nabla }_{\theta }P(\tau ;\theta )$ )，我们引入对数梯度技巧：

$${\nabla }_{\theta }P(\tau ;\theta )=P(\tau ;\theta )\cdot {\nabla }_{\theta }\log P(\tau ;\theta )$$

将其代入梯度公式：

$${\nabla }_{\theta }J(\theta )={\int }_{\tau }{R}_t\cdot P(\tau ;\theta )\cdot {\nabla }_{\theta }\log P(\tau ;\theta )d\tau$$

根据概率分布 ( $P(\tau ;\theta )$ ) 的性质，可以用期望形式重新表示：

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[R_t\cdot {\nabla }_{\theta }\log P(\tau ;\theta )\right]$$

这一步的重要性在于将积分转化为在策略 ( ${\pi }_{\theta }$ ) 下的期望，使得后续计算能够通过采样来实现。

---

3. 轨迹概率分布的分解

轨迹 ( $\tau$ ) 的概率 ( $P(\tau ;\theta )$ ) 可以分解为以下形式：

$$P(\tau ;\theta )=P(s_0)\prod _{t=0}^{\infty }{\pi }_{\theta }(a_t|s_t)P(s_{t+1}|s_t,a_t)$$

其中：

• ( $P(s_0)$ )：初始状态的概率；
• ( ${\pi }_{\theta }(a_t|s_t)$ )：策略分布，表示在状态 ( $s_t$ ) 下采取动作 ( $a_t$ ) 的概率；
• ( $P(s_{t+1}|s_t,a_t)$ )：环境的状态转移概率。

对 ( $\log P(\tau ;\theta )$ ) 求导时，仅有 ( ${\pi }_{\theta }(a_t|s_t)$ ) 与参数 ( $\theta$ ) 相关，因此可化简为：

$${\nabla }_{\theta }\log P(\tau ;\theta )=\sum _{t=0}^{\infty }{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)$$

将此结果代入梯度公式：

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[R_t\cdot \sum _{t=0}^{\infty }{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right]$$

---

4. 化简最终公式

将期望中的求和移到外部，可以得到：

$${\nabla }_{\theta }J(\theta )=\sum _{t=0}^{\infty }{\mathbb{E}}_{{\pi }_{\theta }}\left[R_t\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right]$$

在每个时间步 ( $t$ )，我们只需要计算与当前动作 ( $a_t$ ) 和状态 ( $s_t$ ) 相关的对数梯度，从而得到：

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[R_t\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right]$$

这就是策略梯度定理的最终公式。

---

5. 使用对数梯度性质验证

策略梯度公式的核心在于以下对数梯度性质：

$${\nabla }_{\theta }{\pi }_{\theta }(a_t|s_t)={\pi }_{\theta }(a_t|s_t)\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)$$

证明如下：

• 根据对数定义， ( $\log x$ ) 的导数为 ( $\frac{1}{x}$ )；
• 对 ( ${\pi }_{\theta }(a_t|s_t)$ ) 求梯度：

$${\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)=\frac{1}{{\pi }_{\theta }(a_t|s_t)}\cdot {\nabla }_{\theta }{\pi }_{\theta }(a_t|s_t)$$

两边乘以 ( ${\pi }_{\theta }(a_t|s_t)$ )：

$${\nabla }_{\theta }{\pi }_{\theta }(a_t|s_t)={\pi }_{\theta }(a_t|s_t)\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)$$

将此性质代入公式，概率 ( ${\pi }_{\theta }(a_t|s_t)$ ) 被约去，得到：

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[R_t\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right]$$

---

总结

通过以上详细推导，可以看出策略梯度定理的核心在于以下两点：

1. 引入对数梯度性质：将复杂的概率梯度转化为对数形式；
2. 利用轨迹概率分布的分解：化简梯度公式，使得计算集中在策略部分 ( ${\pi }_{\theta }(a_t|s_t)$ )。

最终的策略梯度公式为：

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[R_t\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right]$$

这一公式既简洁又高效，是策略梯度方法的理论基础。

后记

2024年12月12日17点00分于上海，在GPT4o大模型辅助下完成。