深度强化学习基础 0：通用学习方法

过去自己学习深度强化学习的痛点：

• 只能看到各种术语、数学公式勉强看懂，没有建立清晰且准确关联

• 多变量交互关系浮于表面，有时候连环境、代理控制的变量都混淆

• 模型种类繁多，概念繁杂难整合、对比或复用，无框架分析所有模型

• 代码实现步骤未清晰划分：环境->定义奖励->创建代理->训练->部署

最根本的原因在于，我们需要一个既能全面表达复杂环境与交互结构，又能统一处理不确定性和动态决策的数学与计算（所有强化学习）框架。

概率图模型的“图结构”天然适合分解复杂依赖：

• 可以把一系列随机变量之间的依赖关系用图的结构直观地呈现出来。

• 不管是MDP、HMM（隐马尔可夫模型）还是更复杂的POMDP和Bayesian网络，都可以视作是对一系列随机变量之间依赖关系的“图”式表达。

• 概率图模型以直观的图形方式展示变量之间的因果或条件依赖关系，利于后续的解释或扩展。

强化学习本质：一个序列决策过程，状态 (St)、动作 (At) 以及奖励 (Rt) 随时间演化且相互影响

• 图模型优势：通过节点和有向边，清晰地展现“谁依赖于谁”，帮助我们明确：

  • 当前时刻状态与动作是如何影响下一个时刻状态与奖励的？

  • 代理（Agent）与环境（Environment）分别控制或决定哪些随机变量？

  • 哪些假设（如马尔可夫性、完全可观测或部分可观测等）在图中如何体现？

概率图模型在统计推断（如Bayesian推断、最大似然估计）方面有完善的理论和工具，因此能与RL中的探索—利用（exploration-exploitation）过程自然结合。

当我们能用一个动态贝叶斯网络或马尔可夫随机场来可视化时，序列之间的关系就变得更加透明。

对于多变量混杂可二分梳理，强化学习中的主体包括“环境”和“代理”。

• 环境负责提供状态和奖励

• 代理在环境中采取行动以实现累积收益最大化。

所有强化学习的“通用蓝图”：

没有限定状态空间、动作空间、奖励形式、策略结构、环境类型（确定性/随机性/部分可观测...）。

只展示了宏观的交互关系，而任何“特例”都可以往里套。

环境根据动作（at）和当前状态（st）给出下一时刻状态（st+1）及相应的奖励（rt），然后智能体再继续与环境交互……

• 状态（st）：

  • 抽象了环境在时刻 t 的完整信息；如果不可完全观测，就用观测（ot）或者在 POMDP 框架里再对隐藏状态建模。

  • 不同算法的差别，大多体现在怎样定义或估计这个状态，以及是否需要显式建模环境动力学。

• 动作（at）：

  • 智能体在时刻 t 作出的决策，这个决策可来自直接表格型策略或神经网络近似；既可以是离散的也可以是连续的。

  • 但无论用什么表示方法，始终绕不开“在状态下做动作”的这个核心过程。

• 奖励（rt）：

  • 环境对当前状态、动作的一次性反馈，用来指导智能体学习；兼容各种奖励设计（稀疏奖励、密集奖励、多维奖励等）。

  • 强化学习最核心的目标即是最大化“回报”，即从奖励推导的累计收益，这也体现了动态规划的思想。

• 策略（π(at∣st)）：

  • 表示智能体在状态 st 下选择动作 at 的概率分布（或确定性函数），正是因为有这个策略才构成了完整的“闭环”。

  • 所有算法都需要“如何表示策略、如何更新/优化策略、如何评价策略的好坏”。

• 状态转移和观测模型：

  • 用概率分布 P(st+1∣st, at) 来刻画环境动力学和不确定性；若有部分可观测，则还要有 P(ot∣st)。

  • 任何随机性、噪声、对未来的不确定，都能融入到这条“状态演化”的概率分布里，并且与奖励、动作紧密结合。