【机器学习】Reinforcement Learning-强化学习基本概念

1、Q值与V值

1.1 Q值和V值的定义

Q值：也称为动作价值函数，评估动作的价值，它代表了智能体选择这个动作后，一直到最终状态奖励总和的期望，表示为Q(s, a)，其中 s是状态，a是动作。

V值：评估状态的价值，也称为状态价值函数，表示为V(s)，其中s是状态。它代表了智能体在这个状态下，一直到最终状态的奖励总和的期望。V值与动作无关只与状态有关。

Q值和V值的概念是一致的，都是衡量在马可洛夫树上某一个节点的价值。只不过V值衡量的是状态节点的价值，而Q值衡量的是动作节点的价值。

1.2 Q值和V值的计算

某状态S的V值，可以这样计算：

1. 我们从S点出发，并影分身出若干个自己;
2. 每个分身按照当前的策略 选择行为;
3. 每个分身一直走到最终状态，并计算一路上获得的所有奖励总和;
4. 我们计算每个影分身获得的平均值,这个平均值就是我们要求的V值。

总结就是：从某个状态，按照策略 ，走到最终状态很多很多次；最终获得奖励总和的平均值，就是V值。

计算某个状态S0下的一个动作A的Q值：

1.  我们就可以从A这个节点出发，使用影分身之术；
2. 每个影分身走到最终状态,并记录所获得的奖励；
3. 求取所有影分身获得奖励的平均值，这个平均值就是我们需要求的Q值。

总结就是：从某个状态选取动作A，走到最终状态很多很多次；最终获得奖励总和的平均值，就是Q值。与V值不同，Q值和策略并没有直接相关，而与环境的状态转移概率相关，而环境的状态转移概率是不变的。

1.3 Q值和V值的关系

一个状态的V值，就是这个状态下的所有动作的Q值，在策略下的期望。

【知乎】如何理解强化学习中的Q值和V值？