强化学习基础（2）—常用算法总结

目录

1.Value-Based

2. Policy-Based

参考文献

---

1.Value-Based

Sarsa（State-action-reward-state’-action）：是为了建立和优化状态-动作(state-action)的价值Q表格所建立的方法。首先初始化Q表格，根据当前的状态和动作与环境进行交互后，得到奖励reward以及下一步的状态和动作后，对Q表格进行更新；并不断重复这个过程。另外，为了保证每一步的探索性，Sarsa在执行下一步时采用e-greedy算法，即根据一定的概率估计来选择下一步的action。Sarsa的这种更新Q表格方式称为on-policy方式，即先做出下一步的动作再回头开更新Q值。

Q-Learning：与之对应的是off-policy方式，即在更新Q表格时，无需知道下一步的动作，而是假设下一步的动作可以取到最大的Q值。

      总结：二者都属于表格类算法。

DQN（Deep Q-Learning）：它的基本思想是采用神经网络的方式来近似代替Q表格。DQN本质上还是Q-Learning算法，同样为了更好的与环境进行交互，采用e-greedy算法。
创新点：

      经验回放(experience replay)：使用经验池存在多条s,a,r,s’信息，并随机选择一批数据作为输入到神经网络进行训练。经验回放保证了样本的关联性和利用效率问题，即对于某一条信息它有多次机会可以进入网络进行训练。
      Q目标固定(fixed-Q-target)：复制一个和原来一样的Q网络，用来训练目标Q。Q目标固定主要为了解决训练过程的稳定性问题。

2. Policy-Based

 基于 Actor and Critic

      策略梯度方法是指在优化神经网络的过程中，对于策略π(s,a)的期望回报，所有的轨迹获得的回报R与对应的轨迹发生概率p的加权和。

A2C（Advantage Actor-Critic）：是一种有策略的actor-critic算法，它使用Advantage函数来更新策略。该算法实现简单，可以处理离散和连续的动作空间。

DDPG（Deep Deterministic Policy Gradient）：是结合DQN算法与Actor-Critic提出的求解针对连续动作空间上的学习任务的算法。

PPO（Proximal Policy Optimization）：是一种策略算法，它使用信任域优化的方法来更新策略。它在具有高维观察和连续动作空间的环境中特别有用。PPO 以其稳定性和高样品效率而著称。

TRPO （Trust Region Policy Optimization）：是一种无模型的策略算法，它使用信任域优化方法来更新策略。它在具有高维观察和连续动作空间的环境中特别有用。

参考文献

1.强化学习常用算法总结_强化学习算法-CSDN博客 

2.论文：基于值函数和策略梯度的深度强化学习综述