【学习之路】Multi Agent Reinforcement Learning框架与代码

【学习之路】Multi Agent Reiforcement Learning框架与代码

Introduction

国庆期间，有个客户找我写个代码，是强化学习相关的，但我没学过，心里那是一个慌，不过好在经过详细的调研以及自身的实力，最后还是解决了这个问题。

强化学习的代码也是第一次接触，在这个过程中也大概了解了多agent强化学习的大致流程，因此记录这次代码和文章学习的过程还是十分有必要的。

要完成的文章是：Flexible Formation Control Using Hausdorff Distance: A Multi-agent Reinforcement Learning Approach，该文章没有开源。

以下均为个人简介，如有不当，还请见谅。

Timeline

• 从目标文章中查找类似文章，最好是开源的
  • Decentralized Multi-agent Formation Control via Deep Reinforcement Learning：这篇文章有算法的基本流程
  • Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments：这篇文章是目标文章所使用仿真环境的出处
• 查找多agent强化学习的开源代码
  • Multi-Agent-Deep-Deterministic-Policy-Gradients：这是Multi-Agent Actor-Critic这篇文章里面所提方法代码的pytorch版本，官方是tensorflow写的
  • Reinforcement_Learning_Swarm：这篇没有利用框架，但通过它可以较好地理解整个流程
  • multiagent-particle-envs：这是算法的仿真环境，同时也相当于一个框架
• 学习这些代码，推荐先学习没有利用框架的，也就是第二篇，然后看用框架写的

Code Note

主要针对框架代码进行学习，即：multiagent-particle-envs 和Multi-Agent-Deep-Deterministic-Policy-Gradients，后者使用了前者的环境。

整体流程

首先介绍一下训练的整体流程，方便更好的理解：

• 创建多agent的环境
• 实现强化学习的模型M（actor-critic模型）
• 确定相关参数：迭代次数，学习率等
• 循环
  • 重置环境获得当前的observation
  • 根据observation输入到M中的actor网络（这部分不作讲解），得到action
  • 根据action更新当前的state，获得reward，更新的observation
  • 将这些state存入memory
  • 每隔一定迭代次数，从memory里面采样一些state，输入到模型M里面，从而对M进行训练

环境代码

该项目下代码以及文件夹的功能如下：

下面主要介绍enviroment文件下一些函数的作用。

首先是为每个agent分配action空间，代码如下：

然后是在进行下一步(step函数)的时候，对每个agent的action进行更新，代码如下：

红框部分就是对每个agent的action进行设置，action里面的u我个人认为是受力，因为在后面的代码中存在利用u来计算受力的情况。

得到action后，利用action对state进行更新，该部分的代码在core.py里面的World类当中，代码如下：

其中利用u计算受力的代码为：

为什么说p_force是受力呢，可以看看integrate_state这个函数，如下：

得到agent的state之后，就是计算reward，observation等变量，代码的调用在environment.py下：

从make_env.py文件里面可以看出，这些函数的相关实现在scenarios文件下的py文件里面：

接下来看这些函数是怎么实现的，以simle_spread.py文件为例：

首先是reset_world函数，它是对环境里面的物体进行初始化，代码如下：

其中p_pos是位置信息，p_vel是速度信息，c是交流信息。

然后is_collision函数判断是否发生碰撞，代码如下：

接着是reward函数，如果你设计了自己的reward，需要在这里实现：

最后是observation函数，如果你有自己的设计，也要在这里实现：

了解了以上这些，对于一个简单的多agent强化学习的情况你也能够实现了。