单智能体carla强化学习实战工程介绍

有三个工程：

Ray_Carla: 因为有的论文用多进程训练强化学习，包括ray分布式框架等，这里直接放了一个ray框架的示例代码，是用sac搭建的，obs没用图像，是数值状态向量值（速度那些）。

Ray_Carla只有v1.0一个更新版本，当然，后续更新可能会增加v2.0，v3.0…,依此类推。

Carla_DRL: 单进程的RL的训练版本之一，目前主要包括三个场景，点到点导航，鬼探头，急刹车，其他场景都可以自行创建。算法包括：PPO，DQN和SAC，这里只有PPO用了视觉图像（用的语义分割图像），训练效果还算可以，但是此种方法需要先训练vae编码器，只用cnn网络处理图像是训不出来的。而vae编码器有个问题，就是出现均值方差为None。

目前Carla_DRL有三个版本，v3.0是最新的，点进去可以看到代码，下载或者git clone，当然，后续更新可能会增加v4.0，v5.0…,依此类推。

Carla_Deepmdp_RL: 单进程的RL的训练版本之一，目前主要包括2个场景，高速公路和鬼探头，其他场景都可以自行创建。这个deepmdp的目的，就是解决Carla_DRL中，sac等算法不加vae直接输入原始图像无法训练出很好的拟合效果的问题，所以加了一个deepmdp+sac算法的工程，这个工程可以用来跑顶会论文的baseline。理论上，后续的ddpg等新的rl算法都可以在deepmdp基础上加。

Carla_Deepmdp_RL只有v1.0一个更新版本，当然，后续更新可能会增加v2.0，v3.0…,依此类推。