强化学习入门

简介

强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。

四要素

状态(state)，动作(action)，策略(policy)，奖励(reward)

强化学习在交通信号灯中应用

agent即为信号灯，状态S（t）是环境告诉我们的，我们把当前的环境状态视为S（t），agent根据S（t）的状态进行一个动作action，动作可以是减少当前灯的持续时间或者切换灯的颜色，agent做出动作以后状态会更新到S（t+1），同时环境会给agent一个奖励，此时agent继续上述的操作

状态（state）

即环境状态，各种交通状况（高峰期、雨天等）

动作（action）

信号灯的颜色和持续时间

策略（policy）

通过算法控制信号灯颜色的持续时间

奖励（reward）

平均车辆排队长度：位于交叉口内进口车道上处于等待状态的平均车辆数量。

平均车辆延误：位于交叉口内进口车道上所有车辆的平均延误时间。

平均车速：位于交叉口内进口车道上所有车辆的平均速度。

交通仿真软件：sumo