告别蒙圈！用Python手搓Sarsa与Q-learning，搞懂时序差分TD算法的核心差异

从零实现Sarsa与Q-learning揭秘时序差分算法的本质差异在强化学习领域时序差分(Temporal Difference, TD)算法如同一位隐形的导师它不需要等待完整的学习过程结束就能在每一步给予我们反馈和指导。想象一下你正在玩一个迷宫游戏传统方法需要你走完全程才知道哪些选择是正确的而TD算法则能在你每次转弯时就给出即时评价——这种边走边学的特性正是它成为强化学习核心算法的关键。1. 环境搭建与基础概念让我们从搭建实验环境开始。OpenAI Gym的FrozenLake环境是一个理想的起点——这个4x4的网格世界模拟了在冰面上行走的情景某些区域是危险的冰窟窿而唯一的安全路径通向目标位置。我们将使用这个环境来对比Sarsa和Q-learning的行为差异。import numpy as np import matplotlib.pyplot as plt import seaborn as sns from tqdm import tqdm import gym env gym.make(FrozenLake-v1, descNone, map_name4x4, is_slipperyTrue) num_states env.observation_space.n num_actions env.action_space.n关键术语解析On-policy学习智能体在学习时遵循的策略与评估的策略相同Off-policy学习学习时使用的策略(行为策略)与要优化的策略(目标策略)可以不同探索-利用困境在尝试新行动(探索)和选择已知最佳行动(利用)之间的平衡注意FrozenLake环境的is_slippery参数设为True时动作执行有33%的概率会随机滑向其他方向这增加了问题的随机性和挑战性。2. Sarsa算法实现与深度解析Sarsa得名于其更新过程中涉及的五个元素State-Action-Reward-State-Action。这是一种典型的on-policy算法它在学习当前策略的同时也使用该策略来选择下一个动作。def sarsa(env, num_episodes10000, alpha0.1, gamma0.99, epsilon0.1): Q np.zeros((num_states, num_actions)) rewards [] for _ in tqdm(range(num_episodes)): state env.reset() action epsilon_greedy(Q, state, epsilon) episode_reward 0 while True: next_state, reward, done, _ env.step(action) next_action epsilon_greedy(Q, next_state, epsilon) # Sarsa更新公式 td_target reward gamma * Q[next_state][next_action] * (not done) td_error td_target - Q[state][action] Q[state][action] alpha * td_error episode_reward reward state, action next_state, next_action if done: break rewards.append(episode_reward) return Q, rewardsSarsa的核心特点保守的策略学习由于使用相同的策略选择下一个动作Sarsa会考虑到策略本身的随机性学习到的策略通常更加安全在线学习特性必须在环境中实际执行下一个动作后才能进行更新策略依赖性学习效果高度依赖于当前策略的探索程度(ε值)在FrozenLake环境中Sarsa的表现会呈现以下模式训练阶段平均奖励策略特点初期接近0随机探索频繁掉入冰窟中期0.3-0.6开始找到安全路径但仍不够稳定后期0.7-0.9找到稳定安全路径避开危险区域3. Q-learning算法实现与技术内幕Q-learning是强化学习中最著名的off-policy算法其核心思想是直接学习最优动作价值函数而不依赖于当前策略。def q_learning(env, num_episodes10000, alpha0.1, gamma0.99, epsilon0.1): Q np.zeros((num_states, num_actions)) rewards [] for _ in tqdm(range(num_episodes)): state env.reset() episode_reward 0 while True: action epsilon_greedy(Q, state, epsilon) next_state, reward, done, _ env.step(action) # Q-learning更新公式 best_next_action np.argmax(Q[next_state]) td_target reward gamma * Q[next_state][best_next_action] * (not done) td_error td_target - Q[state][action] Q[state][action] alpha * td_error episode_reward reward state next_state if done: break rewards.append(episode_reward) return Q, rewardsQ-learning的显著特征最优策略导向直接估计最优动作价值函数不受当前行为策略的限制离线学习能力可以从历史经验或他人收集的数据中学习更大胆的策略倾向于找到最短路径但可能在随机环境中不够稳健让我们通过一个对比表格来直观展示两种算法的差异特性SarsaQ-learning策略类型On-policyOff-policy更新目标当前策略的下一个动作最优可能的下一个动作探索敏感性高低收敛速度通常较慢通常较快随机环境中的稳健性高较低数据利用效率较低较高4. 实战对比分析与可视化现在让我们将两种算法在相同的FrozenLake环境中运行并通过可视化来观察它们的行为差异。# 运行两种算法 Q_sarsa, rewards_sarsa sarsa(env, num_episodes10000) Q_qlearning, rewards_qlearning q_learning(env, num_episodes10000) # 绘制学习曲线 plt.figure(figsize(12, 6)) plt.plot(np.convolve(rewards_sarsa, np.ones(100)/100, modevalid), labelSarsa) plt.plot(np.convolve(rewards_qlearning, np.ones(100)/100, modevalid), labelQ-learning) plt.xlabel(Episode) plt.ylabel(Average Reward (100-episode window)) plt.legend() plt.title(Learning Curve Comparison) plt.show()关键观察点收敛速度Q-learning通常会更早显示出性能提升因为它直接瞄准最优值最终性能在随机环境中Sarsa往往能获得更稳定的高回报因为它考虑了策略的随机性学习曲线波动Q-learning的曲线通常波动更大反映出其更激进的优化目标在策略可视化方面我们可以绘制出两种算法学习到的最优策略def plot_policy(Q, title): policy np.argmax(Q, axis1).reshape(4,4) plt.figure(figsize(6,6)) sns.heatmap(policy, annotTrue, fmtd, cmapYlGnBu, cbarFalse) plt.title(title) plt.show() plot_policy(Q_sarsa, Sarsa Policy) plot_policy(Q_qlearning, Q-learning Policy)策略差异分析Sarsa策略倾向于选择远离冰窟的安全路径即使这意味着要走更长的路线Q-learning策略通常会选择最短路径但在随机环境中可能因为滑动而掉入冰窟在实际项目中选择哪种算法取决于具体需求。如果安全性至关重要(如医疗或金融应用)Sarsa可能是更好的选择如果追求最大效率且环境随机性较小(如游戏AI)Q-learning通常表现更佳。5. 高级技巧与优化策略要让这些算法在实际中发挥最佳性能还需要一些关键技巧1. 动态ε-greedy策略def dynamic_epsilon(episode, min_epsilon0.01, max_epsilon1.0, decay_rate0.001): return min_epsilon (max_epsilon - min_epsilon) * np.exp(-decay_rate * episode)2. 自适应学习率def adaptive_alpha(state, action, initial_alpha0.5, decay0.0001): return initial_alpha / (1 decay * state_visit_count[state][action])3. 经验回放(适用于Q-learning)class ReplayBuffer: def __init__(self, capacity10000): self.buffer deque(maxlencapacity) def push(self, transition): self.buffer.append(transition) def sample(self, batch_size): return random.sample(self.buffer, batch_size)4. 多步TD学习# n步Q-learning更新 td_target 0 for i in range(n): if i 0: td_target reward else: td_target (gamma**i) * next_rewards[i-1] td_target (gamma**n) * np.max(Q[next_state])这些技术可以显著提升算法性能特别是在复杂环境中。例如在FrozenLake的8x8变体中基础算法可能表现不佳而结合了这些技巧的版本则能保持良好性能。6. 算法选择指南与行业应用理解Sarsa和Q-learning的本质差异后我们可以制定一个选择框架选择Sarsa当环境随机性高动作执行不精确安全性和稳定性比效率更重要需要在线学习且策略需要持续改进选择Q-learning当环境相对确定动作执行可靠追求最优性能是首要目标可以利用历史数据或并行收集数据行业应用案例机器人控制Sarsa常用于需要安全控制的物理机器人因为其学习到的策略更加稳健游戏AIQ-learning及其变种(如DQN)在确定性较高的游戏环境中表现出色量化交易结合两种算法特点的混合方法常用于平衡风险和收益推荐系统基于Q-learning的off-policy特性可以利用历史用户行为数据学习在实现这些算法时一个常见的陷阱是忽视环境本身的特性。例如在FrozenLake这样的随机环境中直接使用Q-learning而不调整探索策略可能导致学习到的策略过于冒险。我曾在一个物流路径规划项目中使用Q-learning最初因为忽视环境随机性而导致方案失败后来通过引入动态ε和结合Sarsa的保守更新机制才获得了理想结果。