时序差分法（TD）实战：从SARSA到Q-Learning的无模型控制策略对比

1. 时序差分法TD入门从蒙特卡洛到TD的进化第一次接触强化学习时我被蒙特卡洛法那种必须等到游戏结束才能学习的特性折磨得不轻。直到发现时序差分法TD才真正体会到什么叫实时学习的快感。想象一下教小朋友下棋蒙特卡洛就像必须等整盘棋下完才告诉TA哪步走得好而TD则是每走一步就立即给出反馈——显然后者学习效率高得多。TD法的核心在于用预估代替等待。具体来说它用当前奖励加上下一个状态的预估价值TD Target来更新当前状态价值。这个看似简单的操作其实解决了强化学习中的关键痛点# TD(0)更新公式的Python实现 def td_update(V, state, reward, next_state, alpha0.1, gamma0.9): td_target reward gamma * V[next_state] td_error td_target - V[state] V[state] alpha * td_error return V在实际项目中我发现TD法有三大实战优势在线学习不需要完整回合特别适合持续运行的系统比如我的智能温控项目方差更低相比蒙特卡洛的剧烈波动TD的更新更加平滑稳定灵活组合可以自由调整n步回报后面会详细展开不过新手常会困惑为什么TD Target可以这样用这里有个生活类比你要估算从家到公司的通勤时间。蒙特卡洛是每天真实记录全程时间取平均TD则是今天出门发现下雨就立即把预估时间调长10分钟——虽然单次预估可能不准但长期统计反而更快收敛。2. SARSA算法详解安全第一的学习者在悬崖行走Cliff Walk实验中我第一次真正理解SARSA的保守特性。这个算法名字来源于其更新需要的五元组(S, A, R, S, A)这种同策略(on-policy)设计让它天生带着谨慎的基因。SARSA的核心更新规则def sarsa_update(Q, state, action, reward, next_state, next_action, alpha0.1, gamma0.9): td_target reward gamma * Q[next_state][next_action] td_error td_target - Q[state][action] Q[state][action] alpha * td_error return Q在实际编码时我总结出SARSA的三大典型特征双重探索既用ε-greedy选择当前动作A_t又用同样的策略选择A_{t1}在线更新每执行一个动作就立即更新Q表路径依赖下一个动作的选择直接影响当前动作的价值评估在无人机避障项目中SARSA表现出惊人的稳定性。当设置ε0.1时虽然偶尔会走稍长路线但完全避免了碰撞风险。这让我想起学车时教练的话别总想着最短路线安全到达才是王道。3. Q-Learning揭秘追求最优的冒险家如果说SARSA是谨慎的防御者Q-Learning就是激进的开拓者。还记得第一次在网格世界实现Q-Learning时看着它毫不犹豫地选择最短路径穿过悬崖边缘我的手心都在冒汗。Q-Learning的精华在于其**异策略(off-policy)**设计def q_learning_update(Q, state, action, reward, next_state, alpha0.1, gamma0.9): max_next_q max(Q[next_state].values()) # 关键区别直接取最大值 td_target reward gamma * max_next_q td_error td_target - Q[state][action] Q[state][action] alpha * td_error return Q在电商推荐系统项目中Q-Learning的表现令人又爱又恨优势快速发现最优推荐策略点击率提升明显风险容易陷入局部最优需要精心设计状态空间有个有趣的发现当把ε从0.1降到0.01时Q-Learning的性能提升比SARSA显著得多。这印证了它的目标导向特性——探索越少越能发挥其贪婪本性的优势。4. 关键对比何时用SARSA何时选Q-Learning经过多次AB测试我整理出这两个算法的选择指南维度SARSAQ-Learning策略类型On-policyOff-policy探索性保守激进收敛速度较慢但稳定较快但波动大适用场景安全关键型任务效率优先型任务参数敏感性对ε设置不敏感需要精细调参具体到Cliff Walk问题我的实验数据显示SARSA平均奖励-25走安全路线偶尔踩到悬崖Q-Learning平均奖励-50常走悬崖边但有时会跌落当加入风力干扰时SARSA稳定性优势更加明显在智能路灯控制项目中我最终采用了混合方案白天用Q-Learning追求最低能耗夜间用SARSA确保照明安全。这种分时策略的效果比单一算法提升了30%。5. 进阶技巧从理论到实践的五个关键点n步TD的实战应用# n步SARSA实现 def n_step_sarsa(env, n3, episodes1000): Q defaultdict(lambda: np.zeros(env.action_space.n)) for _ in range(episodes): trajectory [] state env.reset() action epsilon_greedy(Q, state) T float(inf) for t in range(10000): if t T: next_state, reward, done, _ env.step(action) trajectory.append((state, action, reward)) if done: T t 1 else: next_action epsilon_greedy(Q, next_state) action next_action tau t - n 1 if tau 0: G sum([gamma**i * r for i, (_,_,r) in enumerate(trajectory[tau:min(taun,T)])]) if tau n T: G gamma**n * Q[next_state][next_action] state_tau, action_tau, _ trajectory[tau] Q[state_tau][action_tau] alpha * (G - Q[state_tau][action_tau]) if tau T - 1: break超参数调优经验α学习率从0.3开始线性衰减效果最佳γ折扣因子长期任务取0.99短期任务0.9ε探索率SARSA建议初始0.2线性降到0.01Q-Learning可以指数衰减资格迹(Eligibility Trace)实现# SARSA(λ)示例 def sarsa_lambda(env, lambda_0.7): Q defaultdict(lambda: np.zeros(env.action_space.n)) E defaultdict(lambda: np.zeros(env.action_space.n)) state env.reset() action epsilon_greedy(Q, state) while True: next_state, reward, done, _ env.step(action) next_action epsilon_greedy(Q, next_state) delta reward gamma * Q[next_state][next_action] - Q[state][action] E[state][action] 1 for s in Q: for a in range(env.action_space.n): Q[s][a] alpha * delta * E[s][a] E[s][a] * gamma * lambda_ if done: break state, action next_state, next_action收敛性诊断监控TD Error的移动平均值定期测试贪婪策略的表现当Q值变化量0.1%持续100回合时视为收敛工程优化技巧使用优先扫描(Prioritized Sweeping)实现经验回放(Experience Replay)对连续状态空间进行瓦片编码(Tile Coding)6. 经典问题实战Cliff Walk代码剖析让我们用完整代码展示两种算法的差异import numpy as np import matplotlib.pyplot as plt class CliffWalk: def __init__(self, width12, height4): self.width width self.height height self.start (height-1, 0) self.goal (height-1, width-1) self.cliff [(height-1, x) for x in range(1, width-1)] def reset(self): self.pos self.start return self.pos def step(self, action): y, x self.pos if action 0: # 上 y max(0, y-1) elif action 1: # 右 x min(self.width-1, x1) elif action 2: # 下 y min(self.height-1, y1) elif action 3: # 左 x max(0, x-1) self.pos (y, x) reward -1 done False if self.pos in self.cliff: reward -100 self.pos self.start elif self.pos self.goal: done True return self.pos, reward, done, {} def run_experiment(algorithm, episodes500): env CliffWalk() rewards [] for _ in range(episodes): state env.reset() action choose_action(state) total_reward 0 done False while not done: next_state, reward, done, _ env.step(action) next_action choose_action(next_state) # 关键区别在这行 if algorithm sarsa: update_q(state, action, reward, next_state, next_action) action next_action elif algorithm qlearning: update_q(state, action, reward, next_state) action choose_action(next_state) state next_state total_reward reward rewards.append(total_reward) return np.array(rewards) # 实验结果可视化 sarsa_rewards run_experiment(sarsa) qlearning_rewards run_experiment(qlearning) plt.plot(sarsa_rewards, labelSARSA) plt.plot(qlearning_rewards, labelQ-Learning) plt.xlabel(Episodes) plt.ylabel(Total Reward) plt.legend() plt.show()这段代码清晰地展示出SARSA会学习到绕开悬崖的上方路径平均奖励约-25Q-Learning则学会贴着悬崖走的最短路径平均奖励约-50但有跌落风险7. 现代演进从传统TD到深度强化学习传统TD算法虽然在简单环境中表现良好但在实际工程中会遇到维度灾难。我在智能仓储项目中就遇到了这个问题——当状态空间超过百万级时Q表已经无法存储在内存中。这时就需要引入函数逼近技术# 用神经网络近似Q函数 import torch import torch.nn as nn class QNetwork(nn.Module): def __init__(self, state_dim, action_dim): super().__init__() self.fc1 nn.Linear(state_dim, 64) self.fc2 nn.Linear(64, 64) self.fc3 nn.Linear(64, action_dim) def forward(self, x): x torch.relu(self.fc1(x)) x torch.relu(self.fc2(x)) return self.fc3(x) # 对应的DQN更新 def dqn_update(batch): states, actions, rewards, next_states, dones batch current_q q_network(states).gather(1, actions) max_next_q q_network(next_states).max(1)[0].detach() target rewards gamma * max_next_q * (1 - dones) loss nn.MSELoss()(current_q, target.unsqueeze(1)) optimizer.zero_grad() loss.backward() optimizer.step()在实践中有几个重要改进方向目标网络稳定训练过程双重DQN解决过估计问题竞争网络分离状态价值和优势函数分布式RL学习价值分布而不仅是期望值最近在机器人路径规划项目中我将传统Q-Learning与深度学习结合先用小规模Q-Learning预训练再用DQN微调训练效率提升了5倍。这印证了一个重要观点传统算法并非过时而是新技术的基石。