参考6.4 (Sarsa: On-Policy TD Control)，强化学习:介绍，RS Sutton, AG Barto, MIT出版社
在这个演示中，用强化学习技术SARSA解决了两个不同的迷宫。
状态-行动-奖励-状态-行动(SARSA)是一种学习马尔可夫决策过程策略的算法，用于强化学习。
SARSA，动作-价值函数更新:

Q (S t {}, {t}): = Q ({t}, {t}) +α* [R {t + 1} +γ∗Q (S t + 1 {}, {t + 1})−Q ({t}, {t}))

学习率(α)
学习率决定了新获取的信息覆盖旧信息的程度。因子0将使代理不学习任何东西，而因子1将使代理只考虑最近的信息。

折现因子(γ)
折扣因素决定了未来奖励的重要性。因子为0将使智能体“机会主义”，只考虑当前的奖励，而因子接近1将使其争取长期的高奖励。如果贴现因子达到或超过1,Q值可能会发散。

注意:收敛性是在特定的例子上测试的，在一般情况下，上述演示的收敛性是不确定的。