主要内容

rlQAgentOptions

q学习代理选项

在页面中全部展开

描述

使用一个rlQAgentOptions对象指定创建q学习代理的选项。要创建q学习代理，请使用rlQAgent

有关q学习代理的更多信息，请参见q学习的代理．

有关不同类型的强化学习代理的更多信息，请参见强化学习代理．

创建

语法

opt = rlQAgentOptions
opt = rlQAgentOptions(名称，值)

描述

选择= rlQAgentOptions创建一个rlQAgentOptions对象，以便在使用所有默认设置创建q学习代理时作为参数使用。可以使用点表示法修改对象属性。

选择= rlQAgentOptions (名称,值）设置选项属性使用名称-值对。例如,rlQAgentOptions (DiscountFactor, 0.95)创建贴现因子为的选项集0.95．可以指定多个名称-值对。将每个属性名用引号括起来。

属性

全部展开

选项的epsilon贪婪的探索，指定为EpsilonGreedyExploration具有以下属性的对象。

财产 描述 默认值
ε 概率阈值要么随机选择一个动作，要么选择状态动作值函数最大化的动作。的较大值ε意味着代理以更高的速度随机探索动作空间。 1
EpsilonMin 的最小值ε 0.01
EpsilonDecay 衰减率 0.0050

在每个训练时间步的末尾，如果ε大于EpsilonMin，然后使用以下公式进行更新。

Epsilon = Epsilon*(1-EpsilonDecay)

如果您的代理在局部最优点上收敛得太快，您可以通过增加ε．

对象后使用点表示法指定探索选项rlQAgentOptions对象选择．例如，设置的值为0.9．

epsilongreedyexplore . epsilon = 0.9;

批评家优化器选项，指定为rlOptimizerOptions对象。它允许您指定临界逼近器的训练参数，如学习率，梯度阈值，以及优化器算法及其参数。有关更多信息，请参见rlOptimizerOptions而且rlOptimizer．

代理的采样时间，指定为正标量或－1．将此参数设置为－1允许基于事件的模拟。

在Simulink金宝app中®环境中,RL代理块，指定代理在其中执行SampleTime秒模拟时间。如果SampleTime是－1，该块从其父子系统继承采样时间。

在MATLAB中®在环境中，每当环境前进时，都会执行代理。在这种情况下，SampleTime是否返回输出经验中连续元素之间的时间间隔sim卡或火车．如果SampleTime是－1，返回的输出经验中连续元素之间的时间间隔反映了触发代理执行的事件的时间。

折扣因子应用于训练期间的未来奖励，指定为小于或等于1的正标量。

对象的功能

rlQAgent q学习强化学习剂

例子

全部折叠

打开实时脚本

这个例子展示了如何为Q-Learning代理创建options对象。

创建一个rlQAgentOptions对象，该对象指定代理采样时间。

opt = rlQAgentOptions(“SampleTime”, 0.5)
EpsilonGreedyExploration: [1x1 rl.option. properties]EpsilonGreedyExploration] CriticOptimizerOptions: [1x1 rl.option.]rlOptimizerOptions] SampleTime: 0.5000 DiscountFactor: 0.9900 InfoToSave: [1x1 struct]

可以使用点表示法修改选项。例如，将代理折扣因子设置为0.95．

opt.DiscountFactor = 0.95;

版本历史

在R2019a中引入

另请参阅

主题