文档帮助中心文档
NumStepsToLookAhead
AC代理选项
使用一个rlACAgentOptions对象指定用于创建actor-critic (AC)代理的选项。要创建演员-评论家代理,请使用rlACAgent
rlACAgentOptions
rlACAgent
有关更多信息,请参见Actor-Critic代理.
有关不同类型的强化学习代理的更多信息,请参见强化学习代理.
选择= rlACAgentOptions
选择= rlACAgentOptions(名称、值)
选择= rlACAgentOptions为AC代理创建默认选项集。可以使用点表示法修改对象属性。
选择
例子
选择= rlACAgentOptions (名称,值)设置选项属性使用名称-值对。例如,rlDQNAgentOptions (DiscountFactor, 0.95)创建贴现因子为的选项集0.95.可以指定多个名称-值对。将每个属性名用引号括起来。
选择= rlACAgentOptions (名称,值)
名称,值
rlDQNAgentOptions (DiscountFactor, 0.95)
0.95
全部展开
32
代理从环境中吸取经验之前与环境交互的步骤数,指定为正整数。当代理使用递归神经网络时,NumStepsToLookAhead为训练轨迹长度。
EntropyLossWeight
0
1
熵损失权重,指定为之间的标量值0和1.较高的熵损失权重值会因为太确定该采取哪个行动而受到惩罚,从而促进agent探索。这样做可以帮助代理移出局部优化。
当在训练过程中计算梯度时,将计算额外的梯度分量以使损失函数最小化。
UseDeterministicExploitation
假
真正的
选项以模拟和策略生成的最大可能性返回动作,指定为逻辑值。当UseDeterministicExploitation被设置为真正的时,总是使用最大似然的动作sim卡和generatePolicyFunction,它使代理具有确定性的行为。
sim卡
generatePolicyFunction
当UseDeterministicExploitation被设置为假时,代理从概率分布中抽样行为,使代理表现为随机行为。
SampleTime
试剂的采样时间,指定为正标量。
在一个模型金宝app®环境中,代理被执行SampleTime模拟时间的秒数。
在MATLAB®环境中,每当环境进步时,代理就会被执行。然而,SampleTime返回的输出经验中连续元素之间的时间间隔是多少sim卡或火车.
火车
DiscountFactor
0.99
贴现因子应用于培训期间的未来奖励,指定为小于或等于1的正标量。
全部折叠
创建一个AC代理选项对象,指定折扣因子。
选择= rlACAgentOptions (“DiscountFactor”, 0.95)
opt = rlACAgentOptions with properties: NumStepsToLookAhead: 32 entropylosweight: 0 UseDeterministicExploitation: 0 SampleTime: 1 DiscountFactor: 0.9500
您可以使用点符号修改选项。例如,将代理示例时间设置为0.5.
0.5
opt.SampleTime = 0.5;
未来版本中的行为改变
对于大多数环境,该属性的值为32应该比1工作得更好。如果你有MATLAB R2020b或更高版本,你想重现如何rlACAgent在R2020b之前的版本上的行为,将该值设置为1。
您有这个示例的修改版本。您想打开这个示例与您的编辑吗?
你点击一个链接对应于这个MATLAB命令:
通过在MATLAB命令窗口中输入命令来运行命令。Web浏览器不支持MATLAB命令。金宝app
选择一个网站,在那里获得翻译的内容,并看到当地的活动和优惠。根据您的位置,我们建议您选择:.
你也可以从以下列表中选择一个网站:
选择中国网站(中文或英文)以获得最佳网站性能。其他MathWorks国家站点没有针对您所在位置的访问进行优化。
与当地办事处联系