主要内容

rlDDPGAgentOptions

DDPG代理选项

描述

使用一个rlDDPGAgentOptions对象指定深度确定策略梯度(DDPG)代理的选项。要创建DDPG代理,请使用rlDDPGAgent

有关更多信息,请参见深度确定性策略梯度代理

有关不同类型的强化学习代理的更多信息,请参见强化学习代理

创建

描述

选择= rlDDPGAgentOptions在使用所有默认选项创建DDPG代理时,创建一个options对象作为参数。可以使用点表示法修改对象属性。

例子

选择= rlDDPGAgentOptions (名称,值设置选项属性使用名称-值对。例如,rlDDPGAgentOptions (DiscountFactor, 0.95)创建贴现因子为的选项集0.95.可以指定多个名称-值对。将每个属性名用引号括起来。

属性

全部展开

噪声模型选项,指定为OrnsteinUhlenbeckActionNoise对象。有关噪声模型的更多信息,请参见噪声模型

对于具有多个动作的agent,如果动作的范围和单位不同,那么每个动作可能需要不同的噪声模型参数。如果动作有相似的范围和单位,可以将所有动作的噪声参数设置为相同的值。

例如,对于具有两个操作的代理,将每个操作的标准偏差设置为不同的值,同时对两个标准偏差使用相同的衰减率。

选择= rlDDPGAgentOptions;opt.ExplorationModel.StandardDeviation = [0.1 0.2];opt.ExplorationModel.StandardDeviationDecayRate = 1的军医;

目标演员和影评人更新的平滑因子,指定为小于等于1的正标量。有关更多信息,请参见目标更新方法

目标参与者和评论家更新之间的步骤数,指定为正整数。有关更多信息,请参见目标更新方法

选项用于在训练前清除经验缓冲区,指定为逻辑值。

在保存代理时保存经验缓冲区数据的选项,指定为逻辑值。此选项适用于在培训期间保存候选代理以及使用保存函数。

对于一些代理,例如那些具有较大的经验缓冲区和基于图像的观察的代理,保存它们的经验缓冲区所需的内存很大。在这种情况下,为了不保存经验缓冲区数据,设置SaveExperienceBufferWithAgent

如果您计划进一步培训所保存的代理,可以从以前的经验缓冲区作为起点开始培训。在本例中,setSaveExperienceBufferWithAgent真正的

使用递归神经网络时的最大批量训练轨迹长度,指定为正整数。该值必须大于1当使用递归神经网络和1否则。

随机经验小批的大小,指定为一个正整数。在每个训练集中,agent在计算梯度时从经验缓冲区中随机采样经验,以更新临界属性。大的小批量在计算梯度时减少了方差,但增加了计算工作量。

用于估计策略价值的未来奖励数量,指定为正整数。请参阅[1](第7章)了解更多细节。

用于估计策略价值的未来奖励数量,指定为正整数。有关更多信息,请参阅[1]的第7章。

体验缓冲区大小,指定为正整数。在训练过程中,代理使用从缓冲区中随机抽样的一小批经验计算更新。

试剂的采样时间,指定为正标量。

在一个模型金宝app®环境中,代理被执行SampleTime模拟时间的秒数。

在MATLAB®环境中,每当环境进步时,代理就会被执行。然而,SampleTime返回的输出经验中连续元素之间的时间间隔是多少sim卡火车

贴现因子应用于培训期间的未来奖励,指定为小于或等于1的正标量。

对象的功能

rlDDPGAgent 深度确定性策略梯度强化学习主体

例子

全部折叠

这个示例展示了如何创建DDPG代理选项对象。

创建一个rlDDPGAgentOptions对象,该对象指定迷你批处理大小。

选择= rlDDPGAgentOptions (“MiniBatchSize”48)
[1x1 rl.option. opt = rlDDPGAgentOptions with properties:OrnsteinUhlenbeckActionNoise] TargetSmoothFactor: 1.0000e-03 TargetUpdateFrequency: 1 ResetExperienceBufferBeforeTraining: 1 SaveExperienceBufferWithAgent: 0 SequenceLength: 1 MiniBatchSize: 48 NumStepsToLookAhead: 1 ExperienceBufferLength: 10000 SampleTime: 1 DiscountFactor: 0.9900

您可以使用点符号修改选项。例如,将代理示例时间设置为0.5

opt.SampleTime = 0.5;

算法

全部展开

兼容性的考虑

全部展开

不建议从R2021a开始

行为在R2020a中改变

参考文献

Richard S. Sutton和Andrew G. Barto。强化学习:简介.第二版。自适应计算和机器学习。麻省理工学院出版社,2018年。

另请参阅

介绍了R2019a