主要内容

rlRepresentationOptions

为强化学习代理表示(批评者和参与者)设置的选项

全部展开页面

描述

使用一个rlRepresentationOptions对象指定评论家的选项集(rlValueRepresentation，rlQValueRepresentation)及演员(rlDeterministicActorRepresentation，rlStochasticActorRepresentation)．

创建

语法

repOpts = rlRepresentationOptions
repOpts = rlRepresentationOptions(名称、值)

描述

例子

repOpts= rlRepresentationOptions创建一个默认选项集，用于创建强化学习参与者或批评者时的最后一个参数。可以使用点表示法修改对象属性。

例子

repOpts= rlRepresentationOptions (名称,值）使用指定的属性使用一个或多个名称-值对参数。

属性

全部展开

表示的学习率，指定为一个正标量。如果学习率太低，那么培训需要很长时间。如果学习率过高，那么训练可能会达到次优结果或发散。

例子:“LearnRate”,0.025

优化器用于训练网络的表示法，指定为下列值之一。

  • “亚当”-使用亚当优化器。可以指定梯度和平方梯度移动平均的衰减率GradientDecayFactor和SquaredGradientDecayFactor的字段OptimizerParameters选择。

  • “个”-使用随机梯度下降与动量(SGDM)优化器。可以使用。指定动量值动力场的OptimizerParameters选择。

  • “rmsprop”—使用RMSProp优化器。您可以指定衰减速率的平方梯度移动平均使用SquaredGradientDecayFactor的字段OptimizerParameters选择。

有关这些优化器的更多信息，请参见随机梯度下降法的算法部分trainingOptions在深度学习工具箱™。

例子:“优化”、“个”

可用于优化器的参数，指定为OptimizerParameters对象，其参数如下。

参数 描述
动力

上一步的贡献，指定为从0到1的标量。值为0表示前一步没有贡献。值为1表示最大贡献。

该参数仅适用于以下情况优化器是“个”．在这种情况下，默认值是0.9。这个默认值适用于大多数问题。
ε

分母偏移量，指定为正标量。优化器将这个偏移量加到网络参数更新中的分母上，以避免被零除掉。

该参数仅适用于以下情况优化器是“亚当”或“rmsprop”．在这种情况下，默认值是108．这个默认值适用于大多数问题。
GradientDecayFactor

梯度移动平均的衰减率，指定为从0到1的一个正标量。

该参数仅适用于以下情况优化器是“亚当”．在这种情况下，默认值是0.9。这个默认值适用于大多数问题。
SquaredGradientDecayFactor

平方梯度移动平均的衰减率，指定为从0到1的一个正标量。

该参数仅适用于以下情况优化器是“亚当”或“rmsprop”．在这种情况下，默认值是0.999。这个默认值适用于大多数问题。

当一个特殊的性质OptimizerParameters的优化器类型不适用优化器选项时，该属性将被设置为“不适用”．

若要更改默认值，请创建rlRepresentationOptions设置并使用点符号来访问和更改属性OptimizerParameters．

repOpts = rlRepresentationOptions;repOpts.OptimizerParameters.GradientDecayFactor = 0.95;

表示梯度的阈值，指定为正或者一个正标量。属性指定的渐变将被剪切GradientThresholdMethod选择。裁剪梯度限制了训练迭代中网络参数的变化。

例子:“GradientThreshold”,1

梯度阈值方法，用于裁剪超过梯度阈值的梯度值，指定为以下值之一。

  • “l2norm”——如果l2可学习参数的梯度范数大于GradientThreshold，然后缩放梯度，以便l2规范=GradientThreshold．

  • “global-l2norm”—全局l2规范,l，比GradientThreshold，然后将所有梯度按……的倍数缩放GradientThreshold /l．全球l2Norm考虑了所有可学习的参数。

  • “绝对值”—可学习参数梯度中单个偏导数的绝对值大于GradientThreshold，然后缩放偏导数，使其大小等于GradientThreshold保留偏导数的符号。

有关更多信息，请参见梯度剪裁的算法部分trainingOptions在深度学习工具箱。

例子:“GradientThresholdMethod”、“绝对值”

因素l2正则化(权值衰减)，指定为非负标量。有关更多信息，请参见L2正规化的算法部分trainingOptions在深度学习工具箱。

当使用带有多个参数的表示时，为了避免过拟合，可以考虑增加L2RegularizationFactor选择。

例子:“L2RegularizationFactor”,0.0005

用于在训练过程中进行梯度计算、参数更新和预测等深度神经网络操作的计算设备。它被指定为任意一种“cpu”或“图形”．

的“图形”选项需要并行计算工具箱™软件和CUDA®使英伟达®GPU。有关受支持的gpu的更多信息，请参阅金宝appGPU支金宝app持情况(并行计算工具箱)．

您可以使用gpuDevice(并行计算工具箱)查询或选择要与MATLAB一起使用的本地GPU设备®．

请注意

在GPU上训练或模拟代理涉及特定于设备的数值四舍五入错误。与在CPU上执行相同的操作相比，这些错误会产生不同的结果。

注意，如果你想使用并行处理来加速训练，你不需要设置UseDevice．相反，在训练你的特工时，使用rlTrainingOptions对象，其中UseParallel选项设置为真正的．有关使用多核处理器和gpu进行培训的更多信息，请参见使用并行计算和gpu的列车代理．

例子:“UseDevice”、“gpu”

对象的功能

rlValueRepresentation 强化学习主体的价值函数批判表示
rlQValueRepresentation 强化学习主体的q值函数批判表示
rlDeterministicActorRepresentation 强化学习主体的确定性行为体表示
rlStochasticActorRepresentation 强化学习智能体的随机角色表示

例子

全部折叠

打开生活的脚本

创建用于为强化学习代理创建评论家或演员表示的选项集。设置表示的学习率为0.05，设置梯度阈值为1。在创建选项集时，可以使用名称、值对设置选项。没有显式设置的任何选项都有其默认值。

repOpts = rlRepresentationOptions (“LearnRate”5飞行,．．.“GradientThreshold”, 1)
repOpts = rlRepresentationOptions属性:LearnRate: 0.0500 GradientThreshold: 1 GradientThresholdMethod:“l2norm”L2RegularizationFactor: 1.0000 e-04 UseDevice:“cpu”优化器:“亚当”OptimizerParameters: [1 x1 rl.option.OptimizerParameters]

或者，创建一个默认选项集，并使用点符号来更改一些值。

repOpts = rlRepresentationOptions;repOpts。learnRate = 5e-2; repOpts.GradientThreshold = 1
repOpts = rlRepresentationOptions属性:LearnRate: 0.0500 GradientThreshold: 1 GradientThresholdMethod:“l2norm”L2RegularizationFactor: 1.0000 e-04 UseDevice:“cpu”优化器:“亚当”OptimizerParameters: [1 x1 rl.option.OptimizerParameters]

如果您想要更改OptimizerParameters选项，使用点符号来访问它们。

repOpts.OptimizerParameters.Epsilon = 1 e;repOpts。OptimizerParameters
ans = OptimizerParameters与属性:动量:“不适用”Epsilon: 1.0000e-07 GradientDecayFactor: 0.9000 SquaredGradientDecayFactor: 0.9990

另请参阅

主题

介绍了R2019a

强化学习工具箱文档

金宝app

强化学习与MATLAB和Simulink金宝app

强化学习与MATLAB和Simulink金宝app

下载电子书