主要内容

rlSimulationOptions

用于在环境中模拟强化学习代理的选项

描述

使用一个rlSimulationOptions对象指定模拟选项,以模拟环境中的强化学习代理。要执行模拟,请使用sim卡

有关代理训练和模拟的更多信息,请参见训练强化学习代理

创建

描述

simOpts= rlSimulationOptions返回针对代理模拟强化学习环境的默认选项。使用模拟选项可指定有关模拟的参数,例如每次模拟运行的最大步数和要运行的模拟数量。配置完成后,请使用simOpts的输入参数sim卡

例子

选择= rlSimulationOptions (名称,值属性创建模拟选项集属性使用一个或多个名称-值对参数。

属性

全部展开

运行模拟的步骤数,指定为由逗号分隔的对组成“MaxSteps”一个正整数。通常,您可以在环境中定义插曲终止条件。此值是在不满足这些终止条件时在模拟中运行的最大步数。

例子:“MaxSteps”,1000年

要运行的模拟数,指定为逗号分隔的对,由“NumSimulations”一个正整数。在每次模拟开始时,sim卡重置环境。您可以在创建环境时指定环境重置时发生的事情。例如,在每集开始时重置环境可以包括随机初始状态值,如果您将环境配置为这样做的话。在这种情况下,运行多个模拟可以让您验证经过训练的代理在初始条件范围内的性能。

例子:“NumSimulations”,10

当发生错误时停止模拟,指定为“关闭”“上”.当这个选项是“关闭”时,错误被捕获并返回SimulationInfo的输出sim卡,继续模拟。

标志,用于使用并行模拟,指定为逻辑.将此选项设置为真正的将模拟配置为使用并行处理来模拟环境,从而支持使用多核、处理器、计算机集群或云资源来加速模拟。要指定并行模拟的选项,请使用ParallelizationOptions财产。

注意,如果你想使用本地GPU加速深度神经网络计算(如梯度计算,参数更新和预测),你不需要设置UseParallel为true。相反,在创建参与者或评论家表示时,使用rlRepresentationOptions对象,其中UseDevice选项设置为“图形”

使用并行计算或GPU需要并行计算工具箱™软件。另外还需要使用计算机集群或云资源MATLAB®并行服务器™

有关使用多核处理器和gpu进行训练的更多信息,请参见使用并行计算和图形处理器训练代理

例子:“UseParallel”,真的

控件并行模拟的并行化选项,指定为ParallelTraining对象。有关使用并行计算进行训练的更多信息,请参见训练强化学习代理

ParallelTraining对象具有以下属性,可以在创建rlTrainingOptions对象。

工人的随机化初始化,指定如下:

  • 1-给每个worker分配一个唯一的随机种子。种子的值是工作者ID。

  • 2-不要给工人分配随机的种子。

  • 矢量-手动指定每个作品的随机种子。vector中元素的数量必须与worker的数量相匹配。

将模型和工作区变量发送给并行工作者,指定为“上”“关闭”.当选项是“上”,主机将在模型中使用并在基本MATLAB工作空间中定义的变量发送给工作者。

附加到并行池的其他文件,指定为字符串或字符串数组。

函数在模拟开始之前运行,指定为没有输入参数的函数的句柄。在模拟开始之前,每个worker运行一次此函数。编写这个函数来执行模拟之前需要的任何处理。

函数在模拟结束后运行,指定为没有输入参数的函数的句柄。您可以编写此函数来在模拟结束后清理工作区或执行其他处理。

对象的功能

sim卡 在指定的环境中模拟训练好的强化学习代理

例子

全部折叠

创建用于模拟强化学习环境的选项集。将模拟的步骤数设置为1000,并配置选项以运行三个模拟。

在创建选项集时,可以使用“名称”、“值”对设置选项。没有显式设置的任何选项都有默认值。

simOpts = rlSimulationOptions(...“MaxSteps”, 1000,...“NumSimulations”3)
simOpts = rlSimulationOptions with properties: MaxSteps: 1000 NumSimulations: 3 StopOnError: "on" UseParallel: 0 parallelationoptions: [1x1 rl.option.ParallelSimulation]

或者,创建一个默认选项集,并使用点表示法更改一些值。

simOpts = rlSimulationOptions;simOpts。MaxSteps= 1000; simOpts.NumSimulations = 3; simOpts
simOpts = rlSimulationOptions with properties: MaxSteps: 1000 NumSimulations: 3 StopOnError: "on" UseParallel: 0 parallelationoptions: [1x1 rl.option.ParallelSimulation]

版本历史

在R2019a中引入

另请参阅