主要内容

rlSimulationOptions

用于在环境中模拟强化学习代理的选项

描述

使用一个rlSimulationOptions对象指定用于在环境中模拟强化学习代理的仿真选项。要执行模拟,请使用sim卡

有关代理培训和模拟的更多信息,请参见训练强化学习代理

创建

描述

simOpts= rlSimulationOptions返回针对代理模拟强化学习环境的默认选项。使用模拟选项来指定有关模拟的参数,例如每个模拟要运行的最大步骤数和要运行的模拟数。配置选项后,使用simOpts的输入参数sim卡

例子

选择= rlSimulationOptions (名称,值使用指定的创建模拟选项集属性使用一个或多个名称-值对参数。

属性

全部展开

运行模拟的步骤数,由逗号分隔的对组成“MaxSteps”一个正整数。通常,您在环境中定义插曲终止条件。如果不满足这些终止条件,则该值是在模拟中运行的最大步骤数。

例子:“MaxSteps”,1000年

要运行的模拟数,由逗号分隔的对组成“NumSimulations”一个正整数。在每次模拟开始时,sim卡重置环境。您可以指定创建环境时环境重置时发生的事情。例如,如果您将环境配置为这样做,那么在每个章节开始时重置环境可以包括随机初始状态值。在这种情况下,运行多个模拟可以让您在一系列初始条件下验证训练过的代理的性能。

例子:“NumSimulations”,10

当错误发生时停止模拟,指定为“关闭”“上”.当这个选项是“关闭”中捕获并返回错误SimulationInfo的输出sim卡,模拟继续进行。

标记用于使用并行模拟,指定为逻辑.将此选项设置为真正的配置模拟以使用并行处理来模拟环境,从而允许使用多核、处理器、计算机集群或云资源来加速模拟。若要指定并行模拟的选项,请使用ParallelizationOptions财产。

注意,如果你想使用本地GPU加速深度神经网络计算(如梯度计算,参数更新和预测),你不需要设置UseParallel为true。相反,当创建您的演员或评论家的表现时,使用rlRepresentationOptions对象,其中UseDevice选项设置为“图形”

使用并行计算或GPU需要并行计算工具箱™软件。使用计算机集群或云资源还需要额外的需求MATLAB®并行服务器™

有关使用多核处理器和gpu进行培训的更多信息,请参见使用并行计算和gpu训练agent

例子:“UseParallel”,真的

控制并行模拟的并行化选项,指定为ParallelTraining对象。有关使用并行计算进行培训的更多信息,请参见训练强化学习代理

ParallelTraining对象具有以下属性,您可以在创建rlTrainingOptions对象。

工作器的随机化初始化,如下所示:

  • 1-分配一个唯一的随机种子到每个工人。种子的值是工作者ID。

  • 2-不要随机分配种子给工人。

  • 矢量-手动指定每个工作的随机种子。vector中的元素数量必须与工人数量匹配。

将模型和工作区变量发送到指定为“上”“关闭”.当选项是“上”,主机将模型中使用的变量和MATLAB基础工作区中定义的变量发送给工作者。

要附加到并行池的其他文件,指定为字符串或字符串数组。

函数,指定为不带输入参数的函数的句柄。这个函数在模拟开始之前每个工人运行一次。编写这个函数来执行模拟之前需要的任何处理。

在模拟结束后运行的函数,指定为不带输入参数的函数的句柄。您可以编写此函数来在模拟结束后清理工作区或执行其他处理。

对象的功能

sim卡 在指定的环境中模拟训练过的强化学习代理

例子

全部折叠

创建一个选项集来模拟强化学习环境。将模拟的步骤数设置为1000,并配置选项以运行三个模拟。

在创建选项集时,可以使用“名称”、“值”对设置选项。没有显式设置的任何选项都有其默认值。

simOpts = rlSimulationOptions (...“MaxSteps”, 1000,...“NumSimulations”3)
simOpts = rlSimulationOptions with properties: MaxSteps: 1000 numsimulation: 3 StopOnError: "on" UseParallel: 0 parallelationoptions: [1x1 rl.option.ParallelSimulation]

或者,创建一个默认选项集并使用点符号来更改一些值。

simOpts = rlSimulationOptions;simOpts。MaxSteps= 1000; simOpts.NumSimulations = 3; simOpts
simOpts = rlSimulationOptions with properties: MaxSteps: 1000 numsimulation: 3 StopOnError: "on" UseParallel: 0 parallelationoptions: [1x1 rl.option.ParallelSimulation]

另请参阅

介绍了R2019a