主要内容

rlNumericSpec

创建持续的行动或观测数据规范强化学习环境

自从R2019a

扩展所有的页面

描述

一个rlNumericSpec对象指定连续行动或观测数据规范强化学习环境。

创建

语法

规范= rlNumericSpec(维度)
规范= rlNumericSpec(尺寸、名称、值)

描述

例子

规范= rlNumericSpec (维)创建一个数据规范连续动作或观察和设置维财产。

规范= rlNumericSpec (维,名称,值)集属性使用名称-值对参数。

属性

全部展开

下限的数据空间,指定为一个标量或相同大小的矩阵数据空间。当LowerLimit被指定为一个标量,rlNumericSpec它适用于所有条目的数据空间。DDPG TD3和囊剂使用这个属性来执行低限制行动。当使用其他代理,如果您需要执行限制行动,你必须这样做,内环境。

上限的数据空间,指定为一个标量或相同大小的矩阵数据空间。当UpperLimit被指定为一个标量,rlNumericSpec它适用于所有条目的数据空间。DDPG TD3和囊剂使用这个属性来执行上限。当使用其他代理,如果您需要执行限制行动,你必须这样做,内环境。

的名字rlNumericSpec对象,指定为一个字符串。使用这个属性来设置一个有意义的名字由这些数据的信号通道。使用这个属性RL代理块匹配总线信号与相应的环境元素通道。

的描述rlNumericSpec对象,指定为一个字符串。您可以使用这个属性来指定一个有意义的描述这个环境所携带的信号通道。

这个属性是只读的。

维度的数据空间,指定为一个数值向量。这个属性是必要的构建代理和函数近似者对象与一个给定的环境中工作。

这个属性是只读的。

信息数据的类型,指定为一个字符串,如“替身”或“单身”。软件使用这个属性来执行数据类型为观察和行为的一致性。

对象的功能

rl金宝appSimulinkEnv 创建使用动态模型中实现强化学习环境金宝app
rlFunctionEnv 指定自定义使用功能强化学习环境动力学
rlValueFunction 值函数近似者对象强化学习代理
rlQValueFunction 为强化学习代理核反应能量函数近似者对象
rlVectorQValueFunction 向量核反应能量函数近似者强化学习代理
rlContinuousDeterministicActor 确定性演员与一个连续动作的强化学习空间代理
rlDiscreteCategoricalActor 随机分类演员为强化学习代理一个离散的行动空间
rlContinuousGaussianActor 随机高斯演员为强化学习代理一个持续的行动空间

例子

全部折叠

这个示例使用:

打开生活的脚本

对于这个示例,考虑rlSimplePendulumModel金宝app仿真软件模型。最初的模型是一个简单的无摩擦摆挂在一个向下的位置。

打开模型。

mdl =“rlSimplePendulumModel”;open_system (mdl)

创建rlNumericSpec和rlFiniteSetSpec分别为观察对象和动作信息。

观察是一个向量,它包含三个信号:正弦、余弦、和时间导数的角。

obsInfo = rlNumericSpec (1 [3])
obsInfo = rlNumericSpec属性:LowerLimit:无穷UpperLimit:正的名字:[0 x0字符串)描述:[0 x0字符串]维度:1[3]数据类型:“替身”

行动是一个标量表达力,可以三种可能的值,-2海里,0纳米和2Nm。

actInfo = rlFiniteSetSpec ([2 0 2])
actInfo = rlFiniteSetSpec属性:元素:[3 x1双)名称:[0 x0字符串)描述:[0 x0字符串]维度:[1]数据类型:“替身”

可以使用点符号来指定属性的值rlNumericSpec和rlFiniteSetSpec对象。

obsInfo。Name =“观察”;actInfo。Name =“扭矩”;

指定代理块路径信息,并创建的强化学习环境仿真软件模型在前面的步骤中使用的信息提取。金宝app

agentBlk = mdl +“/ RL代理”;env = rl金宝appSimulinkEnv (mdl agentBlk、obsInfo actInfo)
env = 金宝appSimulinkEnvWithAgent属性:模型:rlSimplePendulumModel AgentBlock: rlSimplePendulumModel / RL代理ResetFcn: [] UseFastRestart:

你还可以包括一个重置函数使用点符号。对于本例,随机初始化theta0在模型中工作区。

env。ResetFcn = @(在)setVariable (,“theta0”randn,“工作区”mdl)
env = 金宝appSimulinkEnvWithAgent属性:模型:rlSimplePendulumModel AgentBlock: rlSimplePendulumModel / RL代理ResetFcn: @(在)setVariable (randn,“theta0”,“工作空间”,mdl) UseFastRestart:

版本历史

介绍了R2019a

另请参阅

功能

对象

块

主题