负载预定义控制系统环境-MATLAB和Simulink-英国MathWorks金宝app - 金宝app,下载188bet金宝搏,金宝搏官方网站

加载预定义的控制系统环境

强化学习工具箱™软件提供了几个预定义的控制系统环境，其中的动作、观察、奖励和动态已经定义。你可以使用这些环境:

学习强化学习概念。
熟悉强化学习工具箱软件功能。
测试您自己的强化学习代理。

您可以加载以下预定义的MATLAB^®控制系统环境使用rlPredefinedEnv函数。

环境	代理任务
手推车杆	通过使用离散或连续动作空间对移动的推车施加力来平衡推车上的杆。
双积分器	使用离散或连续动作空间控制二阶动态系统。
单摆与图像观察	使用离散或连续动作空间摆动并平衡单摆。

您还可以加载预定义的MATLAB网格世界环境。有关更多信息，请参见加载预定义的网格世界环境．

车柱环境

在预定义的车杆环境中，代理的目标是通过对车施加水平力来平衡移动中的车杆。当满足以下两个条件时，认为极点平衡成功:

极角保持在垂直位置的给定阈值内，其中垂直位置为零弧度。
小车位置的大小仍然低于给定的阈值。

有两种车杆环境变体，它们因代理操作空间的不同而不同。

离散Agent可以施加任意一种力F_最大值或-F_最大值去购物车，在哪里F_最大值是马克斯福斯环境的属性。
连续-剂可以施加范围内的任何力[-F_最大值，F_最大值].

要创造一个车杆的环境，使用rlPredefinedEnv函数。

离散动作空间

env = rlPredefinedEnv (“CartPole-Discrete”);

连续动作空间

env = rlPredefinedEnv (“CartPole Continuous”);

您可以使用情节函数。该情节将购物车显示为蓝色方形，杆显示为红色矩形。

情节(env)

要在培训期间可视化环境，请致电情节培训前，保持可视化图形打开。

有关如何在电线杆环境中培训代理的示例，请参见以下示例:

环境属性

所有物	描述	违约
`重力`	重力引起的加速度，单位为米/秒平方	`9.8`
`大篷车`	大车的质量（千克）	`1`
`MassPole`	电杆的质量（千克）	`0.1`
`长度`	杆子长度的一半，单位是米	`0.5`
`马克斯福斯`	最大水平力的大小，单位为牛顿	`10`
`Ts`	采样时间(秒)	`０．０２`
`塔特雷舍弧度`	以弧度为单位的极角阈值	`0.2094`
`XThreshold`	车的位置阈值以米为单位	`2.4`
`奖赏不落`	每一步杆子都是平衡的奖励	`1`
`PenaltyForFalling`	不能平衡柱子的奖励惩罚	离散,`5` 连续的,`-50`
`状态`	环境状态，指定为带有以下状态变量的列向量: 大车位置车位导数极角极角导数	`[0 0 0]'`

行动

在车杆环境中，代理使用单个动作信号与环境交互，即作用于车的水平力。环境包含此动作信号的规范对象。对于环境有一个:

离散的行动空间，是一种规范rlFiniteSetSpec对象。
连续动作空间，规范是一个rlNumericSpec对象。

有关从环境中获取操作规范的更多信息，请参阅getActionInfo．

观察

在cart-pole系统中，agent可以观察到系统中所有的环境状态变量环境状态．对于每个状态变量，环境包含一个rlNumericSpec观测规范。所有的状态都是连续的和无界的。

有关从环境中获取观测规范的详细信息，请参见getObservationInfo．

奖励

此环境的奖励信号由两部分组成。

在杆平衡的每一个时间步骤中都有积极的奖励，也就是说，车和杆都保持在指定的阈值范围内。这种奖励会在整个训练过程中累积。为了控制奖励的大小，使用奖赏不落环境的属性。
如果杆或车移动超出其阈值范围，则一次性负处罚。此时，培训活动停止。要控制此惩罚的大小，请使用PenaltyForFalling环境的属性。

双积分器的环境

在预先设定的双积分器环境中，智能体的目标是通过施加一个力输入来控制二阶系统中质量的位置。具体地说，二阶系统是一个具有增益的双积分器。

当发生以下任一事件时，这些环境的培训课程结束：

质量从原点移动到一个给定的阈值。
状态向量的范数小于给定的阈值。

有两种双集成器环境变体，它们因代理操作空间而异。

离散Agent可以施加任意一种力F_最大值或-F_最大值去购物车，在哪里F_最大值是马克斯福斯环境的属性。
连续-剂可以施加范围内的任何力[-F_最大值，F_最大值].

要创建双积分器环境，请使用rlPredefinedEnv函数。

离散动作空间

env = rlPredefinedEnv (“双积分离散”);

连续动作空间

env = rlPredefinedEnv (“双积分连续”);

您可以使用情节函数。plot将质量显示为一个红色矩形。

情节(env)

要在培训期间可视化环境，请致电情节培训前，保持可视化图形打开。

有关如何在双集成商环境中培训代理的示例，请参见下面的示例:

环境属性

所有物	描述	违约
`获得`	双积分增益	`1`
`Ts`	采样时间(秒)	`0.1`
`最大距离`	距离震级阈值，单位为米	`5`
`守门员`	国家标准阈值	`０．０１`
`问`	奖励信号的观察分量的权重矩阵	`[10 0; 0 1]`
`R`	奖励信号动作分量的权重矩阵	`０．０１`
`马克斯福斯`	最大输入力，单位为牛顿	离散:`2` 连续的：`正`
`状态`	环境状态，指定为带有以下状态变量的列向量: 质量的位置质量位置导数	`[0 0) '`

行动

在双积分环境中，智能体使用单个动作信号（施加在质量上的力）与环境交互。环境包含此动作信号的规范对象。对于具有以下特性的环境：

离散的行动空间，是一种规范rlFiniteSetSpec对象。
连续动作空间，规范是一个rlNumericSpec对象。

有关从环境中获取操作规范的更多信息，请参阅getActionInfo．

观察

在双积分器系统中，智能体可以同时观察系统中的环境状态变量环境状态．对于每个状态变量，环境包含一个rlNumericSpec观察规范。这两种状态都是连续的和无界的。

有关从环境中获取观测规范的详细信息，请参见getObservationInfo．

奖励

此环境的奖励信号是离散时间等效于以下连续时间奖励，类似于LQR控制器的成本函数。

$r e w 一个 r d ＝ - \int （ x ＇问 x + u ＇ R u ） d t$

在这里:

问和R环境属性。
x为环境状态向量。
u是输入力。

这种奖励是情景性奖励，也就是说，在整个训练过程中累积的奖励。

图像观察的简单钟摆环境

这种环境是一个简单的无摩擦摆，最初悬挂在向下的位置。训练目标是使用最小的控制力使钟摆直立而不摔倒。

有两种简单的摆环境变体，它们根据agent的行动空间而不同。

离散代理可以应用－２，1，0，1,或2钟摆。
连续-药剂可施加范围内的任何扭矩[－２，2].

要创建一个简单的钟摆环境，使用rlPredefinedEnv函数。

离散动作空间

env = rlPredefinedEnv (“SimplePendulumWithImage-Discrete”);

连续动作空间

env = rlPredefinedEnv (“SimplePendulumWithImage连续”);

有关如何在此环境中培训代理的示例，请参见以下示例:

环境属性

所有物	描述	违约
`大量`	钟摆质量	`1`
`RodLength`	摆的长度	`1`
`杆惯性`	摆惯性矩	`0`
`重力`	重力引起的加速度，单位为米/秒平方	`9.81`
`受潮`	摆运动阻尼	`0`
`MaximumTorque`	最大输入扭矩（牛顿）	`2`
`Ts`	采样时间(秒)	`0．05`
`状态`	环境状态，指定为带有以下状态变量的列向量: 摆角摆角速度	`[0 0 ]'`
`问`	奖励信号的观察分量的权重矩阵	`[1 0;0 0.1]`
`R`	奖励信号动作分量的权重矩阵	`1e-3`