加载预定义的Simulink环境金宝app-MATLAB和Simulink-MathWorks Nordic - 金宝app,下载188bet金宝搏,金宝搏官方网站

负载预定义金宝app环境

强化学习工具箱™ 软件提供预定义的Simulink金宝app^®已经为其定义了行动、观察、奖励和动态的环境。您可以使用这些环境来：

学习强化学习概念。
熟悉强化学习工具箱软件功能。
测试您自己的强化学习代理。

您可以使用金宝apprlPredefinedEnv作用

环境	代理任务
单摆Simulink模型金宝app	使用离散或连续动作空间摆动并平衡单摆。
手推车杆模拟风景™ 模型	通过使用离散或连续动作空间对移动的推车施加力来平衡推车上的杆。

对于预定义的Simulink环金宝app境，在相应的Simulink模型中定义了环境动力学、观测和奖励信号rlPredefinedEnv函数创建一个金宝app与代理同步反对火车函数用于与Simulink模型交互。金宝app

单摆金宝app模型

该环境是一个简单的无摩擦摆，最初悬挂在向下的位置。训练目标是使用最小的控制力使摆直立而不摔倒。该环境的模型在RLSimplePendulmodel金宝appSimulink模型。

开放式系统(“rlSimplePendulumModel”)

有两种单摆环境变量，它们因代理操作空间而异。

离散代理可以应用任意一个T_最大值,0，或-T_最大值到钟摆那里去T_最大值是马克斯头模型工作区中的变量。
连续-代理可以在范围内施加任何扭矩[-T_最大值,T_最大值].

要创建单摆环境，请使用rlPredefinedEnv作用

离散动作空间

env=rlPredefinedEnv(“SimplePendulumModel离散”);

连续动作空间

env=rlPredefinedEnv(“SimplePendulumModel连续”);

有关在单摆环境中培训代理的示例，请参见：

行动

在单摆环境中，代理使用单个动作信号与环境交互，该动作信号是施加在摆底部的扭矩。环境包含此动作信号的规范对象。对于具有：

离散动作空间，规范是一个rlFiniteSetSpec对象
连续动作空间，规范是一个rlNumericSpec对象

有关从环境中获取操作规范的更多信息，请参阅getActionInfo.

观察

在单摆环境中，agent接收以下三个观察信号，它们在创建观察结果子系统。

摆角正弦
摆角余弦
摆角导数

对于每个观测信号，环境包含一个rlNumericSpec观察规范。所有观察都是连续的和无界的。

有关从环境中获取观测规范的详细信息，请参见获取观测信息.

奖励

此环境的奖励信号，在计酬子系统，是

$R_{T} = - (θ_{T}^{2.} + 0.1 * {\dot{θ}}_{T}^{2.} + 0.001 * U_{T - 1.}^{2.})$

在这里：

θ_T是摆锤相对于直立位置的位移角。
${\dot{θ}}_{T}$ 是摆锤角度的导数。
U_t-1是上一时间步的控制效果。

手推车杆模拟风景模型

在预定义的手推车杆环境中，agent的目标是通过向手推车施加水平力来平衡移动手推车上的杆。如果满足以下两个条件，则认为杆已成功平衡：

极角保持在垂直位置的给定阈值内，其中垂直位置为零弧度。
小车位置的大小保持在给定阈值以下。

此环境的模型在中定义rlcartpolesiscape模型金宝appSimulink模型。此模型的动力学定义为Simscape多体™.

开放式系统(“RLCartPolesimCapeModel”)

在环境子系统中，使用Simscape组件定义模型动力学，使用Simulink块构建奖励和观察。金宝app

开放式系统(“RLCartPolesimCapeModel/Environment”)

有两种cart-pole环境变体，它们因代理操作空间而异。

离散代理可以应用15,0或-15去购物车。
连续-代理可以在范围内施加任何力[-15,15].

要创建购物车立柱环境，请使用rlPredefinedEnv作用

离散动作空间

env=rlPredefinedEnv(“CartpolesisCapeModel离散”);

连续动作空间

env=rlPredefinedEnv(“cartpolesiscapemodel Continuous”);

有关在此cart-pole环境中培训代理的示例，请参见培训DDPG代理摆动和平衡车杆系统.

行动

在cart-pole环境中，代理使用单个动作信号（施加到cart上的力）与环境交互。环境包含此动作信号的规范对象。对于具有：

离散动作空间，规范是一个rlFiniteSetSpec对象
连续动作空间，规范是一个rlNumericSpec对象

有关从环境中获取操作规范的更多信息，请参阅getActionInfo.

观察

在cart-pole环境中，代理接收以下五个观察信号。

极角正弦
极角余弦
摆角导数
大车位置
大车位置导数

对于每个观测信号，环境包含一个rlNumericSpec观察规范。所有观察都是连续的和无界的。

有关从环境中获取观测规范的详细信息，请参见获取观测信息.

奖励

此环境的奖励信号是两个组件的总和(R=R_qr+R_N+R_P):

二次调节器控制报酬，在环境/品质奖励子系统。

$R_{Q R} = - (0.1 * x^{2.} + 0.5 * θ^{2.} + 0.005 * U_{T - 1.}^{2.})$
在环境/x限制处罚子系统。当购物车位置的大小超过给定阈值时，该子系统生成负奖励。

$R_{P} = - 100 * (| x | \geq 3.5)$