sim卡

模拟强化学习环境的代理配置为环境。对于这个示例,加载一个环境和代理已经配置。环境是一个离散cart-pole环境创建rlPredefinedEnv。代理是一个策略梯度(rlPGAgent)代理。更多信息在本例中,使用的环境和代理火车PG代理Cart-Pole平衡系统。

rng (0)%的再现性负载RLSimExample.matenv

env = CartPoleDiscreteAction属性:重力:9.8000 MassCart: 1 MassPole: 0.1000长度:0.5000 MaxForce: 10 Ts: 0.0200 ThetaThresholdRadians: 0.2094 XThreshold: 2.4000 RewardForNotFalling: 1 PenaltyForFalling: 5状态:[4 x1双)

代理

代理= rlPGAgent属性:AgentOptions: [1 x1 rl.option。rlPGAgentOptions] UseExplorationPolicy: 1 ObservationInfo: [1x1 rl.util.rlNumericSpec] ActionInfo: [1x1 rl.util.rlFiniteSetSpec] SampleTime: 0.1000

通常,您培训代理使用火车和模拟环境测试培训代理的性能。对于这个示例,使用代理你加载的模拟环境。配置模拟选项,指定的模拟运行100步。

simOpts = rlSimulationOptions (MaxSteps = 100);

在本例中为预定义的cart-pole环境使用。您可以使用情节生成一个cart-pole系统的可视化。当你模拟环境,这个情节自动更新,这样您就可以看系统仿真中发展。

情节(env)

模拟环境。

经验= sim (env,代理simOpts)

经验=结构体字段:观察:[1 x1 struct]行动:[1 x1 struct]奖赏:[1 x1 timeseries]结束:[1 x1 timeseries] SimulationInfo: [1 x1 struct]

输出结构经验记录从环境中收集的观察、操作和奖励,在模拟和其他数据收集。每个字段包含一个timeseries物体或结构timeseries数据对象。例如,experience.Action是一个timeseries包含行动对cart-pole系统代理每一步的模拟。

experience.Action

ans =结构体字段:CartPoleAction (1 x1 timeseries):

模拟一个环境为模型创建®模型中使用的例子金宝app训练多个代理执行协作任务在这个例子中,使用代理培训。

加载代理的MATLAB®工作区。

负载rlCollaborativeTaskAgents

创建一个环境rlCollaborativeTask金宝app仿真软件®模型,它有两个代理模块。自两块(使用的代理agentA和agentB)已经在工作区中,您不需要通过观察和操作规范来创建环境。

env = rl金宝appSimulinkEnv (…“rlCollaborativeTask”,…(“rlCollaborativeTask /代理”,“B rlCollaborativeTask /代理”]);

加载所需的参数rlCollaborativeTask金宝app仿真软件®运行模型。

rlCollaborativeTaskParams

模拟代理对环境、节约的经验xpr。

xpr = sim (env, [agentA agentB]);

阴谋行动的代理。

次要情节(2,1,1);情节(xpr (1) .Action.forces)次要情节(2,1,2);情节(xpr (2) .Action.forces)