sim卡

用为该环境配置的代理模拟强化学习环境。对于本例，加载已经配置好的环境和代理。环境是一个离散的车杆环境创建与rlPredefinedEnv。代理是一个策略梯度(rlPGAgent)代理。有关本示例中使用的环境和代理的详细信息，请参见培训PG代理平衡车杆系统。

rng (0)再现性%负载RLSimExample.matenv

env = CartPoleDiscreteAction with properties: Gravity: 9.8000 MassCart: 1 MassPole: 0.1000 Length: 0.5000 MaxForce: 10 Ts: 0.0200 thetathresholdrans: 0.2094 XThreshold: 2.4000 RewardForNotFalling: 1 PenaltyForFalling: -5 State: [4x1 double]

代理

agent = rlPGAgent with properties: AgentOptions: [1x1 rl.option.]rlPGAgentOptions] UseExplorationPolicy: 1 ObservationInfo: [1x1 rl.util.rlNumericSpec] ActionInfo: [1x1 rl.util.rlFiniteSetSpec] SampleTime: 0.1000

通常，您使用火车并模拟环境来测试训练后的智能体的性能。对于本例，使用加载的代理模拟环境。配置模拟选项，指定模拟运行100步。

simOpts = rlSimulationOptions(MaxSteps=100);

对于本示例中使用的预定义的车杆环境。你可以用情节生成一个可视化的车杆系统。当你模拟环境时，这个情节会自动更新，这样你就可以在模拟过程中观察系统的演变。

情节(env)

模拟环境。

experience = sim(env,agent,simOpts)

经验=带有字段的结构体:观察:[1x1 struct]动作:[1x1 struct]奖励:[1x1 timeseries] IsDone: [1x1 timeseries] SimulationInfo: [1x1 struct]

输出结构经验记录从环境、行动和奖励中收集的观察结果，以及在模拟过程中收集的其他数据。每个字段包含一个timeseries的对象或结构timeseries数据对象。例如,体验。行动是一个timeseries包含智能体在仿真的每一步中对车杆系统施加的动作。

体验。行动

ans =带有字段的结构体:CartPoleAction: [1x1 timeseries]

模拟为示例中使用的Simulink®模型创建的环境金宝app训练多个代理执行协同任务，使用在该示例中训练的代理。

在MATLAB®工作空间中加载代理。

负载rlCollaborativeTaskAgents

创造一个环境rlCollaborativeTask金宝appSimulink®模型，它有两个代理块。由于两个块使用的代理(agentA和agentB)已经在工作区中，您不需要传递它们的观察和操作规范来创建环境。

env = rl金宝appSimulinkEnv(…“rlCollaborativeTask”，…［“rlCollaborativeTask /代理”，“B rlCollaborativeTask /代理”]）;

加载所需的参数rlCollaborativeTask金宝appSimulink®模型运行。

rlCollaborativeTaskParams

模拟代理对抗环境，节省经验xpr。

xpr = sim(env，[agentA, agentB]);

策划两个特工的行动。

次要情节(2,1,1);情节(xpr (1) .Action.forces)次要情节(2,1,2);情节(xpr (2) .Action.forces)