训练

在指定环境中列车加固学习代理

折叠所有页面

句法

TrainStats =火车（Env，代理商）

env trainStats =火车(代理)

Env =火车（___trainOpts)

描述

训练司=火车（env.那代理人）使用默认训练选项在指定的环境中训练一个或多个强化学习代理。虽然代理人在每次训练后，是一个输入参数，训练更新中指定的每个代理的参数代理人最大化他们预期的环境长期奖励。训练终止时，代理人反映了最后一集训练中每个agent的状态。

训练司=火车（代理人那env.）执行与前一个语法相同的培训。

示例

env.=火车（___那训练）火车代理人在...之内env.，使用training options对象训练．使用训练选项来指定训练参数，如终止训练的条件、何时保存代理、要训练的最大集数以及每个集的最大步数。在前面语法中的任何输入参数之后使用此语法。

例子

全部收缩

训练钢筋学习代理

打开直播脚本

中配置的代理火车PG代理可以平衡车杆系统示例，在相应的环境中。从环境中观察是载体包含推车的位置和速度，以及杆的角位置和速度。该动作是具有两个可能元素的标量（应用于推车的-10或10个牛顿的力）。

加载包含环境的文件和已为其配置的PG代理。

加载rltrainexample.mat.

使用一些培训参数使用rltringOptions.．这些参数包括训练的最大剧集数，每集的最大步骤以及终止训练的条件。在此示例中，每集使用最多1000个剧集和500个步骤。当前五个剧集的平均奖励达到500时，指示培训停止。创建默认选项集并使用点表示法来更改一些参数值。

trainOpts = rlTrainingOptions;trainOpts。MaxEpisodes = 1000;trainOpts。MaxStepsPerEpisode = 500;trainOpts。StopTrainingCriteria =“平均”；trainOpts。StopTrainingValue = 500;trainOpts。ScoreAveragingWindowLength = 5;

在培训期间，训练命令可以保存给予良好结果的候选代理商。进一步配置培训选项以在剧集奖励超过500时保存代理。将代理保存到名为的文件夹救护人．

训练.SaveAgentCriteria =“EpisodeReward”；训练.SaveAgentValue.=500; trainOpts.SaveAgentDirectory =“Savedagents”；

最后，关闭命令行显示。打开Reinforcement Learning Episode Manager，这样您就可以直观地观察训练进度。

训练。verbose = false;训练.Plots =.“训练进步”；

您现在准备训练PG代理商。对于在此示例中使用的预定义推车环境，您可以使用阴谋生成车杆系统的可视化。

情节(env)

当您运行此示例时，可视化和Reinforcement Learning Episode Manager都会随着每个培训章节而更新。将它们并排放在屏幕上观察进程，并训练代理。(此计算可能需要20分钟或更长时间。)

trainingInfo =火车(代理,env, trainOpts);

《Episode Manager》显示，训练成功达到了终止条件，即在前5集平均奖励500英镑。在每次训练中，训练更新代理在上一个集中学习的参数。训练终止时，您可以使用培训的代理模拟环境以评估其性能。在培训期间，环境绘制在模拟期间更新。

simoptions = rlsimulation选项（'maxsteps'，500）;体验= SIM（ENV，Agent，SimOptions）;

在培训期间，训练保存磁盘符合指定条件的代理RAPROOPS.SAVEAGENTCRITERA.和训练.SaveAgentValue.．要测试任何一种代理的性能，您可以从您指定的文件夹中的数据文件中加载数据trainOpts。SaveAgentDirectory，并使用该代理模拟环境。

培训多个代理商执行协作任务

这个示例使用:

打开直播脚本

这个例子展示了如何在Simulink®环境中设置多智能体培训课程。金宝app在本例中，训练两个代理协作执行移动对象的任务。

本例中的环境是一个无摩擦的二维表面，包含用圆表示的元素。目标物体C用半径为2米的蓝色圆圈表示，机器人A(红色)和B(绿色)用半径为1米的小圆圈表示。机器人试图通过碰撞施加力，将物体C移动到半径为8米的圆环外。环境中的所有元素都有质量，并遵循牛顿运动定律。此外，单元与环境边界之间的接触力被建模为弹簧和质量阻尼系统。这些元素可以通过在X和Y方向施加外力在表面上移动。在第三维中没有运动系统的总能量是守恒的。

创建此示例所需的参数集。

rlcollaborativetaskparams.

打开Simulin金宝appk模型。

mdl =“rlcollaborativetask”；Open_System（MDL）

对于这个环境：

在x和y方向上，二维空间在-12μm到12μm中界定。
接触弹簧的刚度值为100n /m，阻尼值为0.1 N/m/s。
agent共享相同的位置、A、B、C的速度和上一次时间步长的动作值。
当物体C移出圆环时，仿真终止。
在每步，代理商都会收到以下奖励：

$\begin{array}{l} {R.}_{A.} = {R.}_{全球} + {R.}_{局那 A.} \\ {R.}_{B.} = {R.}_{全球} + {R.}_{局那 B.} \\ {R.}_{全球} = 0. ． 001 {D.}_{C} \\ {R.}_{局那 A.} = - 0. ． 005 {D.}_{AC.} - 0. ． 008 你_{A.}^{2} \\ {R.}_{局那 B.} = - 0. ． 005 {D.}_{BC.} - 0. ． 008 你_{B.}^{2} \end{array}$

在这里:

${R.}_{A.}$ 和 ${R.}_{B.}$ 分别为代理A和代理B所获得的奖励。
${R.}_{全球}$ 是当物体C向环的边界移动时，两个代理都收到的团队奖励。
${R.}_{局那 A.}$ 和 ${R.}_{局那 B.}$ 是agent A和agent B所收到的局部惩罚，基于它们与物体C的距离和距离最后一个时间步骤的动作大小。
${D.}_{C.}$ 为物体C到环中心的距离。
${D.}_{AC.}$ 和 ${D.}_{BC.}$ 是代理A和对象C和代理B和对象C之间的距离。
$你_{A.}$ 和 $你_{B.}$ 为agent A和agent B在上一个时间步骤中的动作值。

此示例使用具有离散动作空间的近端策略优化（PPO）代理。要了解有关PPO代理商的更多信息，请参阅近端政策优化代理．这些代理在机器人上施加外力使其运动。在每个时间步骤中，代理选择操作 $你_{A. 那 B.} = [{F.}_{X.} 那 {F.}_{y}]$ ,在那里 ${F.}_{X.} 那 {F.}_{y}$ 是下列两对外加力之一。

${F.}_{X.} = - 1 ． 0. N 那 {F.}_{y} = - 1 ． 0. N$

${F.}_{X.} = - 1 ． 0. N 那 {F.}_{y} = 0.$

${F.}_{X.} = - 1 ． 0. N 那 {F.}_{y} = 1 ． 0. N$

${F.}_{X.} = 0. 那 {F.}_{y} = - 1 ． 0. N$

${F.}_{X.} = 0. 那 {F.}_{y} = 0.$

${F.}_{X.} = 0. 那 {F.}_{y} = 1 ． 0. N$

${F.}_{X.} = 1 ． 0. N 那 {F.}_{y} = - 1 ． 0. N$

${F.}_{X.} = 1 ． 0. N 那 {F.}_{y} = 0.$

${F.}_{X.} = 1 ． 0. N 那 {F.}_{y} = 1 ． 0. N$

创建环境

要创建多代理环境，请使用字符串数组指定代理的块路径。此外，使用单元阵列指定观察和操作规范对象。单元格数组中规范对象的顺序必须与块路径阵列中指定的顺序匹配。当在环境创建时的Matlab工作空间中可用代理时，观察和操作规范阵列是可选的。有关创建多代理环境的更多信息，请参阅Rl金宝appsimulinkenv.．

为环境创建I/O规格。在本例中，代理是同构的，具有相同的I/O规范。

％观察数numobs = 16;％行动数量numact = 2;%最大外力值(N)maxF = 1.0;每个代理的I / O规范oinfo = rlnumericspec（[numobs，1]）;ainfo = rlfinitesetspec（{[-maxf -maxf] [-maxf 0] [-maxf maxf] [0 -maxf] [0 0 0] [0 maxf] [maxf -maxf] [maxf 0] [maxf maxf]};oinfo.name =.“观察”；ainfo。Name =“力量”；

创建Simulink环金宝app境接口。

Blks = [“rlcollaborativetask /代理a”那“rlcollaborativetask /代理b”];Obsinfos = {oinfo，oinfo};Actinfos = {AINFO，AINFO};Env = Rl金宝appsimulinkenv（MDL，BLK，OBSINFOS，ACTINFOS）;

为环境指定重置函数。重置功能resetRobots确保机器人从每个集发作开始的随机初始位置开始。

env.resetfcn = @（in）Resetrobots（在，RA，RB，RC，边界）;

创建代理

PPO代理依靠演员和评论家代表来学习最优策略。在这个例子中，代理为演员和评论家维护基于神经网络的函数近似器。

创建批评神经网络和表示。批评网络的输出是状态值函数 $V. （ S. ）$ 对于国家 $S.$ ．

％重置随机种子以提高再现性rng (0)％批评网络criticNetwork = [．..featureInputLayer (oinfo.Dimension (1),“归一化”那'没有'那'名字'那“观察”）全连接列（128，'名字'那'批判福尔'那'掌控itializer'那'他'）剥离（'名字'那'rictrelu1'）全连接层（64，'名字'那'批判性]那'掌控itializer'那'他'）剥离（'名字'那“CriticRelu2”）全连接列（32，'名字'那'批判液3'那'掌控itializer'那'他'）剥离（'名字'那“CriticRelu3”) fullyConnectedLayer (1,'名字'那“CriticOutput”）];%评论家表示批评= rlrepresentationOptions（'学习'，1E-4）;批评= rlvaluerepresentation（批判性，oinfo，“观察”, {“观察”}，批评）;批评= rlvalueerepresentation（批评，oinfo，“观察”, {“观察”}，批评）;

actor网络的输出是概率 $π （一种 | S. ）$ 在某个状态下采取每个可能的行动对 $S.$ ．创建参与者神经网络和表示。

%的演员网络actorNetwork = [．..featureInputLayer (oinfo.Dimension (1),“归一化”那'没有'那'名字'那“观察”）全连接列（128，'名字'那“ActorFC1”那'掌控itializer'那'他'）剥离（'名字'那'ACTORRELU1'）全连接层（64，'名字'那“ActorFC2”那'掌控itializer'那'他'）剥离（'名字'那'ACTORRELU2'）全连接列（32，'名字'那“ActorFC3”那'掌控itializer'那'他'）剥离（'名字'那'ACTORRELU3'）全连接列（numel（ainfo.elements），'名字'那'行动'）softmaxlayer（'名字'那“sm”）];%的演员表示Actoropts = RlRepresentationOptions（'学习'，1E-4）;Actora = rlstochasticRoreEntentation（Actornetwork，Oinfo，Ainfo，．..“观察”, {“观察”}, actorOpts);actorB = rlStochasticActorRepresentation (actorNetwork oinfo ainfo,．..“观察”, {“观察”}, actorOpts);

创建代理商。两个代理商都使用相同的选项。

代理选项= rlppoagentoptions（．..'经验热诚'，256，．..“ClipFactor”, 0.125,．..'entropylossweight', 0.001,．..“MiniBatchSize”，64，．..'numechoch'，3，．..“AdvantageEstimateMethod”那'gae'那．..'Gafactor'，0.95，．..“SampleTime”Ts,．..'贴花因子', 0.9995);agentA = rlPPOAgent (actorA criticA agentOptions);agentB = rlPPOAgent (actorB criticB agentOptions);

在培训期间，代理商收集经验，直到达到256个步骤或摘要的体验视界，然后从迷你批次的64个经验中培训。此示例使用0.125的客观函数剪辑因子，以提高培训稳定性和0.9995的折扣因子，以鼓励长期奖励。

培训代理商

指定以下培训代理人的培训选项。

运行大多数1000次剧集的培训，每个集发作持续最多5000个时间步长。
当一个代理的平均奖励超过100个连续事件是-10或更多时停止训练。

maxEpisodes = 1000;maxSteps = 5 e3;trainOpts = rlTrainingOptions (．..'maxepisodes'maxEpisodes,．..'maxstepperepisode'，maxsteps，．..'scoreaveragingwindowlength'，100，．..'plots'那“训练进步”那．..'stoptrinaincriteria'那“AverageReward”那．..'stoptriningvalue'，-10）;

要训练多个代理，请指定一个代理数组训练函数。数组中的代理的顺序必须与环境创建期间指定的代理块路径的顺序匹配。这样做可以确保代理对象链接到环境中相应的I/O接口。根据可用的计算能力，培训这些代理可能需要几个小时才能完成。

垫文件rlCollaborativeTaskAgents包含一组预制代理。您可以加载文件并查看代理的性能。训练代理人，套装用圆形来真实．

doTraining = false;如果doTraining stats = trainOpts ([agentA, agentB]，env,trainOpts); / /获取数据别的负载('rlcollaborativetaskagents.mat'）;结束

下图显示了培训进度的快照。由于培训过程中的随机性，您可以期待不同的结果。

模拟代理

模拟环境中的训练有素的代理。

simoptions = rlsimulation选项（'maxsteps'，maxsteps）;exp = sim（env，[Agenta Agentb]，SimOptions）;

图多Agent协同任务包含一个坐标轴。轴包含5个类型为矩形、文本的对象。

有关代理模拟的更多信息，请参阅RlsimulationOptions.和SIM．

输入参数

全部收缩

`代理人`-代理
代理对象|钢筋数组

要训练的agent，指定为强化学习的agent对象，如rlACAgent或rlDDPGAgent，或作为此类对象的数组。

如果env.多代理环境是用Rl金宝appsimulinkenv.，将代理指定为数组。数组中的代理的顺序必须与用于创建的代理订单匹配env.．MATLAB不支持多智能体仿真金宝app^®环境。

笔记

训练更新代理人在每个训练阶段。训练终止时，代理人反映了最后一集训练中每个agent的状态。因此，由于不断的探索，最终agent获得的奖励不一定是训练过程中获得的最高奖励。为了在培训期间保存代理，创建一个rltringOptions.对象指定SaveAgentCriteria.和SaveAgentValue属性并将其传递给训练作为一个训练争论。

有关如何为强化学习创建和配置代理的更多信息，请参阅加固学习代理人．

`env.`-环境
加强学习环境对象

agent所处的环境，指定为下列强化学习环境对象之一:

预定义的matlab或simulink金宝app^®环境创建的环境Rlpredefinedenv.．这种环境不支持同时训练多个代理。金宝app
一个自定义MATLAB环境，您创建的函数，如rlfunctionenv.或rlcreateenvtemplate.．这种环境不支持同时训练多个代理。金宝app
您创建的自定义Si金宝appmulink环境Rl金宝appsimulinkenv.．这种环境在同时支持培训多个代理。金宝app

有关创建和配置环境的详细信息，请参阅：

什么时候env.是Simu金宝applink环境，调用训练编译并模拟与环境相关联的模型。

`训练`-培训参数和选项
`rltringOptions.`目的

培训参数和选项，指定为一个rltringOptions.对象。使用此参数指定如下参数和选项:

培训结束标准
拯救候选人的标准
如何展示培训进度
并行计算选项

有关详细信息，请参阅rltringOptions.．

输出参数

全部收缩

`训练司`-培训集数据
结构

培训剧集数据，当训练多个代理时训练单个代理或结构阵列时，返回为结构。每个结构元素都包含以下字段。

`EpisodeIndex`- 剧集号码
`[1; 2; ......; n]`

作为列向量返回的剧集号[1; 2; ......; n],在那里N是训练运行中的剧集数量。如果您想将其他数量从集发作到集中绘制的演变是有用的。

`EpisodeReward`-奖励每集
柱矢量

每一集的奖励，以长度的列向量返回N．每个条目都包含相应章节的奖励。

`episodesteps.`-每集的步数
柱矢量

每个情节中的步骤数，以长度的列向量返回N．每个条目都包含相应的剧集中的步数。

`平均`- 平均窗口的平均奖励
柱矢量

中指定的平均窗口的平均奖励训练，作为长度的列向量返回N．每个条目包含在相应章节结束时计算的平均奖励。

`突然长期`—总步数
柱矢量

训练中的agent步骤总数，返回为长度列向量N．每个条目包含了条目的累积和episodesteps.到那个点。

`episodeq0.`- 批评每集的长期奖励估计
柱矢量

评论估计使用当前代理和环境初始条件的长期奖励，作为长度的列向量返回N．每个条目都是批评者估计（问：_0.）对于相应的集的代理。该字段仅适用于具有批评者的代理，例如rlDDPGAgent和rldqnagent.．

`模拟杂志`—模拟过程中收集的信息
结构|向量的`金宝app仿真软件。SimulationOutput`对象

训练模拟过程中收集的信息，返回为:

用于在MATLAB环境中进行培训，该结构包含该字段SimulationError．该字段是一个列向量，每集的一个条目。当。。。的时候StopOnError选择rltringOptions.是“关”，每个条目包含在相应的章节中发生的任何错误。
为了在Simulink环境中进行金宝app培训，向量为金宝app仿真软件。SimulationOutput包含在相应的剧集期间记录的模拟数据的对象。录制的记录数据包括任何信号，并且该模型被配置为日志，仿真元数据和相应的剧集期间发生的任何错误。

提示

训练在培训进展时更新代理商。要保留原始代理参数以供稍后使用，请将代理保存到MAT文件。
默认情况下，调用训练打开Reinforcement Learning Episode Manager，它让您可视化培训的进度。《Episode Manager》情节显示了每一集的奖励、运行的平均奖励价值和评论家的估计问：_0.（对于具有批评者的代理人）。Episode Manager还显示各种剧集和培训统计数据。要关闭钢筋学习剧集管理器，请设置情节选择训练来“没有任何”．
如果您使用有可视化的预定义环境，则可以使用情节(env)可视化环境。如果你打电话情节(env)在培训之前，然后在培训期间可视化更新，允许您可视化每个集的进度。（对于自定义环境，必须实现自己的环境阴谋方法。）
培训在规定的条件时终止训练感到满意。若要终止正在进行的培训，请在“强化学习集管理器”中单击停止培训．因为训练在每个集中更新代理，您可以通过呼叫恢复培训火车（代理人，env，训练）同样，在第一次呼叫期间没有丢失训练有素的参数训练．
在培训期间，您可以保存满足指定条件的候选代理训练．例如，您可以保存任何集奖励超过一定值的代理，即使还未满足终止训练的总体条件。训练将保存的代理存储在您指定的文件夹中的MAT文件中训练．例如，已保存的代理可能有用，以允许您在长期运行培训过程中测试生成的候选代理。有关保存标准和保存位置的详细信息，请参阅rltringOptions.．

算法

一般来说，训练执行以下迭代步骤:

初始化代理．
对于每一次集：
1. 重置环境。
2. 得到最初的观察结果S._0.来自环境。
3. 计算初始动作一种_0.=μ.（S._0.）。
4. 将当前操作设置为初始操作(一种←一种_0.)，并将当前观测值设置为初始观测值(S.←S._0.）。
5. 虽然剧集未完成或终止：
  1. 用行动来改善环境一种获得下一个观察S.'和奖励R.．
  2. 从体验集中学习（S.那一种那R.那S.'）。
  3. 计算下一个动作一种' =μ.（S.'）。
  4. 使用下一个操作更新当前操作（一种←一种')，并将当前的观测值更新为下一个观测值(S.←S.'）。
  5. 如果满足环境中定义的剧集终端条件，则打破。
如果训练终止条件定义训练满足，终止培训。否则，开始下一个剧集。

具体情况训练执行这些计算取决于您的代理和环境的配置。例如，如果配置环境，则重置每个剧集开始时的环境可以包括随机化初始状态值。

扩展功能

自动并行支持金宝app
通过使用并行计算工具箱™并行运行计算来加速代码。

并行训练，设置使用指α.和并行化选项选项集中的选项训练．多代理环境不支持并行培训。金宝app有关更多信息，请参阅rltringOptions.．

也可以看看

rltringOptions.|SIM

话题

火车加固学习代理

在R2019A介绍

训练

句法

描述

例子

训练钢筋学习代理

培训多个代理商执行协作任务

输入参数

`代理人`-代理
代理对象|钢筋数组

`env.`-环境
加强学习环境对象

`训练`-培训参数和选项
`rltringOptions.`目的

输出参数

`训练司`-培训集数据
结构

`EpisodeIndex`- 剧集号码
`[1; 2; ......; n]`

`EpisodeReward`-奖励每集
柱矢量

`episodesteps.`-每集的步数
柱矢量

`平均`- 平均窗口的平均奖励
柱矢量

`突然长期`—总步数
柱矢量

`episodeq0.`- 批评每集的长期奖励估计
柱矢量

`模拟杂志`—模拟过程中收集的信息
结构|向量的`金宝app仿真软件。SimulationOutput`对象

提示

算法

扩展功能

自动并行支持金宝app
通过使用并行计算工具箱™并行运行计算来加速代码。

也可以看看

话题

强化学习工具箱文档

金宝app

强化学习与MATLAB和Simulink金宝app

训练

句法

描述

例子

训练钢筋学习代理

培训多个代理商执行协作任务

输入参数

代理人-代理代理对象|钢筋数组

env.-环境加强学习环境对象

训练-培训参数和选项rltringOptions.目的

输出参数

训练司-培训集数据结构

EpisodeIndex- 剧集号码[1; 2; ......; n]

EpisodeReward-奖励每集柱矢量

episodesteps.-每集的步数柱矢量

平均- 平均窗口的平均奖励柱矢量

突然长期—总步数柱矢量

episodeq0.- 批评每集的长期奖励估计柱矢量

模拟杂志—模拟过程中收集的信息结构|向量的金宝app仿真软件。SimulationOutput对象

提示

算法

扩展功能

自动并行支持金宝app通过使用并行计算工具箱™并行运行计算来加速代码。

也可以看看

话题

强化学习工具箱文档

金宝app

强化学习与MATLAB和Simulink金宝app

`代理人`-代理
代理对象|钢筋数组

`env.`-环境
加强学习环境对象

`训练`-培训参数和选项
`rltringOptions.`目的

`训练司`-培训集数据
结构

`EpisodeIndex`- 剧集号码
`[1; 2; ......; n]`

`EpisodeReward`-奖励每集
柱矢量

`episodesteps.`-每集的步数
柱矢量

`平均`- 平均窗口的平均奖励
柱矢量

`突然长期`—总步数
柱矢量

`episodeq0.`- 批评每集的长期奖励估计
柱矢量

`模拟杂志`—模拟过程中收集的信息
结构|向量的`金宝app仿真软件。SimulationOutput`对象

自动并行支持金宝app
通过使用并行计算工具箱™并行运行计算来加速代码。