火车
在指定环境中列车加固学习代理
描述
trainStats=火车(env那代理）代理是一个输入参数，在每次训练结束后，火车更新中指定的每个代理的参数代理使他们从环境中获得的长期回报最大化。培训结束时,代理反映了最后一集训练中每个agent的状态。
trainStats=火车(代理那env）
例子
训练一个强化学习代理
培训所配置的代理训练PG代理平衡车杆系统例如，在相应的环境中。从环境中观察到的是一个向量，包含了小车的位置和速度，以及极点的角位置和速度。这个作用力是一个标量，有两个可能的元素(施加在推车上的力是-10牛顿或10牛顿)。
加载包含环境和已经为其配置的PG代理的文件。
加载RLTrainExample.mat
使用一些培训参数使用rlTrainingOptions．这些参数包括训练的最大剧集数，每集的最大步骤以及终止训练的条件。在此示例中，每集使用最多1000个剧集和500个步骤。当前五个剧集的平均奖励达到500时，指示培训停止。创建默认选项集并使用点表示法来更改一些参数值。
trainOpts = rlTrainingOptions;trainOpts。MaxEpisodes = 1000;trainOpts。MaxStepsPerEpisode = 500;trainOpts。StopTrainingCriteria =“AverageReward”；训练.StoptrainingValue = 500;训练.ScoreaveragingWindowLength = 5;
在培训期间,火车命令可以保存给予良好结果的候选代理商。进一步配置培训选项以在剧集奖励超过500时保存代理。将代理保存到名为的文件夹savedAgents．
trainOpts。SaveAgentCriteria =“EpisodeReward”；trainOpts。SaveAgentValue = 500;trainOpts。SaveAgentDirectory =“savedAgents”；
最后，关闭命令行显示。打开钢筋学习剧集经理，以便您可以在视觉上观察培训进度。
trainOpts。V.erbose = false; trainOpts.Plots =“训练进步”；
您现在准备训练PG代理商。对于在此示例中使用的预定义推车环境，您可以使用阴谋生成卡车杆系统的可视化。
情节(env)
运行此示例时，此可视化和加强学习Episode Manager使用每个培训集发作更新。将它们并排放在屏幕上以观察进度，并培训代理人。（此计算可能需要20分钟或更长时间。）
traininginfo =火车（代理，env，训练）;
《Episode Manager》显示，训练成功达到了终止条件，即在前5集平均奖励500英镑。在每次训练中，火车更新代理根据上一集学到的参数。当训练结束时，您可以用训练过的代理模拟环境，以评估其性能。环境图在模拟过程中更新，就像在训练中一样。
simOptions = rlSimulationOptions (“MaxSteps”, 500);经验= sim (env,代理,simOptions);
在培训期间,火车将满足指定条件的任何代理保存到磁盘trainOps。SaveAgentCritera和trainOpts。SaveAgentValue．要测试任何一种代理的性能，您可以从您指定的文件夹中的数据文件中加载数据trainOpts。SaveAgentDirectory，并使用该代理模拟环境。
训练多个agent执行协作任务
此示例显示如何在Simulink®环境上设置多代理培训会话。金宝app在该示例中，您培训两个代理商协作执行移动对象的任务。
该示例中的环境是含有由圆形表示的元件的无摩擦二维表面。目标对象C由带半径为2μm的蓝色圆，而机器人A（红色）和B（绿色）由较小的圆圈表示，每个圆形为1m。机器人试图通过碰撞施加力来将物体C在半径8m的圆环外移动。环境中的所有元素都有大规模的，牛顿的议案法则。另外，元件和环境边界之间的接触力被建模为弹簧和质量阻尼系统。元件可以通过在X和Y方向上的外部施加的外部施加的外部施加来移动表面。第三尺寸没有动作，并且系统的总能量是节省的。
创建本示例所需的参数集。
rlcollaborativetaskparams.
打开Simulin金宝appk模型。
mdl =“rlcollaborativetask”；open_system (mdl)
对于这个环境:
在x和y方向上，二维空间在-12μm到12μm中界定。
接触弹簧刚度和阻尼值分别为100n / m和0.1n / m / s。
代理商在最后一次步骤中共享相同的位置，A，B和C的位置，速度以及动作值。
当物体C移出圆环时，仿真终止。
在每一个时间步骤中，代理获得以下奖励:
在这里:
和 代理A和B分别收到的奖励。
是当物体C向环的边界移动时，两个代理都收到的团队奖励。
和 代理A和B基于从对象C的距离和最后一次步骤的行动的幅度来接受当地惩罚。
为物体C到环中心的距离。
和 是代理A和对象C和代理B和对象C之间的距离。
和 为agent A和agent B在上一个时间步骤中的动作值。
本示例使用具有离散操作空间的近端策略优化(PPO)代理。要了解有关PPO代理的更多信息，请参见近端政策优化代理．这些代理在机器人上施加外力使其运动。在每个时间步骤中，代理选择操作 ， 在哪里 是下列两对外加力之一。
创建环境
要创建多代理环境，请使用字符串数组指定代理的块路径。此外，使用单元阵列指定观察和操作规范对象。单元格数组中规范对象的顺序必须与块路径阵列中指定的顺序匹配。当在环境创建时的Matlab工作空间中可用代理时，观察和操作规范阵列是可选的。有关创建多代理环境的更多信息，请参阅Rl金宝appsimulinkenv.．
为环境创建I / O规范。在该示例中，药剂是均匀的并且具有相同的I / O规格。
%观测次数numobs = 16;%动作次数numact = 2;外部施加力的％最大值（n）maxf = 1.0;每个代理的% I/O规格oinfo = rlNumericSpec ([numObs, 1]);info = rlFiniteSetSpec({[-maxF -maxF] [-maxF 0] [-maxF maxF] [0 0] [0 maxF] [maxF -maxF] [maxF 0] [maxF maxF]});oinfo。Name ='观察'；ainfo。Name ='势力'；
创建Simulink环金宝app境界面。
黑色= [“rlCollaborativeTask /代理”那“B rlCollaborativeTask /代理”];obsInfos = {oinfo, oinfo};actInfos = {ainfo, ainfo};env = rl金宝appSimulinkEnv (mdl,黑色,obsInfos actInfos);
为环境指定重置函数。重置功能resetRobots确保机器人在每一集开始时从随机的初始位置开始。
env。ResetFcn = @(in) resetRobots(in,RA,RB,RC,boundary);
创建代理
PPO代理依靠演员和评论家代表来学习最优策略。在这个例子中，代理为演员和评论家维护基于神经网络的函数近似器。
建立批评神经网络和表示。评价网络的输出是状态值函数 国家 ．
%重置随机种子以提高重现性rng (0)%评论家网络criticNetwork = [．．．featureInputLayer (oinfo.Dimension (1),'正常化'那“没有”那'姓名'那'观察') fullyConnectedLayer (128,'姓名'那“CriticFC1”那“WeightsInitializer”那“他”）剥离（'姓名'那“CriticRelu1”) fullyConnectedLayer (64,'姓名'那“CriticFC2”那“WeightsInitializer”那“他”）剥离（'姓名'那'transrelu2'）全连接列（32，'姓名'那“CriticFC3”那“WeightsInitializer”那“他”）剥离（'姓名'那'rictrelu3'）全康连接层（1，'姓名'那“CriticOutput”));%评论家表示criticOpts = rlRepresentationOptions ('学习'1的军医);criticA = rlValueRepresentation (criticNetwork oinfo,“观察”，{'观察'}, criticOpts);criticB = rlValueRepresentation (criticNetwork oinfo,“观察”，{'观察'}, criticOpts);
参与者网络的输出是概率 在某个状态下采取每个可能的行动对 ．创建参与者神经网络和表示。
%的演员网络Actornetwork = [．．．featureInputLayer (oinfo.Dimension (1),'正常化'那“没有”那'姓名'那'观察') fullyConnectedLayer (128,'姓名'那“ActorFC1”那“WeightsInitializer”那“他”）剥离（'姓名'那“ActorRelu1”) fullyConnectedLayer (64,'姓名'那“ActorFC2”那“WeightsInitializer”那“他”）剥离（'姓名'那“ActorRelu2”）全连接列（32，'姓名'那“ActorFC3”那“WeightsInitializer”那“他”）剥离（'姓名'那“ActorRelu3”）全连接列（numel（ainfo.elements），'姓名'那“行动”) softmaxLayer ('姓名'那“SM”));%的演员表示Actoropts = RlRepresentationOptions（'学习'1的军医);Actora = rlstochasticRoreEntentation（Actornetwork，Oinfo，Ainfo，．．．“观察”，{'观察'}, actorOpts);actorB = rlStochasticActorRepresentation (actorNetwork oinfo ainfo,．．．“观察”，{'观察'}, actorOpts);
创建代理商。两个代理商都使用相同的选项。
代理选项= rlppoagentoptions（．．．“ExperienceHorizon”, 256,．．．'ClipFactor'，0.125，．．．“EntropyLossWeight”, 0.001,．．．'minibatchsize', 64,．．．“NumEpoch”3,．．．“AdvantageEstimateMethod”那gae的那．．．'Gafactor', 0.95,．．．'采样时间'Ts,．．．“DiscountFactor”，0.9995）;Agenta = RLPPoAgent（Actora，Tresca，AgentOptions）;AgentB = RLPPoAgent（Actorb，批评，AgentOptions）;
在训练过程中，agent收集经验，直到达到256步的经验视界或事件结束，然后从64个经验的小批进行训练。本例使用目标函数剪辑因子0.125来提高训练稳定性，使用折扣因子0.9995来鼓励长期奖励。
训练代理人
指定以下培训选项来培训代理。
运行训练最多1000集，每集最多持续5000时间步。
当一个代理的平均奖励超过100个连续事件是-10或更多时停止训练。
maxepisodes = 1000;maxsteps = 5e3;训练= rltrainingOptions（．．．“MaxEpisodes”maxEpisodes,．．．“MaxStepsPerEpisode”maxSteps,．．．'scoreaveragingwindowlength'，100，．．．'plots'那“训练进步”那．．．'stoptrinaincriteria'那'AverageReward'那．．．“StopTrainingValue”, -10);
要培训多个代理，请指定一系列代理商火车函数。数组中的代理的顺序必须与环境创建期间指定的代理块路径的顺序匹配。这样做可以确保代理对象链接到环境中相应的I/O接口。根据可用的计算能力，培训这些代理可能需要几个小时才能完成。
垫文件rlcollaborativetaskagents.包含一组预制代理。您可以加载文件并查看代理的性能。训练代理人，套装用圆形来真正的．
doTraining = false;如果doTraining stats = trainOpts ([agentA, agentB]，env,trainOpts); / /获取数据其他的负载(“rlCollaborativeTaskAgents.mat”）;结束
下图显示了训练进度的快照。由于训练过程的随机性，你可以期待不同的结果。
模拟代理人
模拟环境中的训练有素的代理。
simOptions = rlSimulationOptions (“MaxSteps”，maxsteps）;exp = sim（env，[Agenta AgentB]，SimOptions）;
有关代理模拟的更多信息，请参见rlSimulationOptions和sim卡．
输入参数
输出参数
提示
火车在培训进展时更新代理商。要保留原始代理参数以供稍后使用，请将代理保存到MAT文件。默认情况下,调用
火车打开Reinforcement Learning Episode Manager，它让您可视化培训的进度。《Episode Manager》情节显示了每一集的奖励、运行的平均奖励价值和评论家的估计问：0.(针对有批评者的代理商)。章节管理器还显示各种章节和培训统计数据。要关闭强化学习集管理器，请设置绘图选择trainOpts来“没有”．如果您使用一个预定义的环境，其中有一个可视化，您可以使用
情节(env)使环境形象化。如果你叫情节(env)在训练前，然后在训练中可视化更新，让你可视化每一集的进展。(对于自定义环境，您必须实现自己的环境阴谋方法。)培训在规定的条件时终止
trainOpts感到满意。若要终止正在进行的培训，请在“强化学习集管理器”中单击停止训练．因为火车在每个集中更新代理，您可以通过呼叫恢复培训火车(代理,env, trainOpts)同样，在不丢失第一次调用时学到的训练参数的情况下火车．在培训期间，您可以保存满足您指定的条件的候选代理商
trainOpts．例如，您可以保存任何集奖励超过一定值的代理，即使还未满足终止训练的总体条件。火车在指定的文件夹中的mat -文件中存储已保存的代理trainOpts．例如，已保存的代理可能有用，以允许您在长期运行培训过程中测试生成的候选代理。有关保存标准和保存位置的详细信息，请参阅rlTrainingOptions．
算法
一般来说,火车执行以下迭代步骤：
初始化
代理．对于每一次集：
重置环境。
得到最初的观察结果S.0.从环境中。
计算初始动作一种0.=μ（S.0.)．
将当前操作设置为初始操作（一种←一种0.)，并将当前观测值设置为初始观测值(S.←S.0.)．
本集尚未结束或终止:
用行动来改善环境一种以获得下一个观察S.“至于报酬呢?R.．
从经验中学习(S.那一种那R.那S.”)。
计算下一个操作一种' =μ（S.”)。
使用下一个操作更新当前操作(一种←一种'）并通过下一个观察更新当前观察（S.←S.”)。
如果满足环境中定义的集终止条件，则中断。
如果训练终止条件定义
trainOpts满足条件，终止培训。否则，就开始下一集。
具体如何火车执行这些计算取决于代理和环境的配置。例如，在每一集的开始重置环境可以包括随机初始状态值，如果您配置您的环境这样做。
扩展能力
你也可以从以下列表中选择一个网站:
