基于并行计算的车道保持辅助DQN Agent训练

此示例使用：

打开生活的脚本

这个例子展示了如何使用并行训练在Simulink®中训练一个深度q学习网络(DQN)代理保持车道辅助(LKA)。金宝app有关如何在不使用并行训练的情况下训练代理的示例，请参见对DQN代理进行车道保持协助培训．

有关DQN代理的更多信息，请参阅深Q-Network代理．在MATLAB®中训练DQN代理的示例，请参见培训DQN员工平衡车杆系统．

DQN平行培训概述

在DQN代理中，每个工作者从其代理和环境的副本生成新的体验。在每一个N步骤，工人将经验发送给客户端代理(与MATLAB®进程相关的代理，启动培训)。客户端代理更新其参数如下。

对于异步培训，客户端代理从接收到的经验中学习，而不需要等待所有的工作者发送经验，并将更新后的参数发送回提供经验的工作者。然后，工作人员继续使用更新后的参数从其环境中生成经验。
对于同步培训，客户机代理等待从所有工人那里获得经验，并从这些经验中学习。然后，客户机将更新的参数同时发送给所有工人。然后，所有工作人员继续使用更新的参数生成体验。

有关同步与异步并行化的更多信息，请参见使用并行计算和gpu的列车代理．

金宝app汽车的Simulink模型

本例中的强化学习环境是一个用于自我车辆动力学的简单自行车模型。培训目标是通过调整前转向角，使ego车辆沿车道中心线行驶。此示例使用与相同的车型对DQN代理进行车道保持协助培训．

m=1575；%车辆总质量（kg）工业区= 2875;偏航惯性矩% (mNs^2)lf=1.2；重心到前胎纵向距离百分比(m)lr = 1.6;%重心到后胎纵向距离(m)Cf=19000；前轮转弯刚度百分比(N/rad)Cr = 33000;后轮转弯刚度百分比(N/rad)Vx = 15;%纵向速度（m/s）

定义样本时间Ts和仿真时间T在几秒钟内。

Ts=0.1；T=15；

LKA系统的输出是ego汽车的前转向角。要模拟ego汽车的物理转向限制，请将转向角限制在范围内[–0.5,0.5]rad。

u_min=-0.5；u_max=0.5；

道路的曲率定义为常数0.001 ( $米^{- 1}$ ）.横向偏差的初始值为0．2M，相对偏航角的初始值为–0.1rad。

ρ= 0.001;e1_initial = 0.2;e2_initial = -0.1;

打开模型。

mdl =“rlLKAMdl”；Open_system (mdl) agentblk = [mdl . Open_system (mdl)' / RL代理'];

对于这个模型:

从agent到环境的转向角动作信号为–15度到15度。
从环境中观察到的是横向偏差 $e_{1}$ ，相对偏航角 $e_{2}$ ,他们的衍生品 ${e_{}^{˙}}_{1}$ 和 ${e_{}^{˙}}_{2}$ ，以及它们的积分 $\int e_{1}$ 和 $\int e_{2}$ ．
当出现横向偏差时，模拟终止 $| e_{1} | > 1 ．$
奖励 $r_{t}$ ，提供在每个时间步骤 $t$ ,是

$r_{t} ＝ - （ 10 e_{1}^{2} + 5 e_{2}^{2} + 2 u^{2} + 5 {e_{}^{˙}}_{1}^{2} + 5 {e_{}^{˙}}_{2}^{2} ）$

在哪里 $u$ 控制输入是否来自前一个时间步骤 $t - 1$ ．

创建环境接口

为自我车辆创建一个强化学习环境界面。

定义观测信息。

observationInfo = rlNumericSpec([6 1]，“LowerLimit”,负无穷* (6,1),“UpperLimit”,正* (6,1));observationInfo。Name =“观察”；observationInfo。描述=“横向偏差和相对偏航角信息”；

定义操作信息。

actionInfo = rlFiniteSetSpec((15:15) *π/ 180);actionInfo。Name =“转向”；

创建环境接口。

env=rlSi金宝appmulinkEnv（mdl、agentblk、observationInfo、actionInfo）；

该界面有一个离散的动作空间，在该空间中，代理可以应用-15度到15度之间的31个可能转向角中的一个。观测是包含横向偏差、相对偏航角及其对时间的导数和积分的六维向量。

若要定义横向偏差和相对偏航角的初始条件，请使用匿名函数句柄指定环境复位函数。localResetFcn，在这个例子的最后定义，随机初始横向偏差和相对偏航角。

env。ResetFcn = @(在)localResetFcn(的);

修复随机生成器种子以获得再现性。

rng (0)

创建DQN代理

DQN代理可以使用多输出q值批判逼近器，这通常更有效。多输出近似器将观察值作为输入，状态行为值作为输出。每个输出元素表示从观察输入所指示的状态中采取相应离散行动的预期累积长期回报。

要创建批评家，首先创建一个具有一个输入(六维观察状态)和一个具有31个元素(从-15到15度均匀间隔的转向角度)的输出向量的深度神经网络。有关创建深度神经网络值函数表示的更多信息，请参见创建策略和价值功能表示．

倪= observationInfo.Dimension (1);%输入数量（6）问= 120;神经元百分数没有=元素个数(actionInfo.Elements);%输出数量(31)dnn = [featureputlayer (nI，“正常化”，“没有”，“名字”，“状态”) fullyConnectedLayer(问,“名字”，“fc1”) reluLayer (“名字”，“relu1”) fullyConnectedLayer(问,“名字”，“取得”) reluLayer (“名字”，“relu2”) fullyConnectedLayer(不,“名字”，“一个fc3”文件));

查看网络配置。

图绘制(layerGraph(款)

为使用的批评家表示指定选项rlRepresentationOptions．

criticOptions = rlRepresentationOptions (“LearnRate”1的军医,“GradientThreshold”1.“L2调节因子”1的军医);

使用指定的深度神经网络和选项创建批评家表示。您还必须为评论家指定操作和观察信息，这些信息是从环境接口获得的。有关更多信息，请参见rlQValueRepresentation．

评论家= rlQValueRepresentation(款、observationInfo actionInfo,“观察”, {“状态”}，批评）；

要创建DQN代理，首先使用rlDQNAgentOptions．

agentOpts = rlDQNAgentOptions (．．.“采样时间”Ts,．．.“UseDoubleDQN”,真的,．．.“TargetSmoothFactor”1 e - 3,．．.“DiscountFactor”, 0.99,．．.“ExperienceBufferLength”1 e6,．．.“MiniBatchSize”, 256);agentOpts.EpsilonGreedyExploration.EpsilonDecay = 1的军医;

然后使用指定的评论家表示和代理选项创建DQN代理。有关更多信息，请参见rlDQNAgent．

代理= rlDQNAgent(评论家,agentOpts);

培训方案

要培训代理，请首先指定培训选项。对于本例，请使用以下选项。

每次训练最多进行一次10000每集最多持续一集ceil（T/Ts）时间的步骤。
仅在“章节管理器”对话框中显示培训进度(设置情节和详细的相应的选项)。
当情节奖励达到时停止训练－１．
当累计奖励大于100时，为每一集保存一份代理。

有关更多信息，请参见rlTrainingOptions．

maxepisodes = 10000;maxsteps =装天花板(T / T);trainOpts = rlTrainingOptions (．．.“最大集”maxepisodes,．．.“MaxStepsPerEpisode”maxsteps,．．.“冗长”假的,．．.“阴谋”，“训练进步”，．．.“StopTrainingCriteria”，“EpisodeReward”，．．.“StopTrainingValue”, -1,．．.“SaveAgentCriteria”，“EpisodeReward”，．．.“SaveAgentValue”,100);

并行训练选项

要并行地培训代理，请指定以下培训选项。

设置UseParallel选择真正的．
通过设置ParallelizationOptions.Mode选择“异步”．
在每30个步骤之后，每个工作人员将体验发送给客户。
DQN代理要求工作人员发送体验”给客户。

trainOpts.usepallel=true；trainOpts.ParallelizationOptions.Mode=“异步”; trainOpts.ParallelizationOptions.DataToSendFromWorkers=“经验”; trainOpts.ParallelizationOptions.StepsUntilDataIsSent=32；

有关更多信息，请参见rlTrainingOptions．

火车代理

使用火车作用训练代理是一个计算密集型过程，需要几分钟才能完成。要在运行此示例时节省时间，请通过设置doTraining来假．自己训练代理人，设置doTraining来真正的．由于并行训练的随机性，您可以从下面的图中看到不同的训练结果。这张图显示了四名工人的培训结果。

doTraining = false;如果doTraining培训代理商。trainingStats=列车（代理人、环境、列车员）；其他的%为示例加载预训练的代理。负载(“金宝appSimulinkLKADQNParallel.mat”，“代理”）结束

模拟DQN代理

要验证经过训练的代理的性能，取消注释以下两行，并在环境中模拟该代理。有关代理模拟的更多信息，请参见模拟选项和sim卡．

% simOptions = rlSimulationOptions('MaxSteps'， MaxSteps);% experience = sim(env,agent,simOptions);

为了演示使用确定性初始条件训练的agent，在Simulink中模拟该模型。金宝app

e1_initial = -0.4;e2_initial = 0.2;sim (mdl)

如下图所示，横向误差(中间图)和相对偏航角(底部图)都被驱动到零。车辆从偏离中心线(-0.4米)和非零偏航角误差(0.2 rad)开始。LKA使ego汽车在2.5秒后沿着中心线行驶。转向角度(顶部图)显示控制器在2秒后达到稳定状态。

局部函数

函数= localResetFcn(中)%重置= setVariable (,“e1_initial”, 0.5 *(1 + 2 *兰德));%横向偏差的随机值= setVariable (,“e2_initial”, 0.1 *(1 + 2 *兰德));%相对偏航角的随机值结束

另请参阅

火车