培训DQN员工平衡车杆系统
这个例子展示了如何训练一个深度q学习网络(DQN) agent来平衡一个在MATLAB®中建模的车杆系统。
有关DQN代理的更多信息，请参见深Q-Network代理．有关在Simulink®中培训DQN代理的示例，请参见金宝app训练DQN Agent上摆和平衡摆．
Cart-Pole MATLAB环境
本例的强化学习环境是一个连接在小车上的非驱动关节上的杆，它沿着无摩擦的轨道移动。训练目标是使杆子直立而不摔倒。
对于这个环境:
向上平衡的极点位置是
0弧度，向下悬挂的位置是π弧度。杆开始垂直，初始角度在-0.05和0.05弧度之间。
agent对环境的力作用信号为-10到10 N。
从环境中观察到的是小车的位置和速度、极角和极角导数。
如果杆距垂直方向超过12度，或者车距初始位置移动超过2.4米，则该插曲终止。
当杆保持直立时，奖励为+1。当杆子倒下时，罚分为-5。
有关此模型的更多信息，请参见加载预定义的控制系统环境．
创建环境接口
为系统创建预定义的环境接口。
env = rlPredefinedEnv (“CartPole-Discrete”）
env = CartPoleDiscreteAction with properties: Gravity: 9.8000 MassCart: 1 maspole: 0.1000 Length: 0.5000 MaxForce: 10 Ts: 0.0200 thetathresholdraites: 0.2094 XThreshold: 2.4000 RewardForNotFalling: 1 PenaltyForFalling: -5 State: [4x1 double]
该界面有一个离散的动作空间，在该空间中，agent可以对小车施加两个可能的力值之一，-10或10n。
获得观察和行动规范信息。
obsInfo = getObservationInfo (env)
obsInfo = rlNumericSpec带有属性:LowerLimit: -Inf UpperLimit: Inf Name: "CartPole States" Description: "x, dx, theta, dtheta" Dimension: [4 1] DataType: "double"
actInfo = getActionInfo (env)
属性:Elements: [-10 10] Name: "CartPole Action" Description: [0x0 string] Dimension: [1 1] DataType: "double"
修复随机生成器种子的再现性。
rng (0)
创建DQN代理
一个DQN代理使用价值-功能批评家来近似给定的观察和行动的长期回报。
DQN代理可以使用多输出q值批判逼近器，这通常更有效。多输出近似器将观察值作为输入，状态行为值作为输出。每个输出元素表示从观察输入所指示的状态中采取相应离散行动的预期累积长期回报。
要创建批评家，首先创建一个具有一个输入(4维观察状态)和一个带有两个元素(一个用于10n动作，另一个用于- 10n动作)的输出向量的深度神经网络。有关基于神经网络创建值函数表示的更多信息，请参见创建策略和价值功能表示．
dnn = [featureInputLayer(obsInfo.Dimension(1))，“归一化”，“没有”，“名字”，“状态”) fullyConnectedLayer(24日“名字”，“CriticStateFC1”) reluLayer (“名字”，“CriticRelu1”) fullyConnectedLayer(24日“名字”，“CriticStateFC2”) reluLayer (“名字”，“CriticCommonRelu”) fullyConnectedLayer(长度(actInfo.Elements),“名字”，“输出”));
查看网络配置。
图绘制(layerGraph(款)
为使用的批评家表示指定一些训练选项rlRepresentationOptions．
criticOpts = rlRepresentationOptions (“LearnRate”, 0.001,“GradientThreshold”1);
使用指定的神经网络和选项创建批评家表示。有关更多信息，请参见rlQValueRepresentation．
评论家= rlQValueRepresentation(款、obsInfo actInfo,“观察”，{“状态”}, criticOpts);
要创建DQN代理，首先使用rlDQNAgentOptions．
agentOpts = rlDQNAgentOptions (.．.“UseDoubleDQN”假的,.．.“TargetSmoothFactor”, 1.．.“TargetUpdateFrequency”4.．.“ExperienceBufferLength”, 100000,.．.“DiscountFactor”, 0.99,.．.“MiniBatchSize”, 256);
然后，使用指定的评论表示和代理选项创建DQN代理。有关更多信息，请参见rlDQNAgent．
代理= rlDQNAgent(评论家,agentOpts);
火车代理
要培训代理，首先指定培训选项。对于本例，使用以下选项:
一次训练最多包含1000集，每集最多持续500步时间。
在“插曲管理器”对话框中显示培训进度(设置
情节选项)，并禁用命令行显示(设置详细的选项假）.当代理获得大于480的移动平均累积奖励时停止训练。此时，agent可以使车杆系统处于直立位置。
有关更多信息，请参见rlTrainingOptions．
trainOpts = rlTrainingOptions (.．.“MaxEpisodes”, 1000,.．.“MaxStepsPerEpisode”, 500,.．.“详细”假的,.．.“阴谋”，“训练进步”，.．.“StopTrainingCriteria”，“AverageReward”，.．.“StopTrainingValue”, 480);
你可以想象车杆系统可以通过使用情节在训练或模拟过程中发挥作用。
情节(env)
训练代理人使用火车函数。训练这个代理是一个计算密集型的过程，需要几分钟才能完成。为了节省运行此示例的时间，请通过设置加载预先训练过的代理doTraining来假．自己训练代理人，设置doTraining来真正的．
doTraining = false;如果doTraining培训代理商。trainingStats =火车(代理,env, trainOpts);其他的%加载示例的预训练代理。负载(“MATLABCartpoleDQNMulti.mat”，“代理”）结束
模拟DQN代理
为了验证训练过的代理的性能，在车杆环境中模拟它。有关代理模拟的更多信息，请参见rlSimulationOptions和sim卡．即使模拟时间增加到500步，该代理也能平衡车杆。
simOptions = rlSimulationOptions (“MaxSteps”, 500);经验= sim (env,代理,simOptions);
totalReward =总和(experience.Reward)
totalReward = 500
另请参阅
相关的话题
你也可以从以下列表中选择一个网站:
