rlDDPGAgent
深度确定性策略梯度强化学习主体
描述
深度确定性策略梯度(deep deterministic policy gradient, DDPG)算法是一种行动者-批评者、无模型、在线、非策略强化学习方法，计算出长期回报最大化的最优策略。动作空间只能是连续的。
有关更多信息，请参见深度确定性策略梯度代理．有关不同类型的强化学习代理的更多信息，请参见强化学习代理．
创建
语法
描述
从观察和操作规范中创建代理
代理= rlDDPGAgent (observationInfo，actionInfo）observationInfo以及动作规范actionInfo．
代理= rlDDPGAgent (observationInfo，actionInfo，initOpts）initOpts对象。有关初始化选项的更多信息，请参见rlAgentInitializationOptions．
指定代理选项
代理= rlDDPGAgent (＿＿＿，agentOptions）AgentOptions财产agentOptions输入参数。在前面语法中的任何输入参数之后使用此语法。
输入参数
属性
对象的功能
例子
从观察和操作规范中创建DDPG代理
创造一个具有连续动作空间的环境，并获得其观察和动作规范。对于本示例，请加载示例中使用的环境培训DDPG Agent控制双积分系统．从环境中观察到的是一个包含质量的位置和速度的矢量。作用是一个标量，表示作用于物体上的力，从-开始连续变化2来2牛顿。
加载预定义环境env = rlPredefinedEnv (“DoubleIntegrator-Continuous”）;%获得观察和行动规范obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
代理创建函数随机初始化参与者和批评者网络。您可以通过固定随机生成器的种子来确保重现性。为此，取消下面一行的注释。
% rng (0)
根据环境观察和操作规范创建策略梯度代理。
代理= rlDDPGAgent (obsInfo actInfo);
要检查你的代理，使用getAction从随机观察中返回动作。
getAction(代理,{兰特(obsInfo (1) .Dimension)})
ans =1 x1单元阵列{[0.0182]}
现在可以在环境中测试和培训代理。
使用初始化选项创建DDPG代理
创造一个具有连续动作空间的环境，并获得其观察和动作规范。对于本示例，请加载示例中使用的环境用图像观察训练DDPG Agent上摆和平衡摆．这个环境有两个观测值:一个50乘50的灰度图像和一个标量(钟摆的角速度)。这个作用是一个标量，表示从-连续范围的扭矩2来2Nm。
加载预定义环境env = rlPredefinedEnv (“SimplePendulumWithImage-Continuous”）;%获得观察和行动规范obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
创建一个代理初始化选项对象，指定网络中每个隐藏的完全连接层必须具有128神经元(而不是默认的数字，256)．
initOpts = rlAgentInitializationOptions (“NumHiddenUnit”, 128);
代理创建函数随机初始化参与者和批评者网络。您可以通过固定随机生成器的种子来确保重现性。为此，取消下面一行的注释。
% rng (0)
根据环境观察和操作规范创建DDPG代理。
代理= rlDDPGAgent (obsInfo actInfo initOpts);
将批判学习率降低到1e-3。
评论家= getCritic(代理);critic.Options.LearnRate = 1 e - 3;代理= setCritic(代理、批评);
从主体、行动者和批评者中提取深度神经网络。
actorNet = getModel (getActor(代理));criticNet = getModel (getCritic(代理));
显示批评网络的各层，并验证每个隐藏的全连接层有128个神经元
criticNet。层
ans = 13x1图层数组:1“input_1”图像输入50 x50x1图片2 conv_1卷积64 3 x3x1旋转步[1]和填充[0 0 0 0]3‘relu_input_1 ReLU ReLU 4 fc_1完全连接128完全连接层5“input_2”功能输入1功能6 fc_2完全连接128完全连接层7“input_3”功能输入1功能8 fc_3完全Connected 128 fully Connected layer 9 'concat' concat连接沿尺寸1的3个输入的连接10 'relu_body' ReLU ReLU 11 'fc_body' fully Connected 128 fully Connected layer 12 'body_output' ReLU ReLU 13 'output' fully Connected 1 fully Connected layer
情节演员和评论家网络
情节(layerGraph (actorNet))
情节(layerGraph (criticNet))
要检查你的代理，使用getAction从随机观察中返回动作。
getAction(代理,{兰特(obsInfo (1) .Dimension),兰德(obsInfo (2) .Dimension)})
ans =1 x1单元阵列{[-0.0364]}
现在可以在环境中测试和培训代理。
从演员和评论家创建DDPG代理
创造一个具有连续动作空间的环境，并获得其观察和动作规范。对于本示例，请加载示例中使用的环境培训DDPG Agent控制双积分系统．从环境中观察到的是一个包含质量的位置和速度的矢量。这个作用是一个标量，表示从-连续范围的力2来2牛顿。
env = rlPredefinedEnv (“DoubleIntegrator-Continuous”）;obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
创建一个评论家表示。
%创建一个网络用作潜在的评论家近似器statePath = imageInputLayer([obsInfo.Dimension(1) 1 1])，“归一化”，“没有”，“名字”，“状态”）;actionPath = imageInputLayer([numel(actInfo) 1 1])，“归一化”，“没有”，“名字”，“行动”）;commonPath = [concatenationLayer(1、2、“名字”，“concat”) quadraticLayer (“名字”，“二次”) fullyConnectedLayer (1,“名字”，“StateValue”，“BiasLearnRateFactor”0,“偏见”, 0)];criticNetwork = layerGraph (statePath);= addLayers(criticNetwork, actionPath);criticNetwork = addLayers(criticNetwork, commonPath);criticNetwork = connectLayers (criticNetwork,“状态”，“concat /三机一体”）;criticNetwork = connectLayers (criticNetwork,“行动”，“concat / in2”）;为评论家设置一些选项criticOpts = rlRepresentationOptions (“LearnRate”, 5 e - 3,“GradientThreshold”1);%创建基于网络近似器的批评家评论家= rlQValueRepresentation (criticNetwork obsInfo actInfo,．..“观察”，{“状态”}，“行动”，{“行动”}, criticOpts);
创建一个参与者表示。
%创建一个用作底层参与者近似器的网络[obsInfo.Dimension(1) 1]，“归一化”，“没有”，“名字”，“状态”) fullyConnectedLayer(元素个数(actInfo),“名字”，“行动”，“BiasLearnRateFactor”0,“偏见”, 0)];为actor设置一些选项actorOpts = rlRepresentationOptions (“LearnRate”1 e-04“GradientThreshold”1);基于网络近似器创建参与者演员= rlDeterministicActorRepresentation (actorNetwork obsInfo actInfo,．..“观察”，{“状态”}，“行动”，{“行动”}, actorOpts);
指定代理选项，并使用环境、参与者和评论家创建DDPG代理。
agentOpts = rlDDPGAgentOptions (．..“SampleTime”env。Ts,．..“TargetSmoothFactor”1 e - 3,．..“ExperienceBufferLength”1 e6,．..“DiscountFactor”, 0.99,．..“MiniBatchSize”、32);代理= rlDDPGAgent(演员、评论家、agentOpts);
要检查你的代理，使用getAction从随机观察中返回动作。
getAction(代理,{兰德(2,1)})
ans =1 x1单元阵列{[-0.4719]}
现在可以在环境中测试和培训代理。
用递归神经网络创建DDPG Agent
对于本示例，请加载示例中使用的环境培训DDPG Agent控制双积分系统．从环境中观察到的是一个包含质量的位置和速度的矢量。这个作用是一个标量，表示从-连续范围的力2来2牛顿。
env = rlPredefinedEnv (“DoubleIntegrator-Continuous”）;
获取观察和行动规范信息。
obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
创建一个评论家表示。要创建递归神经网络，请使用sequenceInputLayer作为输入层，并包含lstmLayer作为其他网络层之一。
statePath = sequenceInputLayer (obsInfo.Dimension (1),“归一化”，“没有”，“名字”，“myobs”）;actionPath = sequenceInputLayer(元素个数(actInfo),“归一化”，“没有”，“名字”，“myact”）;commonPath = [concatenationLayer(1、2、“名字”，“concat”) reluLayer (“名字”，“relu”) lstmLayer (8,“OutputMode”，“序列”，“名字”，“lstm”) fullyConnectedLayer (1,“名字”，“StateValue”，“BiasLearnRateFactor”0,“偏见”, 0)];criticNetwork = layerGraph (statePath);= addLayers(criticNetwork, actionPath);criticNetwork = addLayers(criticNetwork, commonPath);criticNetwork = connectLayers (criticNetwork,“myobs”，“concat /三机一体”）;criticNetwork = connectLayers (criticNetwork,“myact”，“concat / in2”）;
为评论家设置一些选项。
criticOpts = rlRepresentationOptions (“LearnRate”, 5 e - 3,“GradientThreshold”1);
基于网络近似器创建批评家。
评论家= rlQValueRepresentation (criticNetwork obsInfo actInfo,．..“观察”，{“myobs”}，“行动”，{“myact”}, criticOpts);
创建一个参与者表示。
既然评论家有一个循环网络，那么演员也必须有一个循环网络。为参与者定义一个递归神经网络。
= [sequenceInputLayer(obsInfo.Dimension(1))，“归一化”，“没有”，“名字”，“myobs”) lstmLayer (8,“OutputMode”，“序列”，“名字”，“lstm”) fullyConnectedLayer(元素个数(actInfo),“名字”，“myact”，“BiasLearnRateFactor”0,“偏见”, 0)];
演员的选择。
actorOpts = rlRepresentationOptions (“LearnRate”1 e-04“GradientThreshold”1);
创建一个演员。
演员= rlDeterministicActorRepresentation (actorNetwork obsInfo actInfo,．..“观察”，{“myobs”}，“行动”，{“myact”}, actorOpts);
指定代理选项，并使用环境、参与者和评论家创建DDPG代理。要使用递归神经网络的DDPG代理，必须指定SequenceLength大于1。
agentOpts = rlDDPGAgentOptions (．..“SampleTime”env。Ts,．..“TargetSmoothFactor”1 e - 3,．..“ExperienceBufferLength”1 e6,．..“DiscountFactor”, 0.99,．..“SequenceLength”, 20岁,．..“MiniBatchSize”、32);代理= rlDDPGAgent(演员、评论家、agentOpts);
要检查你的代理，使用getAction从随机观察中返回动作。
getAction(代理,{obsInfo.Dimension})
ans =1 x1单元阵列{[-0.1483]}
现在可以在环境中测试和培训代理。
另请参阅
rlAgentInitializationOptions|rlDDPGAgentOptions|rlQValueRepresentation|rlDeterministicActorRepresentation|深层网络设计师
你也可以从以下列表中选择一个网站:
