rlDDPGAgent
深决定性策略梯度强化学习代理
描述
深决定性策略梯度(DDPG)算法是一种actor-critic,模范自由,在网上,off-policy强化学习方法计算最优政策,最大化的长期回报。操作空间只能是连续的。
有关更多信息,请参见深决定性策略梯度代理。更多信息在不同类型的强化学习代理,看看强化学习代理。
创建
语法
描述
从观察和行动规范创建代理
代理= rlDDPGAgent (observationInfo,actionInfo)observationInfo和操作规范actionInfo。的ObservationInfo和ActionInfo的属性代理是设置为observationInfo和actionInfo分别输入参数。
代理= rlDDPGAgent (observationInfo,actionInfo,initOpts)initOpts对象。初始化选项的更多信息,请参阅rlAgentInitializationOptions。
指定代理选项
代理= rlDDPGAgent (___,agentOptions)AgentOptions财产agentOptions输入参数。使用这个语法的任何输入参数后以前的语法。
输入参数
属性
对象的功能
例子
创建DDPG代理从观察和操作规范
创造一个环境,一个持续的行动空间,获得其观察和操作规范。对于这个示例,负载在示例中使用的环境火车DDPG剂来控制双积分器系统。观察从环境中包含位置和速度是一个向量的质量。行动是一个标量代表一种力量,不断应用于质量,范围从-2来2牛顿。
%负载预定义的环境env = rlPredefinedEnv (“DoubleIntegrator-Continuous”);%获得观察和操作规范obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
代理创建函数初始化演员和评论家网络随机。可以通过修复确保再现性的种子随机发生器。
rng (0)
创建一个策略梯度代理从环境中观察和操作规范。
代理= rlDDPGAgent (obsInfo actInfo);
检查您的代理,使用getAction返回操作从一个随机的观察。
getAction(代理,{兰特(obsInfo (1) .Dimension)})
ans =1 x1单元阵列{[0.0182]}
您现在可以测试和培训环境内的代理。
使用初始化选项创建DDPG代理
创造一个环境,一个连续的操作空间和获得其观察和操作规范。对于这个示例,负载在示例中使用的环境火车DDPG代理摇摆起来,平衡摆与图像观察。这个环境有两个观察:50-by-50灰度图像和一个标量(摆的角速度)。行动是一个标量代表一个力矩范围从-不断2来2Nm。
%负载预定义的环境env = rlPredefinedEnv (“SimplePendulumWithImage-Continuous”);%获得观察和操作规范obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
创建一个代理对象初始化选项,指定每个隐藏在网络必须完全连接层128年神经元(而不是默认的号码,256年)。
initOpts = rlAgentInitializationOptions (“NumHiddenUnit”,128);
代理创建函数初始化演员和评论家网络随机。可以通过修复确保再现性的种子随机发生器。为此,取消注释以下行。
% rng (0)
创建DDPG代理从环境中观察和操作规范。
代理= rlDDPGAgent (obsInfo actInfo initOpts);
提取深层神经网络代理的演员和评论家。
actorNet = getModel (getActor(代理));criticNet = getModel (getCritic(代理));
评论家的显示层网络,验证每个隐藏完全连接层有128个神经元
criticNet.Layers
ans x1 = 13层与层:数组1的concat串联连接3输入沿着维度1 2的relu_body ReLU ReLU 3 fc_body完全连接128完全连接层4的body_output ReLU ReLU 5 input_1的图像输入50 x50x1图片6 conv_1卷积64 3 x3x1旋转步[1]和填充[0 0 0 0]7‘relu_input_1 ReLU ReLU 8“fc_1”完全连接128完全连接层9“input_2”功能输入1功能10“fc_2”完全连接128完全连接层11“input_3”功能输入1功能12 fc_3完全连接128完全连接层13“输出”完全连接1完全连接层
情节演员和评论家网络
情节(layerGraph (actorNet))
情节(layerGraph (criticNet))
检查您的代理,使用getAction返回操作从一个随机的观察。
getAction(代理,{兰特(obsInfo (1) .Dimension),兰德(obsInfo (2) .Dimension)})
ans =1 x1单元阵列{[-0.0364]}
您现在可以测试和培训环境内的代理。
创建DDPG代理从演员和评论家
创造一个环境,一个连续的操作空间和获得其观察和操作规范。对于这个示例,负载在示例中使用的环境火车DDPG剂来控制双积分器系统。观察从环境中包含位置和速度是一个向量的质量。代表一个力的行动是一个标量范围从-不断2来2牛顿。
env = rlPredefinedEnv (“DoubleIntegrator-Continuous”);obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
演员和评论家网络随机初始化。可以通过修复确保再现性的种子随机发生器。
rng (0)
创建一个深层神经网络作为近似模型内的评论家。DDPG代理,评论家估计核反应能量函数,因此必须采取观察和行动信号作为输入并返回一个标量值。
%定义路径statePath = featureInputLayer (prod (obsInfo.Dimension),…“归一化”,“没有”,“名字”,“状态”);actionPath = featureInputLayer(元素个数(actInfo),…“归一化”,“没有”,“名字”,“行动”);commonPath = [concatenationLayer (1、2、“名字”,“concat”)quadraticLayer (“名字”,“二次”)fullyConnectedLayer (1,…“名字”,“StateValue”,…“BiasLearnRateFactor”0,“偏见”,0)];%添加layerGraph网络路径criticNetwork = layerGraph (statePath);criticNetwork = addLayers (criticNetwork actionPath);criticNetwork = addLayers (criticNetwork commonPath);criticNetwork = connectLayers (criticNetwork,…“状态”,“concat /三机一体”);criticNetwork = connectLayers (criticNetwork,…“行动”,“concat / in2”);
创建一个评论家使用criticNetwork,指定的名称输入层。DDPG代理使用一个rlQValueFunction对象实现评论家。
评论家= rlQValueFunction (criticNetwork obsInfo actInfo,…“ObservationInputNames”,{“状态”},…“ActionInputNames”,{“行动”});
设置一些评论家培训选项。
criticOpts = rlOptimizerOptions (…“LearnRate”,5 e - 3,“GradientThreshold”1);
创建一个神经网络作为近似模型内的演员。DDPG代理,演员执行一个确定的政策,这是由一个连续实现确定的演员。在这种情况下,网络必须采取观察信号作为输入,并返回一个行动。因此,输出层必须尽可能多的元素的数量可能的行动。
%创建一个网络作为基本演员接近者actorNetwork = [featureInputLayer (prod (obsInfo.Dimension),…“归一化”,“没有”,“名字”,“状态”)fullyConnectedLayer(元素个数(actInfo),“名字”,“行动”,…“BiasLearnRateFactor”0,“偏见”,0)];
创建一个演员使用actorNetwork。DDPG代理使用一个rlContinuousDeterministicActor对象实现的演员。
演员= rlContinuousDeterministicActor (actorNetwork,…obsInfo actInfo,…“ObservationInputNames”,{“状态”});
设置一些演员培训选项。
actorOpts = rlOptimizerOptions (…“LearnRate”1的军医,“GradientThreshold”1);
指定代理选项,创建DDPG代理使用演员和评论家。
agentOpts = rlDDPGAgentOptions (…“SampleTime”env.Ts,…“TargetSmoothFactor”1 e - 3,…“ExperienceBufferLength”1 e6,…“DiscountFactor”,0.99,…“MiniBatchSize”32岁的…“CriticOptimizerOptions”criticOpts,…“ActorOptimizerOptions”,actorOpts);代理= rlDDPGAgent(演员、评论家、agentOpts);
检查您的代理,使用getAction返回操作从一个随机的观察。
getAction(代理,{兰德(2,1)})
ans =1 x1单元阵列{[-0.4719]}
您现在可以测试和培训环境内的代理。
创建DDPG代理与复发性神经网络
对于这个示例,负载在示例中使用的环境火车DDPG剂来控制双积分器系统。观察从环境中包含位置和速度是一个向量的质量。代表一个力的行动是一个标量范围从-不断2来2牛顿。
env = rlPredefinedEnv (“DoubleIntegrator-Continuous”);
观察和行动规范信息。
obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
创建一个深层神经网络作为近似模型内的评论家。DDPG代理,评论家估计核反应能量函数,因此必须采取观察和行动信号作为输入并返回一个标量值。要创建一个递归神经网络,使用sequenceInputLayer作为输入层,包括一个lstmLayer的另一个网络层。
%定义路径statePath = sequenceInputLayer (prod (obsInfo.Dimension)…,“归一化”,“没有”,“名字”,“myobs”);actionPath = sequenceInputLayer(元素个数(actInfo),…“归一化”,“没有”,“名字”,“myact”);commonPath = [concatenationLayer (1、2、“名字”,“concat”)reluLayer (“名字”,“relu”)lstmLayer (8,“OutputMode”,“序列”,“名字”,“lstm”)fullyConnectedLayer (1,“名字”,“StateValue”,…“BiasLearnRateFactor”0,“偏见”,0)];%添加layergraph网络路径criticNetwork = layerGraph (statePath);criticNetwork = addLayers (criticNetwork actionPath);criticNetwork = addLayers (criticNetwork commonPath);%连接路径criticNetwork = connectLayers (criticNetwork,“myobs”,“concat /三机一体”);criticNetwork = connectLayers (criticNetwork,“myact”,“concat / in2”);
创建一个评论家使用criticNetwork,指定的名称输入层。DDPG代理使用一个rlQValueFunction对象实现评论家。
评论家= rlQValueFunction (criticNetwork obsInfo actInfo,…“ObservationInputNames”,{“myobs”},“ActionInputNames”,{“myact”});
设置一些评论家培训选项。
criticOpts = rlOptimizerOptions (…“LearnRate”,5 e - 3,“GradientThreshold”1);
创建一个神经网络作为近似模型内的演员。DDPG代理,演员执行一个确定的政策,这是由一个连续实现确定的演员。在这种情况下,网络必须采取观察信号作为输入,并返回一个行动。因此,输出层必须尽可能多的元素的数量可能的行动。评论家有复发性网络以来,演员必须有复发性网络。
actorNetwork = [sequenceInputLayer (prod (obsInfo.Dimension),…“归一化”,“没有”,“名字”,“myobs”)lstmLayer (8,“OutputMode”,“序列”,“名字”,“lstm”)fullyConnectedLayer(元素个数(actInfo),“名字”,“myact”,…“BiasLearnRateFactor”0,“偏见”,0)];
创建一个演员使用actorNetwork。DDPG代理使用一个rlContinuousDeterministicActor对象实现的演员。
演员= rlContinuousDeterministicActor (actorNetwork,…obsInfo actInfo,…“ObservationInputNames”,{“myobs”});
设置一些演员培训选项。
actorOpts = rlOptimizerOptions (…“LearnRate”1的军医,“GradientThreshold”1);
指定代理选项,创建DDPG代理使用演员和评论家。与复发性神经网络使用DDPG代理,您必须指定一个SequenceLength大于1。
agentOpts = rlDDPGAgentOptions (…“SampleTime”env.Ts,…“TargetSmoothFactor”1 e - 3,…“ExperienceBufferLength”1 e6,…“DiscountFactor”,0.99,…“SequenceLength”,20岁,…“MiniBatchSize”32岁的…“CriticOptimizerOptions”criticOpts,…“ActorOptimizerOptions”,actorOpts);代理= rlDDPGAgent(演员、评论家、agentOpts);
检查您的代理,使用getAction返回操作从一个随机的观察。
getAction(代理,{兰德(obsInfo.Dimension)})
ans =1 x1单元阵列{[-0.0250]}
您现在可以测试和培训环境内的代理。
