rlPGAgent
策略梯度强化学习代理
描述
策略梯度(PG)算法是一种无模型、在线、基于策略的强化学习方法。PG智能体是一种基于策略的强化学习智能体，它直接计算出使长期收益最大化的最优策略。动作空间可以是离散的，也可以是连续的。
创建
语法
描述
从观察和操作规范中创建代理
代理= rlPGAgent (observationInfo，actionInfo）observationInfo以及动作规范actionInfo．
代理= rlPGAgent (observationInfo，actionInfo，initOpts）initOpts对象。策略梯度代理不支持递归神经网络。金宝app有关初始化选项的更多信息，请参见rlAgentInitializationOptions．
从演员和评论家代表创建代理
代理= rlPGAgent (演员）UseBaseline代理人的财产是假在这种情况下。
指定代理选项
代理= rlPGAgent (＿＿＿，agentOptions）AgentOptions财产agentOptions输入参数。在前面语法中的任何输入参数之后使用此语法。
输入参数
属性
对象的功能
例子
根据观察和行动规范创建离散策略梯度代理
创造一个具有离散动作空间的环境，并获得其观察和动作规范。对于本示例，请加载示例中使用的环境使用深度网络设计器创建代理和使用图像观察训练．这个环境有两个观测值:一个50乘50的灰度图像和一个标量(钟摆的角速度)。这个动作是一个标量，有五个可能的元素(一个扭矩是-2,1，0，1,或2Nm适用于极点)。
加载预定义环境env = rlPredefinedEnv (“SimplePendulumWithImage-Discrete”)；%获得观察和行动规范obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
代理创建函数随机初始化参与者和批评者网络。您可以通过固定随机生成器的种子来确保重现性。为此，取消下面一行的注释。
% rng (0)
根据环境观察和操作规范创建策略梯度代理。
代理= rlPGAgent (obsInfo actInfo);
要检查你的代理，使用getAction从随机观察中返回动作。
getAction(代理,{兰特(obsInfo (1) .Dimension),兰德(obsInfo (2) .Dimension)})
ans =1 x1单元阵列{[2]}
现在可以在环境中测试和培训代理。
使用初始化选项创建连续策略梯度代理
创造一个具有连续动作空间的环境，并获得其观察和动作规范。对于本示例，请加载示例中使用的环境用图像观察训练DDPG Agent上摆和平衡摆．这个环境有两个观测值:一个50乘50的灰度图像和一个标量(钟摆的角速度)。这个作用是一个标量，表示从-连续范围的扭矩2来2Nm。
加载预定义环境env = rlPredefinedEnv (“SimplePendulumWithImage-Continuous”)；%获得观察和行动规范obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
创建一个代理初始化选项对象，指定网络中每个隐藏的完全连接层必须具有128神经元(而不是默认的数字，256）.策略梯度代理不支持递归网络，因此设置金宝appUseRNN选项真正的在创建代理时生成错误。
initOpts = rlAgentInitializationOptions (“NumHiddenUnit”, 128);
代理创建函数随机初始化参与者和批评者网络。您可以通过固定随机生成器的种子来确保重现性。为此，取消下面一行的注释。
% rng (0)
根据环境观察和操作规范创建策略梯度代理。
代理= rlPGAgent (obsInfo actInfo initOpts);
将批判学习率降低到1e-3。
评论家= getCritic(代理);critic.Options.LearnRate = 1 e - 3;代理= setCritic(代理、批评);
从主体、行动者和批评者中提取深度神经网络。
actorNet = getModel (getActor(代理));criticNet = getModel (getCritic(代理));
显示批评网络的各层，并验证每个隐藏的全连接层有128个神经元
criticNet。层
ans = 12x1 Layer array with layers:1的concat串联连接2输入沿着维度3 2的relu_body ReLU ReLU 3“fc_body”完全连接128完全连接层4的body_output ReLU ReLU 5 input_1的图像输入50 x50x1图片6 conv_1卷积64 3 x3x1旋转步[1]和填充[0 0 0 0]7‘relu_input_1 ReLU ReLU 8 fc_1完全连接10 'fc_2' fully connected 128 fully connected layer 11 'output' fully connected 1 fully connected layer 12 'RepresentationLoss' Regression output mean-平方误差
情节演员和评论家网络
情节(actorNet)
情节(criticNet)
要检查你的代理，使用getAction从随机观察中返回动作。
getAction(代理,{兰特(obsInfo (1) .Dimension),兰德(obsInfo (2) .Dimension)})
ans =1 x1单元阵列{[0.9228]}
现在可以在环境中测试和培训代理。
从演员和基线评论家创建一个离散的PG代理
创造一个具有离散动作空间的环境，并获得其观察和动作规范。对于本示例，请加载示例中使用的环境用基线训练PG Agent控制双积分器系统．从环境中观察到的是一个包含质量的位置和速度的矢量。这个作用是一个标量，表示施加在质量上的力，有三个可能的值(-)2，0,或2牛顿)。
加载预定义环境env = rlPredefinedEnv (“DoubleIntegrator-Discrete”)；%获得观察和规格信息obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
创建一个批评家表示作为基线。
%创建一个网络用作潜在的评论家近似器baselineNetwork = [imageInputLayer([obsInfo.Dimension(1) 1 1])，“归一化”，“没有”，“名字”，“状态”) fullyConnectedLayer (8,“名字”，“BaselineFC”) reluLayer (“名字”，“CriticRelu1”) fullyConnectedLayer (1,“名字”，“BaselineFC2”，“BiasLearnRateFactor”, 0)];为评论家设置一些选项baselineOpts = rlRepresentationOptions (“LearnRate”, 5 e - 3,“GradientThreshold”1);%创建基于网络近似器的批评家基线= rlValueRepresentation (baselineNetwork obsInfo,“观察”, {“状态”}, baselineOpts);
创建一个参与者表示。
%创建一个用作底层参与者近似器的网络[obsInfo.Dimension(1) 1]，“归一化”，“没有”，“名字”，“状态”) fullyConnectedLayer(元素个数(actInfo.Elements),“名字”，“行动”，“BiasLearnRateFactor”, 0)];为actor设置一些选项actorOpts = rlRepresentationOptions (“LearnRate”, 5 e - 3,“GradientThreshold”1);基于网络近似器创建参与者演员= rlStochasticActorRepresentation (actorNetwork obsInfo actInfo,．..“观察”, {“状态”}, actorOpts);
指定代理选项，并使用环境、actor和评论家创建一个PG代理。
agentOpts = rlPGAgentOptions (．..“UseBaseline”,真的,．..“DiscountFactor”, 0.99);代理= rlPGAgent(演员、基线、agentOpts)
agent = rlPGAgent with properties: AgentOptions: [1x1 rl.option.rlPGAgentOptions]
要检查代理，请使用getAction从随机观察返回操作。
getAction(代理,{兰德(2,1)})
ans =1 x1单元阵列{[2]}
现在可以在环境中测试和培训代理。
从演员和基线评论家创建一个连续的PG代理
创造一个具有连续动作空间的环境，并获得其观察和动作规范。对于本例，加载本例中使用的双积分器连续动作空间环境培训DDPG Agent控制双积分系统．
加载预定义环境env = rlPredefinedEnv (“DoubleIntegrator-Continuous”)；%获取观测规范信息obsInfo = getObservationInfo (env)
obsInfo = rlNumericSpec with properties: LowerLimit: -Inf UpperLimit: Inf Name: "states" Description: "x, dx" Dimension: [2 1] DataType: "double"
%获取操作规范信息actInfo = getActionInfo (env)
属性:LowerLimit: -Inf UpperLimit: Inf Name: "force" Description: [0x0 string] Dimension: [1 1] DataType: "double"
在本例中，动作是一个标量输入，表示范围为-的力2来2因此，相应地设定动作信号的上下限是个好主意。当参与者的网络表示具有非线性输出层，需要相应地进行缩放以产生期望范围内的输出时，就必须这样做。
%确保动作空间的上限和下限是有限的actInfo.LowerLimit = 2;actInfo.UpperLimit = 2;
创建一个批评家表示作为基线。策略梯度代理使用arlValueRepresentation基线。对于连续观测空间，可以使用深度神经网络或自定义基表示。对于本例，创建一个深度神经网络作为底层近似器。
%创建一个网络用作潜在的评论家近似器baselineNetwork = [imageInputLayer([obsInfo. baselineNetwork])]尺寸1],“归一化”，“没有”，“名字”，“状态”) fullyConnectedLayer (8,“名字”，“BaselineFC1”) reluLayer (“名字”，“Relu1”) fullyConnectedLayer (1,“名字”，“BaselineFC2”，“BiasLearnRateFactor”, 0)];为评论家设置一些训练选项baselineOpts = rlRepresentationOptions (“LearnRate”, 5 e - 3,“GradientThreshold”1);%创建基于网络近似器的批评家基线= rlValueRepresentation (baselineNetwork obsInfo,“观察”, {“状态”}, baselineOpts);
策略梯度代理使用arlStochasticActorRepresentation．对于连续动作空间的随机参与者，只能使用神经网络作为潜在的近似器。
观察输入(这里称为myobs)必须接受二维向量，如obsInfo．输出(这里称为myact)也必须是一个二维向量(是actInfo）.输出向量的元素依次表示每个动作的所有平均值和所有标准偏差(在本例中只有一个平均值和一个标准偏差)。
事实上，标准差必须是非负的，而平均值必须落在输出范围内，这意味着网络必须有两个独立的路径。第一个路径是针对平均值的，任何输出非线性必须进行缩放，以便它能在输出范围内产生输出。第二种方法是方差，您必须使用softplus或relu层来强制非负性。
%输入路径层(2 * 1输入，1 * 1输出)inPath = [imageInputLayer([obsInfo. inPath])]尺寸1],“归一化”，“没有”，“名字”，“状态”) fullyConnectedLayer (10“名字”，“ip_fc”）% 10 × 1输出reluLayer (“名字”，“ip_relu”）%非线性fullyConnectedLayer (1,“名字”，“ip_out”));% 1乘1输出%路径层的平均值(1乘1输入和1乘1输出)%使用scalingLayer缩放范围meanPath = [fulllyconnectedlayer (15，“名字”，“mp_fc1”）% 15 × 1输出reluLayer (“名字”，“mp_relu”）%非线性fullyConnectedLayer (1,“名字”，“mp_fc2”)；% 1乘1输出tanhLayer (“名字”，的双曲正切)；%输出范围:(-1,1)scalingLayer (“名字”，“mp_out”，“规模”actInfo.UpperLimit)];%输出范围:(-2N,2N)%路径层的标准偏差(1 × 1输入和输出)%使用软加层使其非负sdevPath = [fulllyconnectedlayer (15，“名字”，“vp_fc1”）% 15 × 1输出reluLayer (“名字”，“vp_relu”）%非线性fullyConnectedLayer (1,“名字”，“vp_fc2”)；% 1乘1输出softplusLayer (“名字”，“vp_out”));%输出范围:(0，+Inf)将两个输入(沿维度#3)连接起来，形成单个(2 × 1)输出层支出= concatenationLayer (3 2“名字”，“mean&sdev”)；添加层到layerGraph网络对象actorNet = layerGraph (inPath);actorNet = addLayers (actorNet meanPath);actorNet = addLayers (actorNet sdevPath);actorNet = addLayers (actorNet,支出);连接层:平均值路径输出必须连接到连接层的第一个输入actorNet = connectLayers (actorNet,“ip_out”，“mp_fc1 /”)；%连接inPath的输出到meanPath的输入actorNet = connectLayers (actorNet,“ip_out”，“vp_fc1 /”)；%连接inPath的输出到variancePath的输入actorNet = connectLayers (actorNet,“mp_out”，“mean&sdev /三机一体”)；将meanPath的输出连接到mean&sdev输入#1actorNet = connectLayers (actorNet,“vp_out”，“mean&sdev / in2”)；%连接sdevPath的输出到mean&sdev input #2%的阴谋网络情节(actorNet)
为参与者指定一些选项，并使用深度神经网络创建随机参与者表示actorNet．
为actor设置一些选项actorOpts = rlRepresentationOptions (“LearnRate”, 5 e - 3,“GradientThreshold”1);基于网络近似器创建参与者演员= rlStochasticActorRepresentation (actorNet obsInfo actInfo,．..“观察”, {“状态”}, actorOpts);
指定代理选项，并使用actor、baseline和agent选项创建PG代理。
agentOpts = rlPGAgentOptions (．..“UseBaseline”,真的,．..“DiscountFactor”, 0.99);代理= rlPGAgent(演员、基线、agentOpts)
agent = rlPGAgent with properties: AgentOptions: [1x1 rl.option.rlPGAgentOptions]
要检查代理，请使用getAction从随机观察返回操作。
getAction(代理,{兰德(2,1)})
ans =1 x1单元阵列{[0.0347]}
现在可以在环境中测试和培训代理。
提示
对于连续的动作空间，
rlPGAgent代理不执行操作规范设置的约束，因此必须在环境中执行操作空间约束。
另请参阅
深层网络设计师|rlAgentInitializationOptions|rlPGAgentOptions|rlStochasticActorRepresentation|rlValueRepresentation
你也可以从以下列表中选择一个网站:
