加载预定义环境env=rlPredefinedEnv(“SimplePendulumWithImage-Discrete”)；％获得观察和行动规范obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);

% rng (0)

代理= rlPGAgent (obsInfo actInfo);

getAction(代理,{兰特(obsInfo (1) .Dimension),兰德(obsInfo (2) .Dimension)})

加载预定义环境env=rlPredefinedEnv(“SimplePendulumWithImage连续”)；％获得观察和行动规范obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);

Initopts = rlagentinitializationOptions（“NumHiddenUnit”, 128);

% rng (0)

代理= rlpgagent（Obsinfo，Actinfo，Enitopts）;

评论家= getCritic(代理);critic.Options.LearnRate = 1 e - 3;代理= setCritic(代理、批评);

ActORNET = GetModel（GetAttor（代理））;批评= getModel（accritic（代理））;

临界层

绘图（层图（ActorRounet））

情节(layerGraph (criticNet))

getAction(代理,{兰特(obsInfo (1) .Dimension),兰德(obsInfo (2) .Dimension)})

加载预定义环境env=rlPredefinedEnv(“DoubleIntegrator-Discrete”)；%获取观察和规格信息obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);

%创建一个网络用作潜在的评论家近似器baselineNetwork=[imageInputLayer（[obsInfo.Dimension（1）1]，“归一化”,“没有”,“姓名”,“状态”) fullyConnectedLayer (8,“姓名”,“基线FC”)雷卢耶(“姓名”,“CriticRelu1”）全康连接层（1，“姓名”,'BaselineFC2','biaslearnratefactor'，0）];％为评论家设置一些选项baselineOpts = rlRepresentationOptions (“LearnRate”, 5 e - 3,“GradientThreshold”1);%基于网络逼近器创建批评家基线=rlValueRepresentation（基线网络、obsInfo、，'观察'，{“状态”}，基线选项）；

％创建一个用于用作底层演员近似器的网络[obsInfo.Dimension(1) 1]，“归一化”,“没有”,“姓名”,“状态”）全连接列（Numel（Actinfo.Elements），“姓名”,“行动”,'biaslearnratefactor'，0）];%为演员设置一些选项actorOpts=rlRepresentationOptions(“LearnRate”, 5 e - 3,“GradientThreshold”1);基于网络近似器创建参与者演员= rlStochasticActorRepresentation (actorNetwork obsInfo actInfo,......'观察'，{“状态”}，actorOpts）；

agentOpts = rlPGAgentOptions (......“UseBaseline”，真的，......“DiscountFactor”, 0.99);代理= rlPGAgent(演员、基线、agentOpts)

GetAction（代理，{rand（2,1）}）

加载预定义环境env=rlPredefinedEnv(“DoubleIntegrator-Continuous”)；%获取观测规范信息obsInfo = getObservationInfo (env)

%获取操作规范信息actInfo=getActionInfo（环境）

％确保动作空间上限和下限是有限的actInfo.LowerLimit = 2;actInfo.UpperLimit = 2;

%创建一个网络用作潜在的评论家近似器baselineNetwork = [imageInputLayer([obsInfo. baselineNetwork])]尺寸1],“归一化”,“没有”,“姓名”,“状态”) fullyConnectedLayer (8,“姓名”,'BaselineFC1')雷卢耶(“姓名”,“Relu1”）全康连接层（1，“姓名”,'BaselineFC2','biaslearnratefactor'，0）];为评论家设置一些训练选项baselineOpts = rlRepresentationOptions (“LearnRate”, 5 e - 3,“GradientThreshold”1);%基于网络逼近器创建批评家基线=rlValueRepresentation（基线网络、obsInfo、，'观察'，{“状态”}，基线选项）；

%输入路径层（2×1输入，1×1输出）inPath = [imageInputLayer([obsInfo. inPath])]尺寸1],“归一化”,“没有”,“姓名”,“状态”) fullyConnectedLayer (10“姓名”,'ip_fc')% 10 × 1输出雷卢耶(“姓名”,“ip_relu”)%非线性fullyConnectedLayer (1,“姓名”,'ip_out'）];%1乘1输出%平均值的路径层（1×1输入和1×1输出）%使用scalingLayer缩放范围meanPath = [fulllyconnectedlayer (15，“姓名”,“mp_fc1”)%15乘1输出雷卢耶(“姓名”,'mp_relu')%非线性fullyConnectedLayer (1,“姓名”,“mp_fc2”)；%1乘1输出Tanhlayer（“姓名”,的双曲正切)；％输出范围：（-1,1）scalingLayer (“姓名”,“mp_out”,“规模”，actInfo.上限]；％输出范围：（-2n，2n）%路径层的标准偏差(1 × 1输入和输出)％使用softplus图层使其非负sdevpath = [全连接列（15，“姓名”,'vp_fc1')%15乘1输出雷卢耶(“姓名”,“vp_relu”)%非线性fullyConnectedLayer (1,“姓名”,“vp_fc2”)；%1乘1输出softplusLayer (“姓名”,'vp_out'）];％输出范围：（0，+ INF）将两个输入(沿维度#3)连接起来，形成单个(2 × 1)输出层outLayer=连接层（3,2，“姓名”,“mean&sdev”)；添加层到layerGraph网络对象ACTORNET = DILLERGRAGH（INPATH）;ActorNet = Addlayers（ActorRornet，意思）;ACTORNET = AddLayers（ACTORNET，SDEVPATH）;ActorNet = Addlayers（Actornet，Outayer）;％Connect图层：平均值路径输出必须连接到替代层的第一个输入actorNet=连接层（actorNet，'ip_out','mp_fc1 /')；%连接inPath的输出到meanPath的输入actorNet=连接层（actorNet，'ip_out',“vp_fc1 /”)；%连接inPath的输出到variancePath的输入actorNet=连接层（actorNet，“mp_out”,“mean&sdev /三机一体”)；%将meanPath的输出连接到mean&sdev输入#1actorNet=连接层（actorNet，'vp_out',“mean&sdev / in2”)；%连接sdevPath的输出到mean&sdev input #2％绘图网络情节(actorNet)

%为演员设置一些选项actorOpts=rlRepresentationOptions(“LearnRate”, 5 e - 3,“GradientThreshold”1);基于网络近似器创建参与者Actor = rlstochasticRepresentation（Actornet，Obsinfo，Actinfo，......'观察'，{“状态”}，actorOpts）；

agentOpts = rlPGAgentOptions (......“UseBaseline”，真的，......“DiscountFactor”, 0.99);代理= rlPGAgent(演员、基线、agentOpts)

GetAction（代理，{rand（2,1）}）

env=rlPredefinedEnv(“DoubleIntegrator-Discrete”)；

obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);

baselinenetwork = [sequenceInputlayer（Obsinfo.dimension（1），“归一化”,“没有”,“姓名”,'myobs') fullyConnectedLayer (8,“姓名”,“基线FC”)第1层（8，'OutputMode',“顺序”,“姓名”,'lstm')雷卢耶(“姓名”,“CriticRelu1”）全康连接层（1，“姓名”,'BaselineFC2','biaslearnratefactor'，0）];

baselineOpts = rlRepresentationOptions (“LearnRate”, 5 e - 3,“GradientThreshold”1);

基线=rlValueRepresentation（基线网络、obsInfo、，'观察'，{'myobs'}，基线选项）；

actorNetwork=[sequenceInputLayer（obsInfo.Dimension（1），“归一化”,“没有”,“姓名”,'myobs')第1层（8，'OutputMode',“顺序”,“姓名”,'lstm'）全连接列（Numel（Actinfo.Elements），“姓名”,“行动”,'biaslearnratefactor'，0）];

actorOpts=rlRepresentationOptions(“LearnRate”, 5 e - 3,“GradientThreshold”1);演员= rlStochasticActorRepresentation (actorNetwork obsInfo actInfo,......'观察'，{'myobs'}，actorOpts）；

agentOpts = rlPGAgentOptions (......“UseBaseline”，真的，......“DiscountFactor”, 0.99);代理= rlPGAgent(演员、基线、agentOpts);

getAction（代理，{obsInfo.Dimension}）