创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。在本例中，将观测空间定义为连续的四维空间，因此单个观测是包含4个双精度的列向量。

obsInfo = rlNumericSpec([4 1]);

创建一个深度神经网络来近似批评家内部的价值函数。网络的输入(这里称为myobs)必须接受一个四元向量(由obsInfo），输出必须是标量（值，表示代理从给定观察开始时的预期累积长期奖励）。

网= [featureInputLayer (4“归一化”,“没有”,“姓名”,“myobs”) fullyConnectedLayer (1,“姓名”,“价值”));

使用网络、观察规范对象和网络输入层的名称创建批评家。

评论家= rlValueRepresentation (obsInfo净,“观察”，{“myobs”}）

comment = rlvaluerpresentation with properties: ObservationInfo: [1x1 rl.util.]rlNumericSpec选项:[1x1 rl.option.rlRepresentationOptions]

要检查您的批评者，请使用getValue函数使用当前网络权重返回随机观测值。

v=getValue（批评家，{rand（4,1）}）

v =单0.7904

现在可以使用评论家(以及参与者)来创建依赖于价值功能评论家的代理(例如rlACAgent或rlPGAgent).

创建一个参与者表示和一个评论家表示，您可以使用它们来定义一个强化学习代理，比如参与者评论家(AC)代理。

对于本例，为一个代理创建参与者和批评者表示，该代理可以根据本文中描述的cart-pole环境进行训练火车AC代理以平衡车杆系统．首先，创造环境。然后，从环境中提取观察和行动规范。您需要这些规范来定义代理和评论家表示。

env=rlPredefinedEnv(“CartPole-Discrete”）;obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);

对于AC或PG代理使用的状态值函数批评家，输入是观察值，输出应该是标量值，即状态值。例如，使用深度神经网络创建批评家表示，其中一个输出，观察信号对应于x,xdot,西塔,Thetadot.中描述的火车AC代理以平衡车杆系统。你可以从obsInfo规范。命名网络层输入“观察”．

numobservation = Obsinfo.dimension（1）;批评网络= [FeatureInputLayer（numobservation，“归一化”,“没有”,“姓名”,“观察”) fullyConnectedLayer (1,“姓名”,“临界CFC”));

使用指定批评家表示的选项rlRepresentationOptions．这些选项控制关键网络参数的学习。在本例中，学习率设置为0.05，梯度阈值设置为1。

repOpts=rlRepresentationOptions(“LearnRate”，5e-2，“梯度阈值”1);

使用指定的神经网络和选项创建批评家表示。此外，指定批评家的操作和观察信息。将观察名称设置为“观察”，这是临界网络输入层。

评论家= rlValueRepresentation (criticNetwork obsInfo,“观察”，{“观察”}, repOpts)

comment = rlvaluerpresentation with properties: ObservationInfo: [1x1 rl.util.]rlNumericSpec选项:[1x1 rl.option.rlRepresentationOptions]

类似地，为参与者创建一个网络。AC代理使用参与者表示来决定对给定的观察结果采取什么操作。对于行动者来说，输入是观察值，输出取决于动作空间是离散的还是连续的。对于本例中的参与者，有两个可能的离散动作，-10或10。要创建演员，使用与评论家相同的观察输入的深度神经网络，它可以输出这两个值。的操作数actInfo规范。名字的输出“行动”．

numAction =元素个数(actInfo.Elements);actorNetwork = [featureInputLayer(numobation，“归一化”,“没有”,“姓名”,“观察”)完全连接层（numAction，“姓名”,“行动”));

使用观察名称和规范以及相同的表示选项创建参与者表示。

演员= rlStochasticActorRepresentation (actorNetwork obsInfo actInfo,．..“观察”，{“观察”}, repOpts)

actor = rlStochasticActorRepresentation with properties:rlFiniteSetSpec: [1x1 rl.util.]rlNumericSpec] Options: [1x1 rl.option.rlRepresentationOptions]

使用参与者和批评者表示创建AC代理。

agentOpts=rlACAgentOptions(．..“NumStepsToLookAhead”32岁的．..“折扣演员”，0.99）；代理=rlACAgent（演员、评论家、代理）

代理=具有属性的rlacagent：agentoptions：[1x1 rl.option.rlacagentoptions]

有关如何为不同的代理类型创建actor和critic表示的其他示例，请参见:

创建有限集观察规范对象（或者使用getObservationInfo从具有离散观察空间的环境中提取规格对象)。对于这个例子，将观察空间定义为一个由4个可能值组成的有限集。

obsInfo=rlFiniteSetSpec（[1 3 5 7]）；

创建一个表来近似批评家中的值函数。

vTable = rlTable (obsInfo);

该表是一个列向量，其中每个条目存储每个可能观察的预期累积长期回报，如obsInfo。您可以使用表格财产的财产虚表对象。每个元素的初始值都是零。

vTable.表格

ans=4×10 0 0 0

您还可以将表初始化为任何值，在本例中是一个数组，其中包含来自的所有整数1.来4.．

vTable.表格= reshape(1:4,4,1)

vTable=rlTable，带属性：Table:[4x1双精度]

使用表和观察规范对象创建批评家。

评论家= rlValueRepresentation (vTable obsInfo)

comment = rlvaluerpresentation with properties: ObservationInfo: [1x1 rl.util.]rlFiniteSetSpec选项:[1x1 rl.option.rlRepresentationOptions]

要检查您的批评者，请使用getValue函数使用当前表项返回给定观察值。

{7} v = getValue(批评)

v=4

现在可以使用评论家(以及参与者)来创建依赖于价值功能评论家的代理(例如rlACAgent或rlPGAgent代理).

创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。在本例中，将观测空间定义为连续的四维空间，因此单个观测是包含4个双精度的列向量。

obsInfo = rlNumericSpec([4 1]);

创建一个自定义的基础函数来近似批评家的价值函数。自定义基函数必须返回一个列向量。每个向量元素必须是观测值的函数obsInfo．

MyBasisCfCn=@（myobs）[myobs（2）^2；myobs（3）+exp（myobs（1））；abs（myobs（4））]

myBasisFcn=function_handle与价值:@（肌瘤）[肌瘤（2）^2；肌瘤（3）+exp（肌瘤（1））；abs（肌瘤（4））]

批评家的输出是标量w'* mybasisfcn（myobs）,在那里W是一个权重列向量，它必须具有与自定义基函数输出相同的大小。该输出是代理从给定的观察开始并采取最佳行动时的预期累积长期回报。W的元素是可学习的参数。

定义初始参数向量。

W0 =(3。5;2);

创建一个评论家。第一个参数是一个包含自定义函数句柄和初始权重向量的双元素单元格。第二个参数是观察规范对象。

评论家= rlValueRepresentation ({myBasisFcn, W0}, obsInfo)

comment = rlvaluerpresentation with properties: ObservationInfo: [1x1 rl.util.]rlNumericSpec选项:[1x1 rl.option.rlRepresentationOptions]

要检查您的批评者，请使用getValue函数使用当前参数向量返回给定观测值。

v = getValue(批评家，{[2 4 6 8]'})

v = 1x1 dlarray 130.9453

您现在可以使用评论家(以及一个参与者)来创建依赖于价值功能评论家的代理(例如rlACAgent或rlPGAgent).

创造一个环境，并获得观察和行动信息。

env=rlPredefinedEnv(“CartPole离散型”）;obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);numObs = obsInfo.Dimension (1);numDiscreteAct =元素个数(actInfo.Elements);

为评论家创建一个循环深度神经网络。要创建递归神经网络，请使用sequenceInputLayer作为输入层并包括至少一个lstmLayer．

criticNetwork = [sequenceInputLayer(nummobs，“归一化”,“没有”,“姓名”,“状态”）全连接列（8，“姓名”,“俱乐部”)雷卢耶(“姓名”,“relu”)第1层（8，“OutputMode”,“顺序”,“姓名”,“lstm”) fullyConnectedLayer (1,“姓名”,“输出”));

为批评家创建一个值函数表示对象。

criticOptions = rlRepresentationOptions (“LearnRate”1飞行,“梯度阈值”1);评论家= rlValueRepresentation (criticNetwork obsInfo,．..“观察”,“状态”，批评）；