创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象）。例如，将观察空间定义为连续的四维空间，以便单个观察是包含四个双精度的列向量。

obsInfo=rlNumericSpec（[4 1]）；

创建一个动作规范对象(或者使用getActionInfo从环境中提取规范对象)。对于本例，将操作空间定义为连续的二维空间，因此单个操作是包含两个double的列向量。

actInfo = rlNumericSpec([2 1]);

建立一个深度神经网络来近似q值函数。网络必须有两个输入，一个用于观察，一个用于动作。观察输入(这里称为肌瘤)必须接受四元素向量（由定义的观察向量obsInfo）.操作输入(这里称为myact)必须接受一个双元素向量(由肌动蛋白）.网络的输出必须是一个标量，表示agent从给定的观测开始并采取给定的行动时的预期累积长期回报。

%观测路径层obsPath=[featureInputLayer（4，“正常化”，“没有”，“名字”，“肌瘤”)完全连接层（1，“名字”，“obsout”));%动作路径层actPath = [featureInputLayer (2,“正常化”，“没有”，“名字”，“myact”)完全连接层（1，“名字”，“阿克托”));%输出层的公共路径comPath = [additionLayer (2,“名字”，“添加”)完全连接层（1，“名字”，“输出”));%向网络对象添加图层网= addLayers (layerGraph (obsPath) actPath);网= addLayers(净,comPath);%连接层网= connectLayers(网络,“obsout”，“添加/三机一体”)；净=连接层（净，“阿克托”，“添加/in2”）;%绘图网络地块（净）

用语言创造批评家rlQValueRepresentation，使用网络、观察和操作规范对象以及网络输入层的名称。

评论家= rlQValueRepresentation(净、obsInfo actInfo,...“观察”, {“肌瘤”},“行动”, {“myact”})

批评家= rlQValueRepresentation与属性:ActionInfo: [1x1 rl.util.]。rlNumericSpec . ObservationInfo: [1x1 rl.util.]rlNumericSpec] Options: [1x1 rl.option.rlRepresentationOptions]

要检查你的批评家，使用getValue函数返回使用当前网络权重的随机观察和动作的值。

v = getValue(评论家,{兰德(4,1)},{兰德(2,1)})

五=仅有一个的0.1102

您现在可以使用批评家(以及一个参与者)来创建依赖于q值函数批评家的代理(例如rlQAgent，rlDQNAgent，rlSARSAAgent或RLDDPG试剂代理）。

这个例子展示了如何使用深度神经网络逼近器为离散动作空间创建多输出Q值函数批评家。

该批评家仅将观察作为输入，并生成一个包含尽可能多的元素的向量作为输出。每个元素表示当代理从给定的观察开始并采取与元素在输出向量中的位置对应的操作时的预期累积长期回报。

创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象）。例如，将观察空间定义为连续的四维空间，以便单个观察是包含四个双精度的列向量。

obsInfo=rlNumericSpec（[4 1]）；

创建一个有限设定的动作规格对象(或可选使用)getActionInfo从具有离散操作空间的环境中提取规范对象)。对于本例，将操作空间定义为一个有限集，包含三个可能的值(命名为7，5,3.在这种情况下)。

actInfo = rlFiniteSetSpec([7 5 3]);

创建一个深度神经网络近似器来近似批评家内部的q值函数。网络的输入(这里称为肌瘤)必须接受四个元素的向量，如obsInfo.输出必须是一个单独的输出层，具有尽可能多的元素和可能的离散动作（在这种情况下为三个，定义如下）肌动蛋白）.

net=[featureInputLayer（4，“正常化”，“没有”，“名字”，“肌瘤”)完全连接层（3，“名字”，“价值”));

使用网络、观察规范对象和网络输入层的名称创建批评家。

评论家= rlQValueRepresentation(净、obsInfo actInfo,“观察”, {“肌瘤”})

批评家= rlQValueRepresentation与属性:ActionInfo: [1x1 rl.util.]。rlFiniteSetSpec: [1x1 rl.util.]rlNumericSpec] Options: [1x1 rl.option.rlRepresentationOptions]

要检查你的批评家，使用getValue函数返回使用当前网络权重的随机观测值。这三种可能的操作都有一个值。

v = getValue(评论家,{兰德(4,1)})

五=3x1单列向量0.7232 0.8177 -0.2212

现在，您可以使用批评家（以及演员）创建依赖于Q值函数批评家（例如rlQAgent，rlDQNAgent或rlSARSAAgent代理）。

创建一个有限集观察规范对象(或者使用getObservationInfo从具有离散观察空间的环境中提取规格对象)。对于这个例子，将观察空间定义为具有4个可能值的有限集。

obsInfo = rlFiniteSetSpec([7 5 3 1]);

创建一个有限设定的动作规格对象(或可选使用)getActionInfo从具有离散操作空间的环境中提取规范对象)。在这个例子中，将动作空间定义为具有2个可能值的有限集。

actInfo = rlFiniteSetSpec([4 8]);

创建一个表，以近似于批评家中的值函数。rlTable从观察和操作规范对象创建值表对象。

qTable=rlTable（obsInfo，actInfo）；

该表为每个可能的观察操作对存储一个值（表示预期的累积长期奖励）。每行对应一个观察操作，每列对应一个操作。您可以使用表格财产的易变的对象。每个元素的初始值都是零。

qTable。表格

ans =4×20 0 0 0 0 0 0

可以将表初始化为任意值，在本例中是一个包含from的整数的数组1通过8．

qTable.Table =重塑(1:8 4 2)

qTable = rlTable with properties: Table: [4x2 double]

使用表以及观察和操作规范对象创建批评家。

评论家= rlQValueRepresentation (qTable obsInfo actInfo)

批评家= rlQValueRepresentation与属性:ActionInfo: [1x1 rl.util.]。rlFiniteSetSpec: [1x1 rl.util.]rlFiniteSetSpec] Options: [1x1 rl.option.rlRepresentationOptions]

要检查你的批评家，使用getValue函数使用当前表项返回给定观察和操作的值。

v=getValue（批评家，{5}，{8}）

v = 6

现在，您可以使用评论家(以及一个演员)来创建一个依赖于q值函数评论家(例如rlQAgent，rlDQNAgent或rlSARSAAgent代理）。

创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象）。对于本例，请将观测空间定义为连续的四维空间，以便单个观测是包含3个双精度的列向量。

obsInfo = rlNumericSpec([3 1]);

创建一个动作规范对象(或者使用getActionInfo从环境中提取规范对象)。对于本例，将操作空间定义为连续的二维空间，因此单个操作是包含2个double的列向量。

actInfo = rlNumericSpec([2 1]);

创建一个自定义基函数以近似于批评家中的值函数。自定义基函数必须返回一个列向量。每个向量元素必须是分别由定义的观察值和动作的函数obsInfo和肌动蛋白．

mybasiscn=@（myobs，myact）[myobs（2）^2；myobs（1）+exp（myact（1））；abs（myact（2））；myobs（3）]

myBasisFcn =函数\带有值的句柄：@ (myobs myact) [myobs (2) ^ 2; myobs (1) + exp (myact (1)); abs (myact (2)); myobs (3))

批评家的输出是标量W'*myBasisFcn（myobs，myact）哪里W是一个权重列向量，它必须具有与自定义基函数输出相同的大小。该输出是代理从给定的观察开始并采取最佳行动时的预期累积长期回报。W的元素是可学习的参数。

定义一个初始参数向量。

W0 = (1, 4, 4; 2);

创建一个评论家。第一个参数是一个包含自定义函数句柄和初始权重向量的双元素单元格。第二个和第三个参数分别是观察和操作规范对象。

评论家= rlQValueRepresentation ({myBasisFcn, W0}, obsInfo actInfo)

critic=rlQValueRepresentation with properties:ActionInfo:[1×1 rl.util.rlNumericSpec]ObservationInfo:[1×1 rl.util.rlNumericSpec]选项：[1×1 rl.option.rlRepresentationOptions]

要检查你的批评家，使用getValue函数使用当前参数向量返回给定观察-操作对的值。

v=getValue（批评家，{[1 2 3]'}，{[4 5]'}）

v=1×1 DL252.3926阵列

您现在可以使用批评家(以及一个参与者)来创建依赖于q值函数批评家的代理(例如rlQAgent，rlDQNAgent，rlSARSAAgent或RLDDPG试剂代理）。

此示例演示如何使用自定义基函数近似器为离散动作空间创建多输出Q值函数批评家。

该批评家仅将观察作为输入，并生成一个包含尽可能多的元素的向量作为输出。每个元素表示当代理从给定的观察开始并采取与元素在输出向量中的位置对应的操作时的预期累积长期回报。

创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。在本例中，将观测空间定义为连续的四维空间，因此单个观测是包含2个双精度的列向量。

obsInfo = rlNumericSpec([2 1]);

创建一个有限设定的动作规格对象(或可选使用)getActionInfo从具有离散操作空间的环境中提取规范对象)。对于本例，将操作空间定义为一个有限集，包含3个可能的值(命名为7，5,3.在这种情况下)。

actInfo = rlFiniteSetSpec([7 5 3]);

创建一个自定义基函数以近似于批评家中的值函数。自定义基函数必须返回一个列向量。每个向量元素必须是由定义的观察值的函数obsInfo．

myobs = @(myobs) [myobs(2)^2;myobs (1);exp (myobs (2));abs (myobs (1)))

myBasisFcn =函数\带有值的句柄：@ (myobs) [myobs (2) ^ 2; myobs (1); exp (myobs (2)); abs (myobs (1)))

批评家的输出是向量c=W'*MyBasisCfN（myobs）哪里W是一个权重矩阵，其行数必须与基函数输出的长度相同，列数必须与可能的操作数相同。

c的每个元素是当agent从给定的观察开始并采取与所考虑的元素的位置相对应的行动时的预期累积长期报酬，W的元素是可学习的参数。

定义一个初始参数矩阵。

W0 =兰德(4,3);

创建一个评论家。第一个参数是一个包含自定义函数句柄和初始参数矩阵的双元素单元格。第二个和第三个参数分别是观察和操作规范对象。

评论家= rlQValueRepresentation ({myBasisFcn, W0}, obsInfo actInfo)

批评家= rlQValueRepresentation与属性:ActionInfo: [1x1 rl.util.]。rlFiniteSetSpec: [1x1 rl.util.]rlNumericSpec] Options: [1x1 rl.option.rlRepresentationOptions]

要检查你的批评家，使用getValue函数使用当前参数矩阵返回随机观测值。注意，这三种可能的操作都有一个值。

v=getValue（批评家，{rand（2,1）}）

v=3x1 dlarray 2.1395 1.2183 2.3342

现在，您可以使用批评家（以及演员）创建依赖于Q值函数批评家（例如rlQAgent，rlDQNAgent或rlSARSAAgent代理）。

创造环境，获取观察和行动信息。

env = rlPredefinedEnv (“CartPole-Discrete”）;obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);numObs = obsInfo.Dimension (1);numDiscreteAct =元素个数(actInfo.Elements);

为你的批评者创建一个递归深层神经网络。要创建一个递归神经网络，请使用序列输入层作为输入层，并包含至少一个第一层．

创建用于多输出Q值函数表示的递归神经网络。

临界网络=[sequenceInputLayer（numObs，“正常化”，“没有”，“名字”，“状态”) fullyConnectedLayer (50,“名字”，“CriticStateFC1”) reluLayer (“名字”，“CriticRelu1”) lstmLayer (20“输出模式”，“序列”，“名字”，“CriticLSTM”）;fullyConnectedLayer (20,“名字”，“CriticStateFC2”) reluLayer (“名字”，“CriticRelu2”) fullyConnectedLayer (numDiscreteAct“名字”，“输出”));

使用递归神经网络为您的批评者创建一个表示。

criticOptions = rlRepresentationOptions (“LearnRate”，1e-3，“GradientThreshold”，1）；评论家=rlQValueRepresentation（关键网络、obsInfo、actInfo、，...“观察”，“状态”, criticOptions);