创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。对于本例，将观测空间定义为连续的四维空间，这样一个观测就是包含四个双精度的列向量。

obsInfo = rlNumericSpec([4 1]);

创建一个动作规范对象(或者使用getActionInfo从环境中提取规范对象)。对于这个例子，定义操作空间作为连续的二维空间中，使得单个动作是含有两个双打的列向量。

actInfo = rlNumericSpec（[2 1]）;

建立深层神经网络逼近Q值函数。网络必须有两个输入，一个用于观察和一个用于操作。观察输入（这里称为myobs)必须接受一个四元向量(由obsInfo)．操作输入(这里称为myact)必须接受一个双元素向量(由actInfo)．网络的输出必须是一个标量，表示agent从给定的观测开始并采取给定的行动时的预期累积长期回报。

观测路径层数百分比obsPath = [featureInputLayer (4“归一化”，“没有”，“名字”，“myobs”) fullyConnectedLayer (1,“名字”，'obsout'）];%动作路径层actPath = [featureInputLayer（2，“归一化”，“没有”，“名字”，“myact”) fullyConnectedLayer (1,“名字”，“actout”）];%输出层的公共路径comPath = [additionLayer（2，“名字”，“添加”) fullyConnectedLayer (1,“名字”，“输出”）];给网络对象添加层网= addLayers (layerGraph (obsPath) actPath);网= addLayers(净,comPath);%连接层网= connectLayers(网络,'obsout'，'添加/ IN1'）;网= connectLayers(网络,“actout”，“添加/ in2”）;%的阴谋网络情节(净)

创造批评家rlQValueRepresentation，使用网络，观察和动作规范对象，以及网络输入层的名称。

评论家= rlQValueRepresentation(净、obsInfo actInfo,．..“观察”{“myobs”}，“行动”{“myact”}）

批评家= rlQValueRepresentation与属性:ActionInfo: [1x1 rl.util.]。rlNumericSpec . ObservationInfo: [1x1 rl.util.]rlNumericSpec] Options: [1x1 rl.option.rlRepresentationOptions]

要检查你的批评家，使用getValue函数返回使用当前网络权重的随机观察和动作的值。

V =的getValue（评论家，{兰特（4,1）}，{兰特（2,1）}）

v =单0.1102

您现在可以使用的评论家（用与演员一起）创建代理依靠Q值函数评论家（如rlQAgent，rlDQNAgent，rlSARSAAgent,或rlDDPGAgent代理)。

这个例子展示了如何使用深度神经网络近似器为离散动作空间创建一个多输出q值函数批评家。

这个批评家只将观察结果作为输入，并生成带有尽可能多的操作元素的向量作为输出。当代理从给定的观察开始并采取与输出向量中元素位置相对应的操作时，每个元素表示预期的累积长期奖励。

创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。对于本例，将观测空间定义为连续的四维空间，这样一个观测就是包含四个双精度的列向量。

obsInfo = rlNumericSpec([4 1]);

创建一个有限设定的动作规格对象(或可选使用)getActionInfo从具有离散操作空间的环境中提取规范对象)。对于这个例子，定义操作空间的有限集合包括三个可能的值（命名7，5， 和3.在这种情况下)。

actInfo = rlFiniteSetSpec([7 5 3]);

建立深层神经网络逼近逼近评论家内的Q值的功能。网络（输入这里称为myobs)必须接受四个元素的向量，如obsInfo．输出必须是具有尽可能多的可能的离散操作的元素的单个输出层(在本例中为三个，定义为actInfo)．

网= [featureInputLayer (4“归一化”，“没有”，“名字”，“myobs”) fullyConnectedLayer (3“名字”，“价值”）];

创建使用网络时，观测规范对象，和网络输入层名称的评论家。

评论家= rlQValueRepresentation(净、obsInfo actInfo,“观察”{“myobs”}）

批评家= rlQValueRepresentation与属性:ActionInfo: [1x1 rl.util.]。rlFiniteSetSpec: [1x1 rl.util.]rlNumericSpec] Options: [1x1 rl.option.rlRepresentationOptions]

要检查你的批评家，使用getValue函数返回使用当前网络权重的随机观测值。这三种可能的操作都有一个值。

V =的getValue（评论家，{兰特（4,1）}）

v =3x1单列向量0.7232 0.8177 -0.2212

现在，您可以使用评论家(以及演员)来创建一个依赖于q值函数评论家(例如rlQAgent，rlDQNAgent,或rlSARSAAgent代理)。

创建一个有限集观察规范对象(或者使用getObservationInfo从具有离散观察空间的环境中提取规格对象)。对于这个例子，将观察空间定义为具有4个可能值的有限集。

obsInfo = rlFiniteSetSpec([7 5 3 1]);

创建一个有限设定的动作规格对象(或可选使用)getActionInfo从具有离散操作空间的环境中提取规范对象)。在这个例子中，将动作空间定义为具有2个可能值的有限集。

actInfo = rlFiniteSetSpec([4 8]);

创建一个表来近似批评家中的值函数。rlTable从观察和操作规范对象创建值表对象。

qTable = rlTable (obsInfo actInfo);

该表为每个可能的观察-操作对存储一个值(表示预期的累积长期奖励)。每一行对应一个观察，每一列对应一个操作。可以使用表格财产的虚表对象。每个元素的初始值是零。

qTable。表格

ans =.4×20 0 0 0 0 0 0 0

可以将表初始化为任意值，在本例中是一个包含from的整数的数组1通过8．

qTable.Table =重塑（1：8,4,2）

qTable = rlTable with properties: Table: [4x2 double]

使用该表以及观察和行动规范对象创建批评家。

评论家= rlQValueRepresentation (qTable obsInfo actInfo)

评论家= rlQValueRepresentation与属性：ActionInfo：[1x1的rl.util.rlFiniteSetSpec] ObservationInfo：[1x1的rl.util.rlFiniteSetSpec]选项：[1x1的rl.option.rlRepresentationOptions]

要检查你的批评家，使用getValue函数使用当前表项返回给定观察和操作的值。

v = getValue(评论家,{5},{8})

v = 6

现在，您可以使用评论家(以及一个演员)来创建一个依赖于q值函数评论家(例如rlQAgent，rlDQNAgent,或rlSARSAAgent代理)。

创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。在本例中，将观测空间定义为连续的四维空间，使单个观测是包含3个双精度的列向量。

obsInfo = rlNumericSpec（[3 1]）;

创建一个动作规范对象(或者使用getActionInfo从环境中提取规范对象)。对于本例，将操作空间定义为连续的二维空间，因此单个操作是包含2个double的列向量。

actInfo = rlNumericSpec（[2 1]）;

创建一个自定义的基础函数来近似批评家的价值函数。自定义基函数必须返回一个列向量。每个向量元素必须是分别定义的观察和动作的函数obsInfo和actInfo．

myobs = @(myobs,myact) [myobs(2)^2;myobs (1) + exp (myact (1));abs (myact (2));myobs (3))

myBasisFcn =function_handle与价值:@ (myobs myact) [myobs (2) ^ 2; myobs (1) + exp (myact (1)); abs (myact (2)); myobs (3))

评论家的输出是标量W * myBasisFcn (myobs myact),在那里W是其必须具有定制的基础函数输出的大小相同的权重的列向量。该输出的预期累积的长期回报，当代理从给定的观察开始，采取最好的可能的行动。W的元素是可学习的参数。

定义一个初始参数向量。

W0 = (1, 4, 4; 2);

创建一个评论家。第一个参数是一个包含自定义函数句柄和初始权重向量的双元素单元格。第二个和第三个参数分别是观察和操作规范对象。

评论家= rlQValueRepresentation（{myBasisFcn，W0}，obsInfo，actInfo）

批评家= rlQValueRepresentation with properties:ObservationInfo: [1×1 rl.util.]rlNumericSpec] Options: [1×1 rl.option.rlRepresentationOptions]

要检查你的批评家，使用getValue函数使用当前参数向量返回给定观察-操作对的值。

v = getValue(批评家，{[1 2 3]'}，{[4 5]'})

V = 1×1美元252.3926

您现在可以使用的评论家（用与演员一起）创建代理依靠Q值函数评论家（如rlQAgent，rlDQNAgent，rlSARSAAgent,或rlDDPGAgent代理)。

这个例子展示了如何使用自定义基函数近似器为离散动作空间创建一个多输出q值函数批评家。

这个批评家只将观察结果作为输入，并生成带有尽可能多的操作元素的向量作为输出。当代理从给定的观察开始并采取与输出向量中元素位置相对应的操作时，每个元素表示预期的累积长期奖励。

创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。在本例中，将观测空间定义为连续的四维空间，因此单个观测是包含2个双精度的列向量。

obsInfo = rlNumericSpec([2 1]);

创建一个有限设定的动作规格对象(或可选使用)getActionInfo从具有离散操作空间的环境中提取规范对象)。对于本例，将操作空间定义为一个有限集，包含3个可能的值(命名为7，5， 和3.在这种情况下)。

actInfo = rlFiniteSetSpec([7 5 3]);

创建一个自定义的基础函数来近似批评家的价值函数。自定义基函数必须返回一个列向量。每个向量元素必须是观测值的函数obsInfo．

myobs = @(myobs) [myobs(2)^2;myobs (1);exp (myobs (2));abs (myobs (1)))

myBasisFcn =function_handle与价值:@ (myobs) [myobs (2) ^ 2; myobs (1); exp (myobs (2)); abs (myobs (1)))

批评家的输出是向量c= W ' * myBasisFcn (myobs),在那里W是一个权值矩阵，它必须具有与基函数输出长度相同的行数，与可能的操作数量相同的列数。

c中的每一个元素都是agent从给定的观察开始并采取与所考虑元素位置相对应的动作时所期望的累积长期报酬。W的元素是可学习的参数。

定义一个初始参数矩阵。

W0 =兰特（4,3）;

创建一个评论家。第一个参数是一个包含自定义函数句柄和初始参数矩阵的双元素单元格。第二个和第三个参数分别是观察和操作规范对象。

评论家= rlQValueRepresentation（{myBasisFcn，W0}，obsInfo，actInfo）

批评家= rlQValueRepresentation与属性:ActionInfo: [1x1 rl.util.]。rlFiniteSetSpec: [1x1 rl.util.]rlNumericSpec] Options: [1x1 rl.option.rlRepresentationOptions]

要检查你的批评家，使用getValue函数使用当前参数矩阵返回随机观测值。注意，这三种可能的操作都有一个值。

v = getValue(评论家,{兰德(2,1)})

V = 3x1 dlarray 2.1395 1.2183 2.3342

现在，您可以使用评论家(以及演员)来创建一个依赖于q值函数评论家(例如rlQAgent，rlDQNAgent,或rlSARSAAgent代理)。

创造一个环境，并获得观察和行动信息。

env = rlPredefinedEnv (“CartPole-Discrete”）;obsInfo = getObservationInfo（ENV）;actInfo = getActionInfo（ENV）;numObs = obsInfo.Dimension（1）;numDiscreteAct = numel（actInfo.Elements）;

为你的批评者创建一个循环的深层神经网络。要创建递归神经网络，请使用sequenceInputLayer作为输入层，并包含至少一个lstmLayer．

创建用于多输出q值函数表示的递归神经网络。

criticNetwork = [sequenceInputLayer(nummobs，“归一化”，“没有”，“名字”，'状态') fullyConnectedLayer (50,“名字”，'CriticStateFC1') reluLayer (“名字”，“CriticRelu1”）lstmLayer（20，“OutputMode”，“序列”，“名字”，'CriticLSTM'）;fullyConnectedLayer（20，“名字”，'CriticStateFC2') reluLayer (“名字”，“CriticRelu2”）fullyConnectedLayer（numDiscreteAct，“名字”，“输出”）];

用递归神经网络为你的批评者创建一个表示法。

criticOptions = rlRepresentationOptions（“LearnRate”1 e - 3,'GradientThreshold'1);评论家= rlQValueRepresentation (criticNetwork obsInfo actInfo,．..“观察”，'状态'，criticOptions）;