创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。对于本例，将观测空间定义为连续的四维空间，这样单个观测值就是包含四个double的列向量。

obsInfo = rlNumericSpec([4 1]);

创建一个操作规范对象(或者使用getActionInfo从环境中提取规范对象)。对于本例，将操作空间定义为连续的二维空间，这样单个操作就是包含两个double的列向量。

actInfo = rlNumericSpec([2 1]);

为了在评论家中近似q值函数，使用深度神经网络。

网络必须有两个输入，一个用于观察，一个用于操作。观测输入必须接受一个四元向量(由obsInfo)．动作输入必须接受一个两元素向量(动作向量由actInfo)．网络的输出必须是一个标量，代表代理从给定的观察开始并采取给定的行动时预期的累积长期奖励。

你也可以从obsInfo规范(无论观察空间是列向量、行向量还是矩阵，刺激(obsInfo.Dimension)是它的总维数，在这个例子中是4，类似地，刺激(actInfo.Dimension)是动作空间的维数，在情况2中)。

创建网络作为层对象的数组。

%观测路径层数obsPath = [featureInputLayer(prod(obsInfo.Dimension)) fullyConnectedLayer(5) reluLayer fullyConnectedLayer(5,Name=“obsout”));%动作路径图层actPath = [featureInputLayer(prod(actInfo.Dimension)) fullyConnectedLayer(5) reluLayer fullyConnectedLayer(5,Name=“actout”));输出层的常用路径沿着一维连接两层comPath = [concatenationLayer(1,2,Name= .“有条件现金转移支付”fullyConnectedLayer(1, Name= .“输出”));为网络对象添加层net = addLayers(layerGraph(obsPath)，actPath);net = addLayers(net,comPath);%连接层net = connectLayers(net，“obsout”，“有条件现金转移支付/三机一体”）;net = connectLayers(net，“actout”，“有条件现金转移支付/ in2”）;%绘图网络情节(净)

将网络转换为dlnetwork对象Net = dlnetwork(Net);总结属性总结(净)

Initialized: true可学习数量:161 input: 1' input' 4 features 2 'input_1' 2 features

用rlQValueFunction，使用网络以及观察和操作规范对象。在使用此语法时，网络输入层根据中的维度规范自动与观察信号和操作信号的组件相关联obsInfo而且actInfo．

rlQValueFunction(net,obsInfo,actInfo)

评论= rlQValueFunction与属性:ObservationInfo: [1x1 rl.util.]rlNumericSpec] ActionInfo: [1x1 rl.util.]rlNumericSpec] UseDevice: "cpu"

要查看你的评论，使用getValue函数返回给定当前网络权重的随机观察和操作的值。

v = getValue(批评家，.．.{兰德(obsInfo.Dimension)},.．.{兰德(actInfo.Dimension)})

v =单-1.1006

您现在可以使用评论家(以及带有参与者的评论家)来创建依赖q值函数评论家的代理(例如rlQAgent，rlDQNAgent，rlSARSAAgent,或rlDDPGAgent)．

创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。对于本例，将观测空间定义为连续的四维空间，这样单个观测值就是包含四个double的列向量。

obsInfo = rlNumericSpec([4 1]);

创建一个操作规范对象(或者使用getActionInfo从环境中提取规范对象)。对于本例，将操作空间定义为连续的二维空间，这样单个操作就是包含两个double的列向量。

actInfo = rlNumericSpec([2 1]);

为了在评论家中近似q值函数，使用深度神经网络。

网络必须有两个输入，一个用于观察，一个用于操作。观测输入(这里称为netObsInput)必须接受一个四元向量(由obsInfo)．动作输入(这里称为netActInput)必须接受一个两元素向量(由actInfo)．网络的输出必须是一个标量，代表代理从给定的观察开始并采取给定的行动时预期的累积长期奖励。

你也可以从obsInfo规范对象(无论观察空间是列向量、行向量还是矩阵，刺激(obsInfo.Dimension)是它的维数，在这个例子中是4，类似地，刺激(actInfo.Dimension)是动作空间的维数，在情况2中)。

为了创建神经网络路径，使用层对象的向量。为观察和操作命名网络输入层netObsInput而且netActInput,分别。

%观测路径层数obsPath = [featureInputLayer(.．.刺激(obsInfo.Dimension),.．.Name =“netObsInput”fulllyconnectedlayer (5,Name=“obsout”));%动作路径图层actPath = [featureInputLayer(.．.刺激(actInfo.Dimension),.．.Name =“netActInput”fulllyconnectedlayer (5,Name=“actout”));输出层的常用路径沿着一维连接两层comPath = [concatenationLayer(1,2,Name= .“有条件现金转移支付”fullyConnectedLayer(1, Name= .“输出”));为网络对象添加层net = addLayers(layerGraph(obsPath)，actPath);net = addLayers(net,comPath);%连接层net = connectLayers(net，“obsout”，“有条件现金转移支付/三机一体”）;net = connectLayers(net，“actout”，“有条件现金转移支付/ in2”）;%绘图网络情节(净)

%转换为dlnetwork对象Net = dlnetwork(Net);总结属性总结(净);

Initialized: true learning Number of learnables: 161 Inputs: 1 'netObsInput' 4 features 2 'netActInput' 2 features

用rlQValueFunction，使用网络、观察和操作规范对象，以及与环境中的观察和操作相关联的网络输入层的名称。

rlQValueFunction(net，.．.obsInfo actInfo,.．.ObservationInputNames =“netObsInput”，.．.ActionInputNames =“netActInput”)

评论= rlQValueFunction与属性:ObservationInfo: [1x1 rl.util.]rlNumericSpec] ActionInfo: [1x1 rl.util.]rlNumericSpec] UseDevice: "cpu"

要查看你的评论，使用getValue函数返回给定当前网络权重的随机观察和操作的值。

v = getValue(批评家，.．.{兰德(obsInfo.Dimension)},.．.{兰德(actInfo.Dimension)})

v =单-1.1006

您现在可以使用评论家(以及带有参与者的评论家)来创建依赖q值函数评论家的代理(例如rlQAgent，rlDQNAgent，rlSARSAAgent,或rlDDPGAgent)．

创建一个有限集的观察规范对象(或者使用getObservationInfo从具有离散观察空间的环境中提取规范对象)。对于本例，将观测空间定义为具有四个可能值的有限集。

obsInfo = rlFiniteSetSpec([7 5 3 1]);

创建一个有限集动作规范对象(或者使用getActionInfo从具有离散操作空间的环境中提取规范对象)。对于本例，将动作空间定义为具有2个可能值的有限集。

actInfo = rlFiniteSetSpec([4 8]);

创建一个表来近似评价值函数。rlTable从观察和操作规范对象创建值表对象。

qTable = rlTable(obsInfo,actInfo);

该表为每个可能的观察-行动对存储一个值(表示预期的累积长期奖励)。每行对应一个观察结果，每列对应一个操作。属性可以访问该表表格的属性虚表对象。每个元素的初始值为零。

qTable。表格

ans =4×20 0 0 0 0 0 0

可以将表初始化为任何值，在本例中是包含from的整数的数组1通过8．

qTable.Table =重塑(1:8 4 2)

qTable = rlTable与属性:Table: [4x2 double]

使用表以及观察和操作规范对象创建评论家。

rlQValueFunction(qTable,obsInfo,actInfo)

评论= rlQValueFunction与属性:ObservationInfo: [1x1 rl.util.]rlFiniteSetSpec] ActionInfo: [1x1 rl.util.]rlFiniteSetSpec] UseDevice: "cpu"

要查看你的评论，使用getValue函数使用当前表项返回给定观察和操作的值。

v = getValue(批评家，{5}，{8})

V = 6

您现在可以使用评论(以及带有参与者的评论)来创建依赖q值函数评论的离散动作空间代理(例如rlQAgent，rlDQNAgent,或rlSARSAAgent)．

创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。对于本例，将观测空间定义为连续的三维空间，这样单个观测值就是包含三个double的列向量。

obsInfo = rlNumericSpec([3 1]);

创建一个操作规范对象(或者使用getActionInfo从环境中提取规范对象)。对于本例，将操作空间定义为连续的二维空间，这样单个操作就是包含两个double的列向量。

actInfo = rlNumericSpec([2 1]);

创建一个自定义的基函数来近似评价中的值函数。自定义基函数必须返回一个列向量。每个向量元素必须是分别定义的观察和操作的函数obsInfo而且actInfo．

myBasisFcn = @(myobs,myact) [.．.myobs (2) ^ 2;.．.myobs (1) + exp (myact (1));.．.abs (myact (2));.．.myobs (3))

myBasisFcn =Function_handle with value:@ (myobs myact) [myobs (2) ^ 2; myobs (1) + exp (myact (1)); abs (myact (2)); myobs (3))

评论家的输出是标量W * myBasisFcn (myobs myact),在那里W是一个权值列向量，它必须与自定义基函数输出具有相同的大小。当智能体从给定的观察开始并采取可能的最佳行动时，这个输出就是预期的累积长期奖励。W的元素是可学习参数。

定义一个初始参数向量。

W0 = [1;4;4;2];

创造批评家。第一个参数是一个包含自定义函数句柄和初始权重向量的双元素单元格。第二个和第三个参数分别是观察和操作规范对象。

rlQValueFunction({myBasisFcn,W0}，.．.obsInfo actInfo)

评论= rlQValueFunction与属性:ObservationInfo: [1x1 rl.util.]rlNumericSpec] ActionInfo: [1x1 rl.util.]rlNumericSpec] UseDevice: "cpu"

检查你的评论，使用getValue要使用当前参数向量返回给定的观察-操作对的值。

v = getValue(批评家，{[1 2 3]'}，{[4 5]'})

V = 252.3926

您现在可以使用评论家(以及带有参与者的评论家)来创建依赖q值函数评论家的代理(例如rlQAgent，rlDQNAgent，rlSARSAAgent,或rlDDPGAgent)．

创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。对于本例，定义观测空间由两个通道组成，第一个通道是连续二维空间上的向量，第二个通道是三维空间上的向量，只能假设四个值。

obsInfo = [rlNumericSpec([1 2]) rlFiniteSetSpec({[1 0 -1]，.．.[-1 2 1]，.．.[0.1 0.2 0.3]，.．.[0 0 0]})];

创建一个操作规范对象(或者使用getActionInfo从环境中提取规范对象)。在这个例子中，将动作空间定义为由三种可能的动作组成的离散集，1，2， 3。

actInfo = rlFiniteSetSpec({1,2,3});

创建一个自定义的基函数来近似评价中的值函数。自定义基函数必须返回一个列向量。每个矢量元素必须是分别定义的观测值和动作的函数obsInfo而且actInfo．注意，根据定义，所选操作只有一个元素，而每个观察通道有两个元素。

myBasisFcn = @ (obsA obsB, act) [obsA obsB (1) + (2) + obsB(3) +(1)行动;obsA (2) + obsB obsB(1) +(2)行动(1);obsA obsB (1) + (2) + obsB(3) +行动(1)^ 2;obsA (1) + obsB obsB(1) +(2)行动(1)^ 2);

评论家的输出是标量W * myBasisFcn (obsA obsB, act),在那里W是权重列向量，必须与自定义基函数输出具有相同的大小。当智能体从给定的观察开始并采取指定为最后输入的操作时，此输出是预期的累积长期奖励。W的元素是可学习参数。

定义一个初始参数向量。

W0 = ones(4,1);

创造批评家。第一个参数是一个包含自定义函数句柄和初始权重向量的双元素单元格。第二个和第三个参数分别是观察和操作规范对象。

rlQValueFunction({myBasisFcn,W0}，obsInfo,actInfo)

评论= rlQValueFunction与属性:ObservationInfo: [2x1 rl.util.]RLDataSpec] ActionInfo: [1x1 rl.util.]rlFiniteSetSpec] UseDevice: "cpu"

要查看你的评论，使用getValue函数使用当前参数向量返回给定的观察-操作对的值。

v = getValue(批评家，{[-0.5 0.6]，[1 0 -1]}，{3})

V = -0.9000

注意，评论家不会对离散集元素强制执行集合约束。

v = getValue(评论家,{(-0.5 - 0.6),(-0.05 -10)},{33})

V = -21.0000

您现在可以使用评论家(以及带有参与者的评论家)来创建具有离散动作空间的代理，该空间依赖于q值函数评论家(例如rlQAgent，rlDQNAgent,或rlSARSAAgent)．