创建一个观察对象(或者使用规范getObservationInfo从环境中提取规范对象)。对于本例,观察空间定义为一个连续的四维空间,这样一个观察是一个列向量包含四个双打。

obsInfo = rlNumericSpec (1 [4]);

创建一个操作规范对象(或者使用getActionInfo从环境中提取规范对象)。在这个例子中,定义了行动空间作为一个连续的二维空间,这样一个动作是一个列向量包含两个双打。

2 actInfo = rlNumericSpec ([1]);

评论家中的近似核反应能量函数,利用神经网络。

网络必须有两个输入,一个用于观察和一个行动。观察输入必须接受一个研制出向量(观测向量定义的obsInfo)。操作输入必须接受一个双元素向量(动作向量定义的actInfo)。网络的输出必须是一个标量,代表预期的长期累积奖励当代理从给定的观察和给定的行动。

你也可以获得的观测数量obsInfo规范(无论观测空间是一个列向量,行向量或矩阵,刺激(obsInfo.Dimension)是总数量的维度,在这种情况下四,同样,刺激(actInfo.Dimension)行动空间的维数,两个)。

创建网络层对象数组。

%观察路径层obsPath = [featureInputLayer (prod (obsInfo.Dimension)) fullyConnectedLayer (5) reluLayer fullyConnectedLayer(5名=“obsout”));%的行动路径层actPath = [featureInputLayer (prod (actInfo.Dimension)) fullyConnectedLayer (5) reluLayer fullyConnectedLayer(5名=“actout”));%常见路径输出层%连接两层沿维度comPath = = [concatenationLayer(1、2、名称“有条件现金转移支付”)fullyConnectedLayer (5) reluLayer fullyConnectedLayer (Name =“输出”));%添加层网络对象网= addLayers (layerGraph (obsPath) actPath);网= addLayers(净,comPath);%连接层网= connectLayers(网络,“obsout”,“有条件现金转移支付/三机一体”);网= connectLayers(网络,“actout”,“有条件现金转移支付/ in2”);%的阴谋网络情节(净)

%网络转换成一个dlnetwork对象网= dlnetwork(净);%总结属性总结(净)

初始化:可学的真正的数字:161输入:1“输入”4 2“input_1”功能特性

创建的评论家rlQValueFunction使用网络,以及观察和行动规范对象。当使用这种语法,网络输入层自动与组件相关联的观察和行动信号根据尺寸规格obsInfo和actInfo。

评论家= rlQValueFunction(净、obsInfo actInfo)

评论家= rlQValueFunction属性:ObservationInfo: [1 x1 rl.util。rlNumericSpec] ActionInfo: [1 x1 rl.util。rlNumericSpec] UseDevice:“cpu”

检查你的评论家,使用getValue函数返回一个随机的值观察和行动,鉴于目前网络权重。

v = getValue(评论家,…{兰德(obsInfo.Dimension)},…{兰德(actInfo.Dimension)})

v =单-1.1006

您现在可以使用评论家(以及一个演员)创建一个代理依靠核反应能量函数(如批评者rlQAgent,rlDQNAgent,rlSARSAAgent,或rlDDPGAgent)。

创建一个观察对象(或者使用规范getObservationInfo从环境中提取规范对象)。对于本例,观察空间定义为一个连续的四维空间,这样一个观察是一个列向量包含四个双打。

obsInfo = rlNumericSpec (1 [4]);

创建一个操作规范对象(或者使用getActionInfo从环境中提取规范对象)。在这个例子中,定义了行动空间作为一个连续的二维空间,这样一个动作是一个列向量包含两个双打。

2 actInfo = rlNumericSpec ([1]);

评论家中的近似核反应能量函数,利用神经网络。

网络必须有两个输入,一个用于观察和一个行动。观察输入(这里称为netObsInput)必须接受一个研制出向量(观测向量定义的obsInfo)。输入(这里称为行动netActInput双元素向量(行动)必须接受一个向量定义的actInfo)。网络的输出必须是一个标量,代表预期的长期累积奖励当代理从给定的观察和给定的行动。

你也可以获得的观测数量obsInfo规范对象(无论观测空间是一个列向量,行向量或矩阵,刺激(obsInfo.Dimension)是它的维数,在这种情况下四,同样,刺激(actInfo.Dimension)行动空间的维数,两个)。

建立神经网络路径,使用向量层对象。名网络输入层的观察和行动netObsInput和netActInput,分别。

%观察路径层obsPath = [featureInputLayer (…刺激(obsInfo.Dimension),…Name =“netObsInput”)fullyConnectedLayer (5) reluLayer fullyConnectedLayer(5名=“obsout”));%的行动路径层actPath = [featureInputLayer (…刺激(actInfo.Dimension),…Name =“netActInput”)fullyConnectedLayer (5) reluLayer fullyConnectedLayer(5名=“actout”));%常见路径输出层%连接两层沿维度comPath = = [concatenationLayer(1、2、名称“有条件现金转移支付”)fullyConnectedLayer (5) reluLayer fullyConnectedLayer (Name =“输出”));%添加层网络对象网= addLayers (layerGraph (obsPath) actPath);网= addLayers(净,comPath);%连接层网= connectLayers(网络,“obsout”,“有条件现金转移支付/三机一体”);网= connectLayers(网络,“actout”,“有条件现金转移支付/ in2”);%的阴谋网络情节(净)

%转换为dlnetwork对象网= dlnetwork(净);%总结属性总结(净);

初始化:可学的真正的数字:161输入:1“netObsInput”4特性2“netActInput”功能

创建的评论家rlQValueFunction使用网络,观察和操作规范对象,网络输入层的名称与环境的观察和行动有关。

评论家= rlQValueFunction(网络,…obsInfo actInfo,…ObservationInputNames =“netObsInput”,…ActionInputNames =“netActInput”)

评论家= rlQValueFunction属性:ObservationInfo: [1 x1 rl.util。rlNumericSpec] ActionInfo: [1 x1 rl.util。rlNumericSpec] UseDevice:“cpu”

检查你的评论家,使用getValue函数返回一个随机的值观察和行动,鉴于目前网络权重。

v = getValue(评论家,…{兰德(obsInfo.Dimension)},…{兰德(actInfo.Dimension)})

v =单-1.1006

您现在可以使用评论家(以及一个演员)创建一个代理依靠核反应能量函数(如批评者rlQAgent,rlDQNAgent,rlSARSAAgent,或rlDDPGAgent)。

创建一个有限集观测规范对象(或者使用getObservationInfo从环境中提取规范对象与一个离散的观测空间)。对于本例观察空间定义为有限集的四个可能的值。

obsInfo = rlFiniteSetSpec ([7 5 3 1]);

创建一个有限集行动规范对象(或者使用getActionInfo从环境中提取规范对象离散行动空间)。对于这个示例定义行为空间的有限集2可能值。

actInfo = rlFiniteSetSpec (8 [4]);

创建一个表在评论家近似函数的值。rlTable创建一个表值对象的观察和操作规范对象。

qTable = rlTable (obsInfo actInfo);

表存储一个值(代表预期的长期累积奖励)为每一个可能的observation-action一对。每一行对应一个观察和每一列对应一个动作。您可以访问表使用表财产的虚表对象。每个元素的初始值是零。

qTable.Table

ans =4×20 0 0 0 0 0 0 0

您可以初始化表的任何值,在本例中包含的整数数组1通过8。

qTable.Table =重塑(1:8 4 2)

qTable = rlTable属性:表:[4 x2双)

使用表格创建评论家以及观察和行动规范的对象。

评论家= rlQValueFunction (qTable obsInfo actInfo)

评论家= rlQValueFunction属性:ObservationInfo: [1 x1 rl.util。rlFiniteSetSpec] ActionInfo: [1 x1 rl.util。rlFiniteSetSpec] UseDevice:“cpu”

检查你的评论家,使用getValue函数返回一个给定的观察和行动的价值,使用当前表条目。

v = getValue(评论家,{5},{8})

v = 6

您现在可以使用评论家(以及一个演员)来创建一个离散的行动空间代理依靠核反应能量函数(如批评者rlQAgent,rlDQNAgent,或rlSARSAAgent)。

创建一个观察对象(或者使用规范getObservationInfo从环境中提取规范对象)。对于本例,观察空间定义为一个连续的三维空间,这样一个观察是一个列向量包含三个双打。

obsInfo = rlNumericSpec (1 [3]);

创建一个操作规范对象(或者使用getActionInfo从环境中提取规范对象)。在这个例子中,定义了行动空间作为一个连续的二维空间,这样一个动作是一个列向量包含两个双打。

2 actInfo = rlNumericSpec ([1]);

创建一个定制的基函数近似函数值在评论家。自定义基函数必须返回一个列向量。每个向量元素必须分别观察和操作定义的函数obsInfo和actInfo。

myBasisFcn = @ (myobs myact) (…myobs (2) ^ 2;…myobs (1) + exp (myact (1));…abs (myact (2));…myobs (3))

myBasisFcn =function_handle与价值:@ (myobs myact) [myobs (2) ^ 2; myobs (1) + exp (myact (1)); abs (myact (2)); myobs (3))

评论家的输出是标量W * myBasisFcn (myobs myact),在那里W是一个必须有相同的重量列向量的大小自定义基函数输出。这个输出预期的长期累积奖励当代理从给定的观察和采取最好的措施。W的元素是可学的参数。

定义一个初始参数向量。

W0 = (1, 4, 4; 2);

创建一个评论家。第一个参数是一个双元素的细胞包含处理自定义函数和初始权向量。第二个和第三个参数,分别观察和操作规范对象。

评论家= rlQValueFunction ({myBasisFcn, W0},…obsInfo actInfo)

评论家= rlQValueFunction属性:ObservationInfo: [1 x1 rl.util。rlNumericSpec] ActionInfo: [1 x1 rl.util。rlNumericSpec] UseDevice:“cpu”

检查你的评论家,使用getValue返回给定observation-action对的价值,使用当前的参数向量。

v = getValue(评论家,{(1 2 3)},{[4 - 5]})

v = 252.3926

您现在可以使用评论家(以及一个演员)创建一个代理依靠核反应能量函数(如批评者rlQAgent,rlDQNAgent,rlSARSAAgent,或rlDDPGAgent)。

创建一个观察对象(或者使用规范getObservationInfo从环境中提取规范对象)。对于本例,观察空间定义为组成的两个渠道,一是一个向量在一个连续的二维空间,第二个是一个矢量三维空间,可以假设只有四个值。

obsInfo = [rlNumericSpec ([1 - 2]) rlFiniteSetSpec ({(1 0 1),…(1 2)…(0.1 0.2 0.3),…(0 0 0)}));

创建一个操作规范对象(或者使用getActionInfo从环境中提取规范对象)。在这个例子中,定义了操作空间离散集组成的三种可能的行动,1,23。

actInfo = rlFiniteSetSpec ({1,2,3});

创建一个定制的基函数近似函数值在评论家。自定义基函数必须返回一个列向量。每个向量元素必须分别观察和操作定义的函数obsInfo和actInfo。注意所选择的行动,定义,只有一个元素,而每个观测通道有两个元素。

myBasisFcn = @ (obsA obsB, act) [obsA obsB (1) + (2) + obsB(3) +(1)行动;obsA (2) + obsB obsB(1) +(2)行动(1);obsB obsA (1) + (2) + obsB(3) +行动(1)^ 2;obsA (1) + obsB obsB(1) +(2)行动(1)^ 2);

评论家的输出是标量W * myBasisFcn (obsA obsB, act),在那里W是一个必须有相同的重量列向量的大小自定义基函数输出。这个输出预期的长期累积奖励当代理从给定的观察和操作指定为最后的输入。W的元素是可学的参数。

定义一个初始参数向量。

W0 = 1 (4,1);

创建一个评论家。第一个参数是一个双元素的细胞包含处理自定义函数和初始权向量。第二个和第三个参数,分别观察和操作规范对象。

评论家= rlQValueFunction ({myBasisFcn, W0}, obsInfo actInfo)

评论家= rlQValueFunction属性:ObservationInfo: [2 x1 rl.util。RLDataSpec] ActionInfo: [1 x1 rl.util。rlFiniteSetSpec] UseDevice:“cpu”

检查你的评论家,使用getValue函数返回给定observation-action对的价值,使用当前的参数向量。

v = getValue(评论家,{[-0.5 - 0.6],[1 0 1]},{3})

v = -0.9000

注意,评论家并不强制约束的离散集合的元素。

v = getValue(评论家,{(-0.5 - 0.6),(-0.05 -10)},{33})

v = -21.0000

现在可以使用评论家(以及一个演员)创建一个代理和一个离散的行动空间依赖核反应能量函数(如批评者rlQAgent,rlDQNAgent,或rlSARSAAgent)。