rlValueFunction

创建一个观察对象(或者使用规范getObservationInfo从环境中提取规范对象)。对于本例,观察空间定义为一个连续的四维空间,所以只有一个观测通道,携带一个列向量包含四个双打。

obsInfo = rlNumericSpec (1 [4]);

值函数批评以当前观测作为输入并返回一个标量输出(估计折扣累积长期奖励政策后的状态对应于当前观察)。

在评论家,模型参数化的值函数使用一个输入神经网络层(返回观察的内容频道,按照奥林匹克广播服务公司信息)和一个输出层(返回标量值)。请注意,刺激(obsInfo.Dimension)返回总数的维度观察空间无论观察空间是一个列向量,行向量或矩阵。

层的网络定义为一个数组对象。

网= [featureInputLayer (prod (obsInfo.Dimension));fullyConnectedLayer (10);reluLayer;fullyConnectedLayer (1)];

网络转换为一个dlnetwork对象。

dlnet = dlnetwork(净);

你可以画出网络使用情节并显示其主要特征,如权重的数量,使用总结。

情节(dlnet)

总结(dlnet)

初始化:可学的真正的数字:61输入:1“输入”4特性

创建评论家使用网络和观测规范对象。

评论家= rlValueFunction (dlnet obsInfo)

评论家= rlValueFunction属性:ObservationInfo: [1 x1 rl.util。rlNumericSpec] UseDevice:“cpu”

检查你的评论家,使用getValue返回一个随机的值观察,使用当前的网络权值。

v = getValue(评论家,{兰德(obsInfo.Dimension)})

v =单0.5196

现在可以使用评论家(以及演员)创建一个代理对环境所描述的规范给定的观察对象。代理的例子可以处理连续观测空间,和使用价值函数评论家rlACAgent,rlPGAgent,rlPPOAgent,rlTRPOAgent。

有关创建接近者对象的更多信息,如演员和评论家,明白了创建政策和价值功能。

创建一个演员和一个评论家,您可以用它来定义一个强化学习代理如Actor-Critic (AC)代理。对于这个示例,创建演员和评论家的代理,可以训练对cart-pole环境中描述培训交流代理Cart-Pole平衡系统。

首先,创建环境。然后,从环境中提取观测和操作规范。你需要这些规范定义代理和评论家。

env = rlPredefinedEnv (“CartPole-Discrete”);obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);

值函数批评以当前观测作为输入并返回一个标量输出(估计折扣累积长期奖励政策后的状态对应于当前观察)。

在评论家,模型参数化的值函数使用一个输入神经网络层(接受观察的内容频道,是指定的obsInfo)和一个输出层(返回标量值)。

层对象的网络定义为一个数组,并获得观测空间的维数从环境规范的对象。名网络输入层criticNetInput。

CriticNet = [featureInputLayer (prod (obsInfo.Dimension));fullyConnectedLayer (10);reluLayer;fullyConnectedLayer (10);reluLayer;fullyConnectedLayer (1)];

网络转换为一个dlnetwork对象。

CriticNet = dlnetwork (CriticNet);

显示网络的主要特征,使用总结。

总结(CriticNet)

初始化:可学的真正的数字:171输入:1“输入”4特性

创建一个评论家使用CriticNet和环境规范对象。设置观测的名字观察的名称criticNetwork输入层。

评论家= rlValueFunction (CriticNet obsInfo)

评论家= rlValueFunction属性:ObservationInfo: [1 x1 rl.util。rlNumericSpec] UseDevice:“cpu”

检查你的评论家使用getValue返回一个随机的值观察,鉴于目前网络权重。

v = getValue(评论家,{兰德(obsInfo.Dimension)})

v =单-0.3229

AC代理使用参数化随机策略,对离散行动空间由一个离散实现分类的演员。

这演员需要一个观察作为输入并返回输出随机行动采样(在有限数量的可能的行动)从分类概率分布。

模型中的参数化政策的演员,使用一个输入神经网络层(接收环境观察频道的内容,规定obsInfo)和一个输出层。输出层必须返回一个向量的概率为每个可能的行动,是指定的actInfo。

您可以获得的行为的数量actInfo规范。名网络输出actorNetOutput。

actorNet = [featureInputLayer (prod (obsInfo.Dimension)) fullyConnectedLayer (10);reluLayer;fullyConnectedLayer (10);reluLayer;fullyConnectedLayer(元素个数(actInfo.Elements)];

网络转换为一个dlnetwork对象。

actorNet = dlnetwork (actorNet);

显示网络的主要特征,使用总结。

总结(actorNet)

初始化:可学的真正的数字:182输入:1“输入”4特性

创建一个演员使用rlDiscreteCategoricalActor一起观察和操作规范。

演员= rlDiscreteCategoricalActor (actorNet obsInfo actInfo)

演员= rlDiscreteCategoricalActor属性:地理分布:[1 x1 rl.distribution。rlDiscreteGaussianDistribution] ObservationInfo: [1 x1 rl.util。rlNumericSpec] ActionInfo: [1 x1 rl.util。rlFiniteSetSpec] UseDevice:“cpu”

检查你的演员,使用getAction返回一个随机的行动从一个给定的观察,使用当前的网络权值。

一个= getAction(演员,{兰德(obsInfo.Dimension)})

一个=1 x1单元阵列{[-10]}

返回的可能行为的概率分布函数的随机观察和考虑到当前网络权重,使用评估。

复审委员会=评估(演员,{兰德(obsInfo.Dimension)})

复审委员会=1 x1单元阵列{2 x1单}

复审委员会{1}

ans =2 x1单一列向量0.5917 - 0.4083

指定的优化选项的演员和评论家rlOptimizerOptions。这些选项控制网络的学习参数。对于网络,将梯度阈值设置为1。对于这个示例,将学习速率设置为0.01。为参与者网络,设置学习速率为0.05。

criticOpts = rlOptimizerOptions (…LearnRate = 1飞行,…GradientThreshold = 1);actorOpts = rlOptimizerOptions (…LearnRate = 5飞行,…GradientThreshold = 1);

指定代理选项,包括先前创建的对象为演员和评论家。

agentOpts = rlACAgentOptions (…NumStepsToLookAhead = 32,…DiscountFactor = 0.99,…CriticOptimizerOptions = criticOpts,…ActorOptimizerOptions = actorOpts);

创建一个AC代理使用演员,评论家和代理的选择对象。

代理= rlACAgent(演员、评论家、agentOpts)

代理= rlACAgent属性:AgentOptions: [1 x1 rl.option。rlACAgentOptions] UseExplorationPolicy: 1 ObservationInfo: [1x1 rl.util.rlNumericSpec] ActionInfo: [1x1 rl.util.rlFiniteSetSpec] SampleTime: 1

检查您的代理,使用getAction返回一个随机的行动从一个给定的观察,使用当前的演员和评论家网络权重。

行动= getAction(代理,{兰德(obsInfo.Dimension)})

行动=1 x1单元阵列{[-10]}

有关创建接近者对象的更多信息,如演员和评论家,明白了创建政策和价值功能。

额外的例子显示如何创建演员和评论家对不同代理类型,明白了火车DDPG剂来控制双积分器系统和火车DQN代理Cart-Pole平衡系统。

创建一个有限集观测规范对象(或者使用getObservationInfo从环境中提取规范对象与一个离散的观测空间)。对于本例,观察空间定义为一个有限集合组成的四个可能的值1、3、5和7。

obsInfo = rlFiniteSetSpec ([1 3 5 7]);

值函数批评以当前观测作为输入并返回一个标量值作为输出(估计折扣累积长期奖励政策后的状态对应于当前观察)。

因为观察和行动空间离散和低维,使用一个表模型中的值函数评论家。rlTable创建一个表值对象的观察和操作规范对象。

vTable = rlTable (obsInfo);

每个条目的表是一个列向量存储的值对应的观察,根据给定的政策。您可以访问表使用表财产的虚表对象。每个元素的初始值是零。

vTable.Table

ans =4×10 0 0 0

你也可以初始化表的任何值,在这种情况下,包含所有的整数数组1来4。

vTable.Table= reshape(1:4,4,1)

vTable = rlTable属性:表:[4 x1双)

使用表格创建评论家和观测规范对象。

评论家= rlValueFunction (vTable obsInfo)

评论家= rlValueFunction属性:ObservationInfo: [1 x1 rl.util。rlFiniteSetSpec] UseDevice:“cpu”

检查你的评论家,使用getValue函数返回值给定的观察,使用当前表条目。

{7}v = getValue(批评)

v = 4

现在可以使用评论家(以及演员)创建一个代理对环境所描述的规范给定的观察对象。代理可以处理离散的观测空间的例子,和使用价值函数评论家rlACAgent,rlPGAgent,rlPPOAgent。rlTRPOAgent不支持使用表格的演金宝app员或批评。

有关创建接近者对象的更多信息,如演员和评论家,明白了创建政策和价值功能。

创建一个观察对象(或者使用规范getObservationInfo从环境中提取规范对象)。对于本例,观察空间定义为一个连续的四维空间,所以只有一个观测通道,携带一个列向量包含四个双打。

obsInfo = rlNumericSpec (1 [4]);

值函数批评以当前观测作为输入并返回一个标量输出(估计折扣累积长期奖励政策后的状态对应于当前观察)。

在评论家,模型参数化的值函数使用一个定制的基函数。创建一个自定义函数,它返回一个向量的三个元素,给定一个观察作为输入。

myBasisFcn = @ (myobs) [myobs (2) ^ 2;myobs (3) + exp (myobs (1));abs (myobs (4)))

myBasisFcn =function_handle与价值:@ (myobs) [myobs (2) ^ 2; myobs (3) + exp (myobs (1)); abs (myobs (4)))

评论家的输出是标量W ' * myBasisFcn (myobs)代表的估计价值观察在给定的政策。在这里W是一个必须有相同的重量列向量大小自定义基函数的输出。的元素W是可学的参数。

定义一个初始参数向量。

W0 = (3。5; 2);

创建一个评论家。第一个参数是一个双元素的细胞包含处理自定义函数和初始权向量。第二个参数是观测规范对象。

评论家= rlValueFunction ({myBasisFcn, W0}, obsInfo)

评论家= rlValueFunction属性:ObservationInfo: [1 x1 rl.util。rlNumericSpec] UseDevice:“cpu”

检查你的评论家,使用getValue函数返回值给定的观察,使用当前的参数向量。

v = getValue(评论家,{[2 4 6 8]})

v = 130.9453

现在可以使用评论家(以及演员)创建一个代理对环境所描述的规范给定的观察对象。代理可以使用连续观测空间的例子,和使用价值函数评论家rlACAgent,rlPGAgent,rlPPOAgent。rlTRPOAgent不支持使用自定义基金宝app函数的演员或批评。

有关创建接近者对象的更多信息,如演员和评论家,明白了创建政策和价值功能。

创建一个环境和获得观察和操作信息。

env = rlPredefinedEnv (“CartPole-Discrete”);obsInfo = getObservationInfo (env);

值函数批评以当前观测作为输入并返回一个标量值作为输出(估计折扣累积长期奖励政策后的状态对应于当前观察)。

在评论家,模型参数化的值函数使用一个输入层递归神经网络(接受观察的内容频道,按照奥林匹克广播服务公司信息)和一个输出层(返回标量值)。

层的网络定义为一个数组对象。创建一个周期性网络,使用sequenceInputLayer作为输入层(大小等于观测通道的尺寸的数量),包括至少一个lstmLayer。

myNet = [sequenceInputLayer (obsInfo.Dimension (1) fullyConnectedLayer (8) reluLayer lstmLayer (8) fullyConnectedLayer (1)];

网络转换为一个dlnetwork对象。

dlNet = dlnetwork (myNet);

显示网络特点的总结。

总结(dlNet)

初始化:可学的真正的数字:593输入:1“sequenceinput”序列输入4维度

创建一个值函数表示批评的对象。

评论家= rlValueFunction (dlNet obsInfo)

评论家= rlValueFunction属性:ObservationInfo: [1 x1 rl.util。rlNumericSpec] UseDevice:“cpu”

检查你的评论家,使用getValue函数返回一个随机的值观察,使用当前的网络权值。

v = getValue(评论家,{兰德(obsInfo.Dimension)})

v =单0.0017

您可以使用getState和设置状态提取和递归神经网络的当前状态的评论家。

getState(批评)

ans =2×1单元阵列{8 x1单}{8 x1单}

评论家=设置状态(评论家,…{-0.01 *单(兰德(8,1)),…0.01 *单(兰德(8,1))});

评估评论家使用连续的观测,使用序列长度(时间)维度。例如,获得5独立的序列组成的每一个行动9连续观测。

(价值、州)= getValue(评论家,…{兰德([obsInfo。维度5 9])});

显示的值对应于第七元素观察序列在第四序列。

值(1、4、7)

ans =单0.0766

递归神经网络的显示更新后的状态。

状态

状态=2×1单元阵列{8 x5单}{8 x5单}

现在可以使用评论家(以及演员)创建一个代理对环境所描述的规范给定的观察对象。代理可以使用连续观测空间的例子,和使用价值函数评论家rlACAgent,rlPGAgent,rlPPOAgent。rlTRPOAgent不支持使用周期性网金宝app络的演员或批评。

更多信息在复发性神经网络的输入和输出格式,请参见算法部分lstmLayer。有关创建接近者对象的更多信息如批评家和评论家,明白了创建政策和价值功能。

创建一个有限集观测规范对象(或者使用getObservationInfo从环境中提取规范对象)。对于本例,观察空间定义为两个渠道,第一个是一个观察标记7、5、3、1,第二个是一个向量在一个连续的三维空间。

obsInfo = [rlFiniteSetSpec ([7 5 3 1]) rlNumericSpec (1 [3])];

值函数批评以当前观测作为输入并返回一个标量输出(估计折扣累积长期奖励政策后的状态对应于当前观察)。

在评论家,模型参数化的值函数使用一个定制的基函数。创建一个自定义函数,它返回一个向量的四元素,给出两个观察频道的内容作为输入。

myBasisFcn = @ (obsA obsB) [obsA(1) +规范(obsB);obsA(1)规范(obsB);obsA (1) ^ 2 + obsB (3);obsA (1) ^ 2 - obsB (3)];

评论家的输出是标量W ' * myBasisFcn (myobs)代表的估计价值观察在给定的政策。在这里W是一个必须有相同的重量列向量大小自定义基函数的输出。的元素W是可学的参数。

定义一个初始参数向量。

W0 = 1 (4,1);

创建一个评论家。第一个参数是一个双元素的细胞包含处理自定义函数和初始权向量。第二个参数是观测规范对象。

评论家= rlValueFunction ({myBasisFcn, W0}, obsInfo)

评论家= rlValueFunction属性:ObservationInfo: [2 x1 rl.util。RLDataSpec] UseDevice:“cpu”

检查你的评论家,使用getValue函数返回值给定的观察,使用当前的参数向量。

v = getValue(评论家,{5 (0.1 0.1 0.1)})

v = 60

注意,评论家并不强制约束的离散集合的元素。

v = getValue(评论家,{3 (0.1 0.1 0.1)})

v = 12

现在可以使用评论家(以及演员)创建一个代理对环境所描述的规范给定的观察对象。代理可以使用混合观测空间的例子,和使用价值函数评论家rlACAgent,rlPGAgent,rlPPOAgent。rlTRPOAgent不支持使用自定义基金宝app函数的演员或批评。

有关创建接近者对象的更多信息,如演员和评论家,明白了创建政策和价值功能。