rlContinuousGaussianActor
一种具有连续动作空间的随机高斯体强化学习代理
描述
创建
语法
描述
演员= rlContinuousGaussianActor (网，observationInfo，actionInfoActionMeanOutputNames =netMeanActNameActionStandardDeviationOutputNames =netStdvActName）网作为函数逼近器。在这里,网必须具有两个不同名称的输出层，每个输出层具有与操作空间的维度数量相同的元素，如actionInfo．两个输出层计算动作每个组件的平均值和标准偏差。参与者根据字符串中指定的名称使用这些层netMeanActName而且netStdActName，表示动作采样的高斯概率分布。函数设置ObservationInfo而且ActionInfo的属性演员输入参数observationInfo而且actionInfo,分别。
请注意
演员不强制操作规范设置的约束，因此，在使用此actor时，必须在环境中强制操作空间约束。
演员= rlContinuousGaussianActor (网，observationInfo，actionInfoActionMeanOutputNames =netMeanActNameActionStandardDeviationOutputNames =netStdActNameObservationInputNames =netObsNames）observationInfo到字符串数组中对应名称指定的层netObsNames．因此，在网络输入层中，按名称顺序排列netObsNames，必须具有与观测规范相同的数据类型和尺寸observationInfo．
演员= rlContinuousGaussianActor (___UseDevice =useDevice）演员对象，并设置UseDevice的属性演员到useDevice输入参数。您可以将此语法用于前面的任何输入-参数组合。
输入参数
属性
对象的功能
rlACAgent |
演员-评论家强化学习代理 |
rlPGAgent |
策略梯度强化学习代理 |
rlPPOAgent |
近端策略优化强化学习代理 |
rlSACAgent |
软演员-评论家强化学习代理 |
getAction |
从给定环境观察的代理、参与者或策略对象获取操作 |
评估 |
给定观测(或观测-动作)输入数据，求函数逼近对象 |
梯度 |
给定观测和动作输入数据，求函数逼近对象的梯度 |
加速 |
基于神经网络的逼近对象梯度加速计算选项 |
getLearnableParameters |
从代理、函数逼近器或策略对象获取可学习的参数值 |
setLearnableParameters |
设置agent、函数逼近器或策略对象的可学习参数值 |
setModel |
为演员或评论家设置函数逼近模型 |
getModel |
从演员或评论家那里得到函数逼近器模型 |
例子
从深度神经网络创建连续高斯Actor
创建一个观察规范对象(或者使用getObservationInfo从环境中提取规范对象)。对于本例，将观测空间定义为连续的六维空间，这样单个观测值就是包含五个double的列向量。
obsInfo = rlNumericSpec([5 1]);
创建一个操作规范对象(或者使用getActionInfo从环境中提取规范对象)。在本例中，将操作空间定义为连续的三维空间，这样单个操作就是包含三个double的列向量，每个在between之间－10而且10．
actInfo = rlNumericSpec([3 1]，.．.LowerLimit = -10,.．.UpperLimit = 10);
为了在参与者中近似策略，使用深度神经网络。
对于连续高斯行为体，网络必须将观测信号作为输入，并为每个动作返回平均值和标准差值。因此，它必须有两个输出层(一个用于平均值，另一个用于标准偏差值)，每个输出层具有与动作空间维度相同的元素。您可以从环境规范对象中获得观察空间和操作空间的维度(例如，无论观察空间是列向量、行向量还是矩阵，刺激(obsInfo.Dimension)）.
注意，标准偏差必须是非负的，平均值必须落在动作的范围内。因此，返回标准差的输出层必须是softplus或ReLU层，以强制非负性，而返回平均值的输出层必须是缩放层，以将平均值缩放到输出范围。
将每个网络路径创建为一个层对象数组。为输入和输出层指定一个名称，以便稍后可以显式地将它们与正确的通道相关联。
%输入路径层数inPath = [featureInputLayer(.．.刺激(obsInfo.Dimension),.．.Name =“netOin”) fullyConnectedLayer (.．.刺激(actInfo.Dimension),.．.Name =“infc”));为平均值的路径层使用scalingLayer缩放范围从(-1,1)到(-10,10)meanPath = [tanhLayer(Name=“tanhMean”）;fullyConnectedLayer(刺激(actInfo.Dimension));scalingLayer (Name =“规模”，.．.规模= actInfo.UpperLimit)];%路径层的标准差%使用软加图层使他们非负sdevPath = [tanhLayer(Name=“tanhStdv”）;fullyConnectedLayer(刺激(actInfo.Dimension));softplusLayer (Name =“splus”));为网络对象添加层net = layerGraph(inPath);net = addLayers(net,meanPath);net = addLayers(net,sdevPath);%连接层net = connectLayers(net，“infc”，“tanhMean /”）;net = connectLayers(net，“infc”，“tanhStdv /”）;绘制网络情节(净)
将网络转换为adlnetwork对象，并显示可学习参数(权重)的数量。
Net = dlnetwork(Net);总结(净)
初始化:true学习数量:42输入:1 'netOin' 5个特征
使用rlContinuousGaussianActor，使用网络，观察和动作规范对象，以及网络输入和输出层的名称。
actor = rlContinuousGaussianActor(net, obsInfo, actInfo，.．.ActionMeanOutputNames =“规模”，.．.ActionStandardDeviationOutputNames =“splus”，.．.ObservationInputNames =“netOin”）;
要检查角色，请使用getAction使用当前网络权重从随机观察向量返回一个操作。动作向量的三个元素中的每一个都是来自高斯分布的随机样本，其均值和标准差由神经网络计算，作为当前观测的函数。
act = getAction(actor，{rand(obsInfo.Dimension)});行为{1}
ans =3x1单列向量-12.0285 1.7628 10.8733
要返回动作的高斯分布，给定一个观察，使用评估．
dist = evaluate(actor，{rand(obsInfo.Dimension)});
显示平均值向量。
dist {1}
ans =3x1单列向量-5.6127 3.9449 9.6213
显示标准差向量。
dist {2}
ans =3x1单列向量0.8516 0.8366 0.7004
现在可以使用参与者创建合适的代理(例如rlACAgent，rlPGAgent，rlSACAgentOptions，rlPPOAgent,或rlTRPOAgentOptions）.
版本历史
R2022a中引入
您也可以从以下列表中选择一个网站: