网络的输入和输出尺寸

演员的维度和评论家网络必须匹配相应的行动,从训练环境观测规范对象。获取操作和观察维度环境env,可以使用getActionInfo和getObservationInfo函数,分别。然后访问维规范的属性对象。

actInfo = getActionInfo (env);actDimensions = actInfo.Dimensions;obsInfo = getObservationInfo (env);obsDimensions = obsInfo.Dimensions;

网络价值函数的批评者(比如那些用于交流、PG,或PPO代理)必须采取只观察作为输入,必须有一个标量输出。对于这些网络输入层的尺寸必须匹配环境观察的尺寸规格。有关更多信息,请参见rlValueRepresentation。

对于网络批评核反应能量函数(比如那些用于Q, DQN,撒尔沙,DDPG, TD3,和囊剂)必须采取观察和行动作为输入,而且必须有一个标量输出。对于这些网络输入层的尺寸必须匹配的尺寸环境观测和操作规范。有关更多信息,请参见rlQValueRepresentation。

网络多输出核反应能量函数批评人士(如用于Q、DQN和撒尔沙代理)只需要观察作为输入,必须有一个输出层输出尺寸等于离散行为的数量。对于这些网络输入层的尺寸必须匹配的尺寸环境观测。规范。有关更多信息,请参见rlQValueRepresentation。

为演员网络输入层的尺寸必须匹配环境观察的尺寸规格。

有关更多信息,请参见rlDeterministicActorRepresentation和rlStochasticActorRepresentation。

建立深层神经网络

深层神经网络由一系列相互关联的层次。下表列出了一些常见的深度学习层强化学习应用程序中使用。可用层的完整列表,请参阅深度学习层的列表。

的bilstmLayer和batchNormalizationLayer不支持层强化学习。金宝app

强化学习工具箱软件提供了以下层,它不包含可调参数(即参数变化在训练)。

您还可以创建自己的自定义层。有关更多信息,请参见定义定制的深度学习层。

为强化学习应用程序,你构建你的深层神经网络通过连接一系列层为每个输入路径(观察或操作)和为每个输出路径(估计奖励或行动)。然后使用这些路径连接在一起connectLayers函数。

您还可以创建您的深层神经网络使用深层网络设计师应用。例如,明白了使用深度网络设计师创建代理和培训使用图像的观察。

当您创建一个深层神经网络,您必须指定名称的第一层每个输入路径和最后一层的输出路径。

下面的代码创建和连接输入和输出路径如下:

observationPath = [imageInputLayer ((4 1 1),“归一化”,“没有”,“名字”,“观察”)fullyConnectedLayer(24日“名字”,“CriticObsFC1”)reluLayer (“名字”,“CriticRelu1”)fullyConnectedLayer(24日“名字”,“CriticObsFC2”));actionPath = [imageInputLayer ((1 1 1),“归一化”,“没有”,“名字”,“行动”)fullyConnectedLayer(24日“名字”,“CriticActFC1”));commonPath = [additionLayer (2,“名字”,“添加”)reluLayer (“名字”,“CriticCommonRelu”)fullyConnectedLayer (1,“名字”,“输出”));criticNetwork = layerGraph (observationPath);criticNetwork = addLayers (criticNetwork actionPath);criticNetwork = addLayers (criticNetwork commonPath);criticNetwork = connectLayers (criticNetwork,“CriticObsFC2”,“添加/三机一体”);criticNetwork = connectLayers (criticNetwork,“CriticActFC1”,“添加/ in2”);

对所有观察和行动输入路径,您必须指定一个imageInputLayer第一层的路径。

您可以查看您的深层神经网络使用的结构情节函数。

情节(criticNetwork)

PG和AC代理,最终的输出层的深层神经网络是一个演员表示fullyConnectedLayer和一个softmaxLayer。当你指定你的网络的层次,你必须指定fullyConnectedLayer你可以选择性地指定softmaxLayer。如果您省略了softmaxLayer,软件自动添加一个给你。

确定数量、类型和大小的层深神经网络表示是很困难的,是依赖于应用程序的。然而,最重要的组件在决定函数近似者的特点是它能够近似最优政策或贴现值函数为您的应用程序,也就是说,层,是否能正确地学习你的观察的特点,行动,和奖励的信号。

构建网络时考虑以下建议。

创建和配置表示

为你创建一个评论家表示深层神经网络,使用一个rlValueRepresentation或rlQValueRepresentation对象。为你创建一个演员表示深层神经网络,使用一个rlDeterministicActorRepresentation或rlStochasticActorRepresentation对象。配置使用的学习速率和优化表示,使用一个rlRepresentationOptions对象。

例如,创建一个核反应能量表示对象的评论家网络criticNetwork,指定一个学习的速度0.0001。当你创建表示,通过环境行动和观测规范rlQValueRepresentation对象,并指定网络层的名称的连接(在本例中观察和操作“观察”和“行动”)。

选择= rlRepresentationOptions (“LearnRate”,0.0001);评论家= rlQValueRepresentation (criticNetwork obsInfo actInfo,…“观察”,{“观察”},“行动”,{“行动”},选择);

当你创建深层神经网络和配置您的表现对象,考虑使用以下方法作为一个起点。

此外,考虑下面的建议在配置您的深层神经网络表示。

复发性神经网络

当创建表示为Q和撒尔沙以外的任何代理,您可以使用递归神经网络(RNN)。这些网络与一个深层神经网络sequenceInputLayer输入层和至少一层隐藏的状态信息,例如一个lstmLayer。他们可以特别有用的环境状态时不能包含在观测向量。

对于演员和评论家的代理,您必须使用一个RNN的他们,是否使用一个RNN的他们。你不能用一个RNN只批评或演员。

当使用PG代理,RNN的学习轨迹长度是整个事件。对于一个AC代理NumStepsToLookAhead属性是选择对象被当作训练轨迹长度。PPO代理,轨迹长度是MiniBatchSize它的选择对象的属性。

DQN、DDPG囊和TD3代理,您必须指定轨迹的长度大于1的整数的培训SequenceLength他们的选择对象的属性。

请注意,不支持代码生成连续行动PG, AC, PPO,和囊剂使用递金宝app归神经网络(RNN),或任何代理有多个输入路径和包含一个RNN的路径。

的更多信息和示例策略和价值功能,看看rlValueRepresentation,rlQValueRepresentation,rlDeterministicActorRepresentation,rlStochasticActorRepresentation。