网络输入和输出尺寸

你的演员和评论家网络的维度必须匹配来自培训环境对象的相应行动和观察规范。获得环境的行动和观察维度环境，使用getActionInfo和获取观测信息功能。然后访问尺寸规范对象的属性。

actInfo = getActionInfo (env);actDimensions = actInfo.Dimensions;obsInfo = getObservationInfo (env);obsDimensions = obsInfo.Dimensions;

价值函数评论网络(如AC、PG或PPO代理中使用的网络)必须只将观察结果作为输入，并且必须有单个标量输出。对于这些网络，输入层的维数必须与环境观测规范的维数相匹配。有关更多信息，请参见rlValueRepresentation．

单输出Q值函数批评家的网络（如Q、DQN、SARSA、DDPG、TD3和SAC代理中使用的网络）必须将观测和操作作为输入，并且必须具有单标量输出。对于这些网络，输入层的尺寸必须与观测和行动的环境规范的尺寸相匹配。有关详细信息，请参阅rlQValueRepresentation．

多输出Q值函数批评家网络（如Q、DQN和SARSA代理中使用的网络）仅将观测值作为输入，并且必须具有一个输出层，其输出大小等于离散动作的数量。对于这些网络，输入层的尺寸必须与环境观测的尺寸相匹配。规格。有关详细信息，请参阅rlQValueRepresentation．

对于参与者网络，输入层的尺寸必须与环境观测规范的尺寸相匹配。

有关更多信息，请参见rlDeterministicActorRepresentation和rlStochasticActorRepresentation．

建立深度神经网络

深层神经网络由一系列相互连接的层组成。下表列出了在强化学习应用中常用的一些深度学习层。有关可用层的完整列表，请参见深度学习层列表．

这个bilstmLayer和batchNormalizationLayer强化学习不支持层。金宝app

Reinforcement Learning Toolbox软件提供了以下层，其中不包含可调参数(即在训练期间更改的参数)。

您还可以创建自己的自定义层。有关更多信息，请参见定义自定义深度学习层．

对于强化学习应用程序，您可以通过为每个输入路径（观察或操作）和每个输出路径（估计奖励或操作）连接一系列层来构建深层神经网络。然后使用connectLayers作用

您还可以使用深层网络设计师例如，请参见使用深度网络设计器创建代理和使用图像观察训练．

创建深度神经网络时，必须为每个输入路径的第一层和输出路径的最后一层指定名称。

以下代码创建并连接以下输入和输出路径：

observationPath = [imageInputLayer([4 1 1]，])，“归一化”,“没有”,“姓名”,“观察”)完全连接层（24，“姓名”,“CriticObsFC1”)雷卢耶(“姓名”,“CriticRelu1”)完全连接层（24，“姓名”,“CriticObsFC2”)]; actionPath=[imageInputLayer（[1]，“归一化”,“没有”,“姓名”,“行动”)完全连接层（24，“姓名”,“CriticActFC1”)]; commonPath=[additionLayer（2，“姓名”,“添加”)雷卢耶(“姓名”,“CriticCommonRelu”) fullyConnectedLayer (1,“姓名”,“输出”)]; 临界网络=层图（观测路径）；criticNetwork=addLayers（criticNetwork，actionPath）；临界网络=添加层（临界网络，公共路径）；临界网络=连接层（临界网络，“CriticObsFC2”,“添加/in1”); 临界网络=连接层（临界网络，“CriticActFC1”,“添加/ in2”);

对于所有观察和操作输入路径，必须指定imageInputLayer作为路径的第一层。

你可以使用情节作用

绘图（关键网络）

对于PG和AC代理，深度神经网络参与者表示的最终输出层是完全连接层和softmaxLayer．指定网络的层时，必须指定完全连接层您可以选择指定softmaxLayer．如果省略softmaxLayer，软件会自动为您添加一个。

为您的深度神经网络表示确定层的数量、类型和大小可能是困难的，并且取决于应用程序。然而,最重要的组件在决定函数近似者的特点是它能够近似最优政策或贴现值函数为您的应用程序,也就是说,层,是否能正确地学习你的观察的特点,行动,和奖励的信号。

在构建你的人际网络时，考虑以下建议。

创建和配置表示

要为深层神经网络创建批评家表示，请使用rlValueRepresentation或rlQValueRepresentation要为深度神经网络创建参与者表示，请使用rlDeterministicActorRepresentation或rlStochasticActorRepresentation对象。要配置表示所使用的学习速率和优化，请使用rlRepresentationOptions对象。

例如，为评论网络创建一个q值表示对象临界网络，指定的学习速率为0.0001．当您创建表示时，将环境动作和观察规范传递给rlQValueRepresentation对象，并指定观察和操作所连接到的网络层的名称(在本例中“观察”和“行动”).

选择= rlRepresentationOptions (“LearnRate”, 0.0001);评论家= rlQValueRepresentation (criticNetwork obsInfo actInfo,．..“观察”,{“观察”}，“行动”,{“行动”}，opt）；

当创建深度神经网络并配置表示对象时，考虑使用以下方法作为起点。

此外，在配置深度神经网络表示时考虑以下提示。

循环神经网络

在创建与PPO或DQN代理一起使用的表示时，可以使用递归神经网络。这些网络是深度神经网络sequenceInputLayer输入层和至少一个具有隐藏状态信息的层，例如lstmLayer．当环境的状态不能包含在观测向量中时，它们会特别有用。有关更多信息和示例，请参见rlValueRepresentation,rlQValueRepresentation,rlDeterministicActorRepresentation和rlStochasticActorRepresentation．