创建具有连续动作空间的环境，并获得其观察和操作规范。对于此示例，请加载示例中使用的环境培训DDPG Agent控制双积分系统．

加载预定义的环境。

env = rlPredefinedEnv (“双凝胶组连续”）

env = DoubleIntegratorContinuousAction with properties: Gain: 1 Ts: 0.1000 MaxDistance: 5 GoalThreshold: 0.0100 Q: [2x2 double] R: 0.0100 MaxForce: Inf State: [2x1 double]

获得观察和行动规范。

ObsInfo = GetobservationInfo（ENV）;Actinfo = GetActionInfo（Env）;

根据环境观察和行动规范创建PPO代理。

代理= rlPPOAgent (obsInfo actInfo);

要修改强化学习代理中的深神经网络，您必须首先提取演员和批评者表示。

演员= getActor(代理);评论家= getCritic(代理);

从演员和评论家的表征中提取深度神经网络。

ACTORNET = GETMODEL（演员）;批评= getModel（评论家）;

网络是dlnetwork对象。来查看它们情节函数时，必须将它们转换为分层图对象。

例如，查看actor网络。

情节(layerGraph (actorNet))

要验证网络，请使用analyzeNetwork．例如，验证批评网络。

analyzeNetwork (criticNet)

您可以修改演员和评论家网络，并将它们保存回代理。如果要修改网络，可以使用深层网络设计师要打开每个网络的应用程序，使用以下命令。

DeepNetWorkDesigner（LayerGraph（批评））DeepNetWorkDesigner（层图（ActorRounet））

在深层网络设计师，修改网络。例如，您可以向网络添加额外的层。修改网络时，不要改变返回网络的输入和输出层GetModel.．有关建筑网络的更多信息，请参阅用深度网络设计器构建网络．

验证修改的网络深层网络设计师，您必须点击分析DLNETWORK.下,分析部分。要将修改的网络结构导出到MATLAB®工作区，请生成用于创建新网络的代码并从命令行运行此代码。请勿使用导出选项深层网络设计师．有关如何生成和运行代码的示例，请参见使用深度网络设计师和使用图像观察创建代理．

对于本例，创建修改过的参与者和批评者网络的代码在CreateModifiedNetWorks.m.．

createModifiedNetworks

每个修改的网络都包括额外的网络fullyConnectedLayer和reluLayer在输出路径中。查看修改后的角色网络。

绘图（ModifiedActornet）

导出网络后，将网络插入演员和批评者表示。

Actor = SetModel（演员，ModifiedActornet）;评论家= setmodel（评论家，修改克里米特）;

最后，在演员和批评者中插入修改的演员和批评者表示。

代理= setActor(代理、演员);代理= setCritic(代理、批评);