创建一个连续动作空间的环境，并获得其观察和操作规范。对于这个例子，在加载示例中使用的环境培训DDPG Agent控制双积分系统．

加载预定义的环境。

获得观察和操作规范。

根据环境观察和行动规范创建PPO代理。

要修改强化学习代理中的深层神经网络，您必须先提取演员和评论家表示。

从演员和评论家的表征中提取深度神经网络。

要查看网络，请使用情节功能。例如，查看网络的演员。

您可以修改演员和评论家网络，并将它们保存回代理。如果要修改网络，可以使用深网络设计师要打开每个网络的应用程序，使用以下命令。

在深网络设计师，修改网络。例如，您可以向网络添加额外的层。修改网络时，不要改变返回网络的输入和输出层getModel．有关构建网络的详细信息，请参阅用深度网络设计器构建网络．

要将修改后的网络结构导出到MATLAB®工作空间，请生成用于创建新网络的代码，并从命令行运行此代码。不使用导出选项深网络设计师．有关如何生成和运行代码的示例，请参见创建代理使用Deep网络设计者和火车站使用图像观察．

对于本例，创建修改过的参与者和批评者网络的代码在createModifiedNetworks.m．

各改性网络包括附加的fullyConnectedLayer和reluLayer在输出路径中。查看修改后的角色网络。

导出网络后，插入网络到演员和评论家表示。

最后，插入演员和评论家的对象修改后的演员和评论家表示。