单机并行训练

列车在多个并行网络

批处理深度学习

可以将深度学习计算卸载到后台运行批（并行计算工具箱）函数。这意味着你可以继续使用MATLAB而你的计算在后台运行，或者你可以关闭你的客户端MATLAB并在稍后获取结果。

可以在本地集群或远端集群中运行批处理作业。要卸载您的深度学习计算，请使用批提交在集群中运行的脚本或函数。您可以作为批处理作业执行任何类型的深度学习计算，包括并行计算。例如，请参见发送深度学习批作业到集群

要并行运行，请使用包含本地或集群中并行运行相同代码的脚本或函数。例如，您的脚本或函数可以运行trainNetwork使用“执行环境”，“平行”选项，或者并行运行自定义的训练循环。使用批将脚本或函数提交到集群并使用水池选项指定要使用的工作人员数量。以获取有关使用批， 看运行批处理并行作业（并行计算工具箱）．

如果要在多个网络上进行深度学习计算，建议为每个网络提交单个批处理作业。这样做可以避免在集群中启动并行池所需的开销，并允许您使用作业监视器分别观察每个网络计算的进度。

您可以提交多个批处理作业。如果提交的作业需要更多的工人比目前可用的集群中，那么以后作业排队，直到前面的工作已经完成。当足够的工人都可以运行作业排队的作业开始。

工作人员的默认搜索路径可能与您的客户机MATLAB的搜索路径不同。要确保集群中的工作人员能够访问所需的文件，如代码文件、数据文件或模型文件，可以使用AdditionalPaths选择。

要在任务完成后检索结果，请使用fetchOutputs（并行计算工具箱）函数。fetchOutputs检索批工人工作区所有变量。当您提交批处理作业的脚本，默认情况下，工作空间变量从客户端复制到工人。为了避免工作区变量的递归，提交批处理作业的功能，而不是作为脚本。

您可以使用日记（并行计算工具箱）捕获命令行输出，同时运行的批处理作业。在执行时，这可能是有用的trainNetwork函数与详细的选项设置为真正的．

管理集群配置文件和自动池创建

并行计算工具箱是预先配置的集群配置文件当地的为您的本地台式机上运行的并行代码。默认情况下，MATLAB开始使用所有并行池当地的群集配置文件。如果你想在远程集群中运行的代码，您必须使用远程群集配置文件启动并行池。您可以管理使用群集配置文件管理器集群配置文件。有关管理群集配置文件的详细信息，请参阅发现集群并使用集群配置文件（并行计算工具箱）．

一些功能，其中包括trainNetwork那预测那分类那PARFOR,parfeval可以自动启动并行池。要利用自动并行池创建的优势，请在集群概要文件管理器中将所需的集群设置为默认集群概要文件。您也可以手动创建资源池，并在创建资源池时指定所需的集群资源。

如果希望在远程集群中使用多个gpu并行地训练多个网络或进行自定义训练循环，最佳实践是在所需集群中手动启动一个并行池，使用尽可能多的可用gpu。有关更多信息，请参阅基于MATLAB的多gpu深度学习．

深度学习精度

为了获得最佳性能，建议使用GPU的所有深学习工作流程。因为GPU的单精度和双精度性能可以显着不同，重要的是要知道在哪个精度执行计算。通常情况下，GPU提供在单精度计算性能更好。

如果你只使用GPU进行深度学习，然后单精度性能的GPU的最重要的特征之一。如果还使用了利用并行计算工具箱等计算的GPU，再高的双精度性能是非常重要的。这是因为在MATLAB很多功能在默认情况下使用双精度运算。有关更多信息，请参阅使用单精度计算提高性能（并行计算工具箱）

当你用trainNetwork功能，或当您使用预测或验证功能与DAGNetwork和SeriesNetwork对象，该软件执行使用单精度浮点算术这些计算。培训，预测和验证功能包括：trainNetwork那预测那分类,激活．当你同时使用cpu和gpu训练网络时，该软件使用单精度算法。

对于定制培训工作流程，建议把数据转换为单精度的培训和推理。如果您使用minibatchqueue为了管理小批量，您的数据在默认情况下被转换为单精度。