主要内容

配置使用通用调度程序接口

通用调度程序界面提供了配置MATLAB的交互的灵活性®客户,matlab工人和第三方调度程序。使用“通用调度程序”接口时要使用“调度程序”设置完整的自定义,以便与MATLAB接口。

您必须使用通用调度程序界面时:

  • 与第三方调度仪接口MATLAB,没有开箱即用的支持。金宝app具有开箱即用的调度程序是Slurm,PBS Pro,Torqu金宝appe,LSF和HPC服务器。

  • 接口MATLAB和第三方调度程序在MATLAB客户端和群集节点之间没有共享文件系统。

  • 使用未安装第三方计划程序实用程序的MATLAB客户端计算机。

与第三方调度员的接口

通用调度程序接口提供了从并行计算工具箱™客户端会话中获取任务到调度程序和群集节点的方法。为此,您必须使用一组插件脚本提供MATLAB客户端。脚本包含特定于群集基础结构的指令,例如如何与作业调度程序通信,以及如何将作业和任务数据传输到群集节点。

金宝app支持脚本

帮助您与您的Scheduler,MathWorks接口®为以下第三方调度程序提供附加组件或插件,您可以从附加组件管理器下载和安装它们。

  • 并行计算工具箱插件MATLAB并行服务器™与Slurm

  • 并行计算工具箱插件MATLAB并行服务器使用IBM平台LSF

  • 并行计算工具箱插件MATLAB并行服务器用网格引擎

  • 并行计算工具箱插件MATLAB并行服务器与PBS

  • 并行计算工具箱插件MATLAB并行服务器与Htcondor.

在这一点选项卡,环境区域,点击附加组件。在附加资源管理器中,搜索加载项并安装它。安装程序包含一个向导,用于指导您创建群集配置的群集配置文件。

或者,你可以从以下位置下载插件:

要安装一个插件,在MATLAB中双击或拖放它。

每个安装程序为三种可能的提交模式创建脚本:

  • 共享 - 当客户端可以直接向调度程序提交时,客户端和群集计算机具有共享文件系统。

  • 远程 - 当客户端和群集计算机具有共享文件系统时,但客户端计算机无法直接向调度程序提交,例如未安装调度程序的客户端实用程序。在这种情况下,远程主机使用使用的命令将命令提交给调度程序s协议。

  • nonshared - 当客户端和群集机器没有共享文件系统时。此模式使用s协议使用远程主机将命令提交到调度程序,并使用它SFTP.协议将作业和任务文件复制到群集文件系统。

每个提交模式在安装文件夹中都有自己的子文件夹。这些子文件夹包含一个自述文件,提供关于如何使用脚本的具体说明。在使用脚本之前,请确定哪种提交模式描述您的网络设置。

如果要自定义插件脚本的行为,则可以设置其他属性,例如FARGNALUBMITARGS.。有关更多信息,请参阅自定义示例插件脚本的行为

如果某个支持包不支持您的调度程序或集群配置,建议您修改其中一个包的脚本。金宝app有关如何为通用调度器编写一组插件脚本的更多信息,请参见通用调度程序的插件脚本(并行计算工具箱)

创建通用群集配置文件

LSF的示例设置

此示例显示如何设置群集配置文件以使用通用调度程序界面。它显示了在没有客户端和集群计算机之间的共享文件系统的网络中的LSF调度程序的设置。下图说明了群集设置:

在这种类型的配置中,作业数据从运行Windows操作系统的客户端主机复制到运行UNIX®操作系统的集群(集群登录节点)上的主机。从集群登录节点,LSFBSUB.命令将作业提交到调度程序。作业完成后,将其输出复制回客户端主机。

需求

设置必须符合以下条件:

  • 客户端节点和群集登录节点必须支持金宝appsSFTP.

  • 群集登录节点必须能够调用BSUB.命令将作业提交给LSF调度程序。您可以在此处找到更多关于此信息自述文件在非正式安装文件夹中的子文件夹。

运行LSF安装程序

  1. 从下面下载LSF的安装程序在这里

  2. 通过从MATLAB客户机中打开文件来运行安装程序。

安装程序将插件脚本下载到非正式安装文件夹中的子文件夹。安装程序向导会指导您完成创建和验证群集配置文件的步骤。

验证集群概要文件和安装

您可以在验证您的个人资料时指定要使用的工人数量。如果您没有指定工人的数量验证选项卡,然后验证过程尝试使用尽可能多的工人作为所指定的值numworkers.财产的特性标签。您可以指定较少数量的工人,以验证配置而不占据整个群集。

  1. 从MATLAB桌面启动群集配置文件管理器。在这一点选项卡,环境区域,选择平行>创建和管理群集

  2. 在清单中选择集群配置文件。

  3. 单击验证标签。

  4. 使用复选框选择所有测试,或验证阶段的子集,并指定在验证您的个人资料时使用的工人数。

  5. 点击证实

验证结果选项卡显示输出。下图显示了通过所有验证测试的配置文件的结果。

笔记

如果验证失败,请联系MathWorks安装支持团队金宝app

如果您的验证通过,则您可以在其他并行应用程序中使用有效的配置文件。您可以对您的个人资料进行任何修改,这适用于您的应用程序,例如numworkersrange.AttachedFiles, 要么含量径

要为其他用户保存个人资料,请选择配置文件,然后单击出口。然后在方便的位置将您的个人资料保存到文件。运行群集配置文件管理器时,其他用户可以通过单击“导入您的个人资料”进口

要了解如何分发通用群集配置文件并为其他人使用插件脚本,请参阅分发通用集群配置文件和插件脚本

手动配置群集配置文件

如果您想修改现有的通用集群概要文件,您可以手动配置概要文件。如果你是第一次创建配置文件,你正在使用提供的支持脚本之一,使用安装向导代替:金宝app运行LSF安装程序.下面的步骤手动复制安装程序执行的配置。您可以根据您的设置修改任何这些选项。

  1. 在客户端主机上启动MATLAB会话。

  2. 从MATLAB桌面启动群集配置文件管理器。在这一点选项卡,环境区域,选择平行>创建和管理群集

  3. 通过选择在集群概要文件管理器中创建一个新的概要文件添加>自定义>通用的

  4. 在列表中选择新概要文件后,选择改名并将配置文件名称更改为InstallTest。按进入

  5. 特性选项卡,选择编辑并为以下字段提供设置:

    1. 设定描述字段用于测试安装

    2. 设定JobStorageLocation将作业和任务数据存储在客户机机器上的位置(而不是集群位置),例如,C:\ temp \ Joblocation

      你不得分享JobStorageLocation在运行不同版本的并行计算产品中。下载188bet金宝搏群集上的每个版本都必须拥有自己的JobStorageLocation

    3. numworkers.到您想要测试安装的工人数量。

    4. NumThreads到每个工作人员使用的线程数。

    5. clustermatlabroot.到MATLAB的安装位置在工人机上运行。

    6. 如果群集使用在线许可,请设置RequiresOnlineLicensing为true。

    7. 如果你设置RequiresOnlineLicensing真正的, 输入您的许可证号

    8. 操作系统转移到集群工作计算机的操作系统。

    9. Hassharedfilesystem.错误的。此设置表示客户端节点和工作者节点不能共享相同的数据位置。

    10. 设定pluginscriptslocation.到您的插件脚本的位置。在这个例子中,位置是非正式LSF安装文件夹中的子文件夹。作为使用示例脚本的一部分非正式提交模式,在步骤中设置属性K.L.

    11. 附加额外表中,选择添加。使用名称指定新属性ClusterHost, 价值集群主机名称和类型细绳

    12. 附加额外表中,选择添加。使用名称指定新属性RemoteJobStorageLocation, 价值/网络/份额/ exblocation和类型细绳

  6. 点击完成保存群集配置文件更改。对话框如下所示:

要检查配置文件是否有效,请按照步骤执行验证验证集群概要文件和安装

特殊配置

根据您的集群体系结构,您可能需要在连接到通用调度器之前执行额外的任务。

定制的MPI构建

您可以使用与具有并行计算工具箱提供的MPI构建不同的MPI构建。有关使用Generic Sc​​heduler接口使用此选项的详细信息,请参阅在UNIX系统上使用不同的MPI构建

使用Grid Engine系列运行通信作业

网格引擎系列的示例脚本依赖于存在matlab平行环境。并行环境(PE)是设计用于在群集中并行计算的编程环境。运行沟通工作MATLAB并行服务器和网格引擎家庭集群,您必须建立一个matlab平行环境。

创建并行环境。下面的步骤创建并行环境,然后使其在所有队列上都可运行。作为最佳实践,请在集群的头节点上执行这些步骤。有些步骤需要管理员访问。

  1. 从中下载并运行安装程序的网格引擎网格引擎家庭。

  2. 导航到安装文件夹中提交模式的相关插件脚本的位置。

  3. 修改matlabpe.template要使用你想要的槽数和正确的位置startmatlabpe.sh.stopmatlabpe.sh.文件。这些文件可以存在于所有主机可访问的共享位置中,或者您可以将它们复制到每个主机上的相同位置。您还可以更改其他值或添加其他值matlabpe.template适合您的群集。有关更多信息,请参阅SGE_PE.与您的调度程序提供的文档。

  4. 添加matlab并行环境,使用shell命令,如:

    qconf -ap matlabpe.template.

  5. 使matlab所有队列都可运行的并行环境:

    qconf mq all.q
    此命令为您带来了一个文本编辑器来进行更改。搜索这条线pe_list.,并添加matlab

  6. 确保您可以向PE提交一项琐碎的作业:

    $ echo“hostname”|qsub -pe matlab 1

  7. 使用qstat.要检查作业是否正确运行,并检查输出文件包含运行作业的主机的名称。输出文件的默认文件名为〜/ stdin.o ###, 在哪里# # #网格引擎工作号码。

笔记

如果您将并行环境的名称改为matlab,也改变提交函数。

在Windows群集上配置防火墙

如果您在群集节点上使用Windows防火墙,则可以将MATLAB添加为允许程序。

在以下说明中,matlabroot是指MATLAB安装位置。

  1. 以具有管理权限的用户登录。

  2. 在DOS命令窗口中执行以下脚本:

    matlabroot \ toolbox \ partant \ bin \ addmatlabtowindowsfirewall.bat

如果您使用的是其他防火墙,则必须单独配置这些,以将MATLAB添加为允许的程序。

相关的话题