主要内容

发现集群并使用集群配置文件

并行计算工具箱™带有集群配置文件当地的用于在本地桌面计算机上运行并行代码。

使用的控制并行行为平行菜单®首页选项卡。

你可以使用平行菜单:

  • 发现在您的网络或Amazon EC2上运行的其他集群。点击平行>发现集群. 有关详细信息,请参阅发现集群

  • 使用集群概要文件管理器创建和管理集群概要文件。点击平行>创建和管理集群. 有关详细信息,请参阅创建和管理集群概要文件

创建和管理集群概要文件

集群概要文件允许您为集群定义某些属性,然后在MATLAB客户机中创建集群、作业和任务对象时应用这些属性。一些支持使用集群概要文件的功能如下金宝app

使用群集配置文件管理器管理群集配置文件。要打开群集配置文件管理器,请在首页选项卡,环境部分中,选择平行>创建和管理集群

您可以使用集群配置文件管理器:

发现集群

您可以让MATLAB为您发现集群。使用以下任一技术来发现可供您使用的群集:

  • 首页选项卡中环境部分中,选择平行>发现集群

  • 在集群配置文件管理器中,选择发现集群

这将打开“发现集群”对话框,您可以在其中进行搜索MATLAB并行服务器™集群:

如果您选择在你的网络,你看到一个新窗口。如果群集使用MATLAB作业调度程序或Microsoft Windows HPC服务器,请选择此选项。由于发现集群,它们填充了您选择的列表。如果您已经有任何列出的群集的配置文件,则这些配置文件名称包含在列表中。如果要为其中一个发现的群集创建新配置文件,请选择要使用的群集的名称,然后选择下一个.随后的对话框允许您选择是否要将创建的配置文件设置为默认配置文件。中不支持此选项金宝appMATLAB在线

如果您选择在Amazon EC2上,您可以搜索在AmazonEC2上运行的集群。要访问这些群集,必须提供MathWorks帐户登录信息。

集群发现要求

群集发现仅支持MATLAB作业调度程序,微金宝app软®窗户®HPC Server和Amazon EC2云集群。如果您需要集成您的调度程序与MATLAB并行服务器,或为受支持的不同调度器创建集群配置文件,请参阅金宝app开始使用MATLAB并行服务器(MATLAB并行服务器).以下要求适用于群集发现:

  • MATLAB作业调度器——MATLAB作业调度器集群支持两种不同的发现方式:金宝app

    • 多播:discover clusters功能使用客户端的多播网络协议来搜索运行MATLAB作业调度器的头部节点。这要求启用多播网络协议,并在连接MATLAB作业调度器头节点(调度器正在运行的位置)和客户机的网络上工作。这种形式的发现可能仅限于客户端本地子网,因此并不总是能够在网络中的其他位置发现MATLAB作业调度器。

    • DNS SRV:另一种发现技术是通过DNS服务记录搜索集群。

      域名系统(DNS)是在Internet或专用网络上用IP地址标识主机名的标准。使用DNS可以通过识别特定主机而不是通过网络广播来发现MATLAB作业调度器群集。

      DNS服务(SRV)记录定义主机和服务端口的位置,例如与您要发现的集群相关的服务。您的系统管理员在组织的DNS基础架构中创建DNS SRV记录。有关所需记录和验证信息的说明,请参阅DNS SRV记录(MATLAB并行服务器)

  • HPC Server - 发现群集功能使用Active Directory域服务来发现头节点。在安装HPC服务器软件期间,HPC服务器头节点将添加到Active Directory。

  • Amazon EC2—发现集群功能需要在客户端和运行在mathworks.com中的Cloud Center web服务之间建立工作网络连接。

创建云集群

您可以直接从集群配置文件管理器在Amazon AWS云服务中创建集群。在集群配置文件管理器中,选择创建云集群. 注册你的数学作业®帐户并完成所需步骤。然后,您可以创建云群集并配置参数,例如机器的数量或每台计算机的工人数量。有关每个可用参数的更多信息,请参阅创建云集群. 完成所有步骤后,MATLAB将为您创建一个新的集群概要文件。您可以从群集配置文件管理器修改其属性。

要在MathWorks cloud Center中管理许可证、测试云连接或管理云集群,请转到集群配置文件管理器工具栏>部分。

添加和修改集群概要文件

使用群集配置文件管理器,您可以为Matlab作业计划程序或第三方计划程序添加群集配置文件。如果您需要设置群集与MATLAB一起使用,请参阅开始使用MATLAB并行服务器(MATLAB并行服务器)

下面的示例提供了如何使用集群概要文件管理器添加和修改概要文件的说明。

假设您想要创建一个概要文件来设置要在MATLAB Job Scheduler集群中运行的作业的几个属性。下面的示例演示了一个可能的工作流,其中您创建了两个概要文件,仅根据它们使用的工人的数量进行区分。

  1. 在集群配置文件管理器中,选择添加集群配置文件>MATLAB作业调度器. 这指定您希望为MATLAB作业调度器集群创建一个新的配置文件。

    这将创建并显示一个名为MJSProfile1的新配置文件。

  2. 双击清单中的新配置文件名称,并将配置文件名称修改为MyMJSProfile1

  3. 挑选编辑在工具条中,以便您可以设置个人资料属性值。

    在“描述”字段中,输入文本MJS有4个工人,如下图所示。输入正在运行MATLAB作业调度程序的机器的主机名,以及MATLAB作业调度程序的名称。如果您正在为已经在您的网络上运行的实际MATLAB作业调度程序输入信息,请输入实际名称。如果您不确定MATLAB作业调度程序的名称和位置在您的网络上,请向系统管理员寻求帮助。

    如果MATLAB作业调度器使用非默认BASE_PORT的定义mjs_def.档案主持人属性必须附加此属性BASE_PORT号码。例如,MJS-Host: 40000

  4. 向下滚动到Workers部分,输入双元素向量作为Worker数的范围[4 4].这指定使用此配置文件的作业需要至少4个工人,且不超过4个工人。因此,使用此概要文件的作业正好运行在4个worker上,即使它必须等到有4个worker可用才开始。

    您可能需要根据特定的网络和集群情况编辑其他属性。

  5. 挑选完成保存配置文件设置。

要创建一个相似的配置文件,但只有一些不同,您可以复制一个现有的配置文件,只修改您需要更改的部分,如下所示:

  1. 在群集配置文件管理器中,右键单击配置文件名称MyMJSProfile1在列表中,选择复制

    这将创建一个重复的概要文件,其名称基于附加的原始概要文件名称_Copy

  2. 双击新的配置文件名称并编辑其名称MyMJSprofile2

  3. 挑选编辑允许您更改配置文件属性值。

  4. 编辑描述字段以将其文本更改为MJS有没有工人

  5. 向下滚动到工作者部分,对于工作者数量的范围,清除[4 4]并保留该字段为空。

  6. 挑选完成保存配置文件设置并关闭属性编辑器。

现在,您有两个概要文件,它们仅在运行作业所需的工人数量上有所不同。

在创建作业时,您可以将任意一个概要文件应用到该作业,以指定该作业应该运行多少个工人。

中可以看到不同类型受支持调度器的配置文件示例金宝appMATLAB并行服务器安装说明配置您的群集(MATLAB并行服务器)

导入和导出群集配置文件

集群概要文件是作为MATLAB首选项的一部分存储的,因此它们通常对单个用户可用。要使集群配置文件对其他人可用,您可以将其导出到单独的配置文件.mlsettings文件通过这种方式,可以创建一个概要文件存储库,以便计算集群的所有用户都可以共享公共概要文件。

导出集群配置文件。

  1. 在集群配置文件管理器中,选择(突出显示)要导出的配置文件。

  2. 挑选出口>出口. (或者,您可以右键单击列表中的配置文件并选择出口.)

    如果要将所有配置文件导出到单个文件,请选择出口>全部导出

  3. 在“将配置文件导出到文件”对话框中,指定文件的位置和名称。默认文件名与其包含的配置文件的名称相同,并带有.mlsettings附加扩展名;如果你愿意,你可以改变名字。

注意,您不能为Cloud Center个人集群导出配置文件。

以这种方式保存的配置文件可以由其他MATLAB用户导入:

  1. 在集群配置文件管理器中,选择进口

  2. 在“从文件导入概要文件”对话框中,浏览以找到.mlsettings要导入的配置文件的文件。选择文件并选择打开

    导入的概要文件将出现在集群概要文件管理器列表中。注意,列表包含概要文件名,它不一定是文件名。如果您已经有一个与正在导入的配置文件同名的配置文件,则导入的配置文件将在其名称后添加一个扩展名,以便您能够区分它。

您还可以使用以编程方式导出和导入配置文件parallel.exportProfileparallel.importProfile功能。

导出的配置文件MATLAB编译器

您可以将导出的配置文件与MATLAB编译器™MATLAB编译器SDK™标识群集上运行已编译应用程序的群集设置信息。例如setmcruserdata(MATLAB编译器)函数可以使用导出的配置文件文件名设置键的值ParallelProfile. 有关部署并行应用程序的更多信息和示例,请参阅在运行时传递并行计算工具箱配置文件(MATLAB编译器),在已部署应用程序中使用并行计算工具箱(MATLAB编译器SDK)

编译后的应用程序具有与编译用户在编译应用程序时拥有的相同的默认配置文件和相同的备选配置文件列表。这意味着在许多情况下不需要配置文件,就像使用当地的本地工人简介。如果使用导出的文件,则文件中的第一个概要文件将在导入时成为默认配置文件。如果任何导入的概要文件与任何现有概要文件具有相同的名称,则在导入过程中将它们重命名(尽管它们在文件中的名称保持不变)。

编辑工人数量和集群设置

创建群集配置文件后,可以指定工作进程数和其他配置文件属性:

  • NumWorkers:启动池的工人数量。实际的池大小可能受到许可、集群大小和集群概要文件设置的限制。看到池大小和集群选择

  • NumThreads:每个worker上使用的计算线程数。你可以改变NumThreads,以便您的工作人员可以在多线程模式下运行并使用集群上的所有核心。这允许您增加计算线程的数量NumThreads每个工人,而不增加工人的数量NumWorkers.如果您有更多可用的核心,请增加NumThreads充分利用许多底层MATLAB库的多线程特性所提供的内置并行性。有关详细信息,请参见在多核和多处理器机器上运行MATLAB

    不要将机器上所有工作线程的数量增加到超过物理内核的数量。换句话说,确保NumWorkers x NumThreads≤您的机器上的物理核数。否则您可能会降低性能。

从中使用群集MATLAB

运行并行语言函数,如parpool要么批处理,在群集上,将群集配置文件设置为默认值,或使用群集对象。

指定默认集群

要将群集配置文件设置为默认值,请使用以下方法之一:

  • 首页选项卡中环境部分中,选择平行>选择默认集群,从那里,您的所有配置文件都可用。显示默认配置文件。您可以选择列表中的任何配置文件作为默认配置文件。

  • 群集配置文件管理器指示哪个配置文件是默认配置文件。您可以在列表中选择任何配置文件,然后选择设置为默认

  • 可以通过编程方式获取或设置默认概要文件parallel.defaultClusterProfile功能。以下命令集实现了相同的功能:

    parallel.defaultClusterProfile (“MyMJSProfile1”) parpool

    要么

    parpool (“MyMJSProfile1”)

以编程方式指定集群(帕Cluster)

这个帕Cluster函数根据指定的配置文件在工作区中创建群集对象。配置文件标识特定群集并应用属性值。例如

c=聚合(“MyMJSProfile1”)

此命令查找由名为的概要文件的设置定义的集群MyMJSProfile1并根据配置文件中的设置设置集群对象的属性值。在函数中使用集群对象,例如parpool要么批处理.通过应用不同的配置文件,您可以在不更改MATLAB应用程序代码的情况下更改集群选择。

另请参阅

|||||||(MATLAB编译器)

相关实例

更多关于

外部网站