发现集群并使用集群配置文件
并行计算工具箱™预先配置了集群配置文件当地的
用于在本地台式机上运行并行代码。
控件控制并行行为平行MATLAB上的菜单®首页选项卡。
你可以使用平行菜单:
发现网络上或Amazon EC2上运行的其他集群。点击平行>发现集群.有关详细信息,请参见发现集群.
使用集群配置文件管理器创建和管理集群配置文件。点击平行>创建和管理集群.有关详细信息,请参见创建和管理集群配置文件.
创建和管理集群配置文件
集群配置文件允许您为集群定义特定的属性,然后在MATLAB客户端中创建集群、作业和任务对象时应用这些属性。支持使用集群配置文件的一些函数是金宝app
使用集群配置文件管理器管理集群配置文件。上打开群集配置文件管理器首页选项卡,环境部分中,选择平行>创建和管理集群.
您可以使用集群配置文件管理器:
发现网络上或Amazon上运行的其他集群®AWS®.有关详细信息,请参见发现集群.
在云中创建一个集群,比如Amazon AWS。有关详细信息,请参见创建云计算集群.
添加集群配置文件并修改其属性。有关详细信息,请参见添加和修改集群配置文件.
导入和导出集群配置文件。有关详细信息,请参见导入和导出集群配置文件.
指定配置文件属性。有关详细信息,请参见编辑“worker数量”和“Cluster Settings”.
验证集群配置文件已准备好在MATLAB中使用。
发现集群
你可以让MATLAB为你发现集群。使用以下任何一种技术来发现那些可用的集群:
在首页选项卡中环境部分中,选择平行>发现集群
在群集配置文件管理器中,选择发现集群
这将打开“发现集群”对话框,您可以在其中进行搜索MATLAB并行服务器™集群:
如果您选择在你的网络,你会看到一个新窗口。如果集群使用MATLAB作业调度器或Microsoft Windows HPC服务器,请选择此选项。当集群被发现时,它们会填充一个列表供您选择。如果您已经为列出的任何集群拥有一个配置文件,那么这些配置文件名称将包含在列表中。如果您想要为其中一个发现的集群创建一个新的配置文件,请选择要使用的集群名称,然后选择下一个.接下来的对话框允许您选择是否将创建的概要文件设置为默认配置文件。中不支持此选项金宝appMATLAB在线.
如果您选择在Amazon EC2上,搜索运行在Amazon EC2上的集群。要访问这些集群,必须提供MathWorks Account登录信息。
集群发现要求
集群发现仅支持MATLAB作业调度器,微软金宝app®窗户®HPC服务器和Amazon EC2云集群。如果您需要将您的调度程序与MATLAB并行服务器,或为不同支持的调度器创建集群配置文件,请参见金宝app开始MATLAB并行服务器(MATLAB并行服务器).发现集群需要满足以下要求:
MATLAB作业调度器- MATLAB作业调度器集群支持两种不同的发现方式:金宝app
组播:发现集群功能使用客户端的组播网络协议来搜索MATLAB作业调度程序正在运行的头节点。这需要启用多播网络协议,并在连接MATLAB作业调度器头节点(调度器正在运行的地方)和客户端机器的网络上工作。这种形式的发现可能局限于客户端本地子网,因此并不总是能够在网络的其他地方发现MATLAB作业调度程序。
DNS SRV:另一种发现技术是通过DNS服务记录来搜索集群。
域名系统(DNS)是用IP地址标识主机名的标准,无论是在Internet上还是在私有网络中。使用DNS可以通过识别特定的主机而不是在网络上广播来发现MATLAB作业调度程序集群。
DNS服务(SRV)记录定义了主机的位置和服务的端口,例如与需要发现的集群相关的端口。系统管理员在组织的DNS基础设施中创建DNS SRV记录。有关所需记录和验证信息的描述,请参见DNS SRV记录(MATLAB并行服务器).
HPC服务器-发现集群功能使用Active Directory域服务发现头节点。安装HPC Server软件时,将HPC Server头节点添加到Active Directory中。
Amazon EC2——发现集群功能需要客户端和运行在mathworks.com中的Cloud Center web服务之间的网络连接。
创建云计算集群
您可以直接从集群配置文件管理器在Amazon AWS云服务中创建集群。在群集配置文件管理器中,选择创建云计算集群.注册你的MathWorks吧®说明并完成所需的步骤。然后,您可以创建一个云集群并配置参数,例如机器的数量或每台机器的工人数量。有关每个可用参数的详细信息,请参见创建云集群.当您完成所有步骤后,MATLAB将为您创建一个新的集群配置文件。您可以从群集配置文件管理器中修改其属性。
要管理许可证、测试云连接或在MathWorks云中心管理云集群,请转到集群配置文件管理器工具带>云部分。
添加和修改集群配置文件
使用集群配置文件管理器,您可以为MATLAB作业调度器或第三方调度器添加集群配置文件。如果您需要设置集群以使用MATLAB,请参阅开始MATLAB并行服务器(MATLAB并行服务器).
下面的示例提供了如何使用集群配置文件管理器添加和修改配置文件的说明。
假设您想要创建一个概要文件来为要在MATLAB作业调度程序集群中运行的作业设置几个属性。下面的例子演示了一个可能的工作流,在这个工作流中,您创建了两个只根据它们使用的工人数量来区分的概要文件。
在群集配置文件管理器中,选择添加集群配置文件>MATLAB作业调度器.这指定您需要一个新的MATLAB作业调度器集群配置文件。
这将创建并显示一个名为MJSProfile1的新配置文件。
双击清单中的新概要名称,并将概要名称修改为
MyMJSProfile1
.选择编辑在工具条中,以便您可以设置您的概要文件属性值。
在Description字段中,输入文本
MJS和4名工人
,如图所示。输入运行MATLAB作业调度程序的机器的主机名和MATLAB作业调度程序的名称。如果您正在为网络上已经运行的实际MATLAB作业调度程序输入信息,请输入实际的名称。如果您对网络上的MATLAB作业调度程序名称和位置不确定,请向系统管理员寻求帮助。请注意
如果MATLAB作业调度器使用非默认
BASE_PORT
中定义的mjs_def
文件,宿主
属性必须添加此属性BASE_PORT
号码。例如,MJS-Host: 40000
.向下滚动到Workers部分,对于工人数量的范围,输入双元素向量
(4 - 4)
.这指定使用此配置文件的作业需要至少4个工人,且不超过4个工人。因此,使用此概要文件的作业正好在4个工人上运行,即使它必须等到4个工人可用后才能启动。您可能需要根据特定的网络和集群情况编辑其他属性。
选择完成保存配置文件设置。
为了创建一个类似的配置文件,只有一些差异,你可以复制一个现有的配置文件,只修改你需要更改的部分,如下所示:
在集群配置文件管理器中,右键单击配置文件名称
MyMJSProfile1
在列表中选择重复的.这将创建一个重复的配置文件,其名称基于附加的原始配置文件名称
_Copy
.双击新的配置文件名称并编辑它的名称
MyMJSprofile2
.选择编辑以允许您更改配置文件属性值。
编辑描述字段,将其文本更改为
MJS与任何工人
.向下滚动到Workers部分,对于工人数量的范围,清除
(4 - 4)
让字段为空。选择完成保存配置文件设置并关闭属性编辑器。
现在,您有两个配置文件,它们的不同之处在于运行作业所需的工人数量。
在创建作业时,您可以将任意一个配置文件应用于该作业,以指定它应该运行在多少个工人上。
中可以看到支持的各种调度器的配置文件示例金宝appMATLAB并行服务器安装说明在配置您的集群(MATLAB并行服务器).
导入和导出集群配置文件
集群配置文件是作为MATLAB首选项的一部分存储的,因此通常每个用户都可以使用它们。要使集群概要文件对其他人可用,可以将其导出为单独的概要文件.mlsettings
文件。通过这种方式,可以创建配置文件存储库,以便计算集群的所有用户可以共享公共配置文件。
导出集群配置文件。
在集群配置文件管理器中,选择(突出显示)您想要导出的配置文件。
选择出口>出口.(或者,您可以右键单击列表中的概要文件并选择出口.)
如果要将所有配置文件导出为单个文件,请选择出口>导出所有
在“导出配置文件到文件”对话框中,指定文件的位置和名称。默认文件名与它所包含的概要文件的名称相同,具有
.mlsettings
扩展附加;如果你想,你可以改名字。
请注意,您不能导出Cloud Center个人集群的配置文件。
以这种方式保存的文件可以被其他MATLAB用户导入:
在群集配置文件管理器中,选择进口.
在“从文件导入配置文件”对话框中,浏览以查找
.mlsettings
您要导入的配置文件的文件。选择文件并选择开放.导入的概要文件将出现在群集概要文件管理器列表中。注意,这个列表包含了概要文件名,而不是文件名。如果您已经有一个与您正在导入的配置文件同名的配置文件,那么导入的配置文件的名称将被添加一个扩展名,以便您可以将其区分开来。
控件以编程方式导出和导入概要文件parallel.exportProfile
和parallel.importProfile
功能。
出口的资料MATLAB编译器
可以使用导出的配置文件MATLAB编译器™和MATLAB编译器SDK™识别用于在集群上运行已编译应用程序的集群设置信息。例如,setmcruserdata
(MATLAB编译器)函数可以使用导出的概要文件名称来设置密钥的值ParallelProfile
.有关部署并行应用程序的更多信息和示例,请参见在运行时传递并行计算工具箱配置文件(MATLAB编译器),在已部署应用程序中使用并行计算工具箱(MATLAB编译器SDK).
编译后的应用程序与编译应用程序时的用户拥有相同的默认配置文件和相同的备选配置文件列表。这意味着在许多情况下,概要文件是不需要的,当使用当地的
本地工人的档案。如果使用导出的文件,导入时文件中的第一个配置文件将成为默认配置文件。如果任何导入的概要文件与任何现有的概要文件有相同的名称,它们将在导入期间被重命名(尽管它们在文件中的名称保持不变)。
编辑“worker数量”和“Cluster Settings”
创建集群配置文件后,可以指定worker的数量和其他配置文件属性:
NumWorkers
:启动池的工人数。实际的池大小可能受到许可、集群大小和集群配置文件设置的限制。看到池大小和集群选择NumThreads
:每个工作线程使用的计算线程数。你可以改变NumThreads
,这样你的工作人员可以在多线程模式下运行,并使用你集群上的所有核心。这允许您增加计算线程的数量NumThreads
对每个工人,不增加工人的数量NumWorkers
.如果你有更多的内核可用,增加NumThreads
充分利用内置的并行性提供了多线程性质的许多底层MATLAB库。有关详细信息,请参见在多核和多处理器机器上运行MATLAB.请注意
不要将机器上所有工作线程的数量增加到超过物理内核的数量。换句话说,确保
NumWorkers x NumThreads
≤机器上的物理核数。否则可能会降低性能。
使用您的集群MATLAB
运行并行语言函数,如parpool
或批处理
,将集群配置文件设置为默认值,或者使用集群对象。
指定默认集群
可以通过以下方式将集群配置文件设置为默认值:
在首页选项卡中环境部分中,选择平行>选择默认集群,从那里,你所有的资料都是可用的。使用默认配置文件。您可以选择列表中的任何配置文件作为默认配置。
集群配置文件管理器指出哪个是默认的配置文件。您可以在列表中选择任何配置文件,然后选择设置为默认.
方法以编程方式获取或设置默认概要文件
parallel.defaultClusterProfile
函数。下面的命令集实现了相同的效果:parallel.defaultClusterProfile (“MyMJSProfile1”) parpool
或
parpool (“MyMJSProfile1”)
以编程方式指定群集(parcluster
)
的parcluster
函数根据指定的概要文件在工作区中创建集群对象。概要文件标识一个特定的集群并应用属性值。例如,
c = parcluster (“MyMJSProfile1”)
此命令查找由命名的概要文件的设置定义的集群MyMJSProfile1
并根据配置文件中的设置设置群集对象上的属性值。在以下函数中使用集群对象parpool
或批处理
.通过应用不同的概要文件,您可以在不更改MATLAB应用程序代码的情况下更改集群选择。
另请参阅
批处理
|parpool
|parcluster
|createJob
|setmcruserdata
(MATLAB编译器)|parallel.exportProfile
|parallel.importProfile
|parallel.defaultClusterProfile
相关的例子
- 在并行池上运行代码
- 从桌面扩展到集群
- 在运行时传递并行计算工具箱配置文件(MATLAB编译器)
- 在已部署应用程序中使用并行计算工具箱(MATLAB编译器SDK)
- 验证集群发现的网络通信(MATLAB并行服务器)
更多关于
- 开始MATLAB并行服务器(MATLAB并行服务器)
- 集群和云