主要内容

分布式阵列

使用分布式数组和同步执行并行分析大数据集

并行计算工具箱™支持分布式数组,在多个MATLAB中划分金宝app大型数组®工人。您将整个数组作为一个单独的实体进行操作,但是,工作人员仅在他们所在的数组部分进行操作,并在必要时在他们之间自动传输数据。单个程序支持多个数据(金宝appspmd)语言建构,以促进工人之间的沟通。使用支持分布式的矩阵操作和函数直接处理这些数组,无需进一步修改。您可以使用并行计算工具箱中的分布式数组来使用集群的组合内存运行大数据应用程序。

功能

全部展开

分布式 从客户端工作区或数据存储中的数据创建分布式数组
收集 将分布式数组或gpuArray转移到本地工作区
spmd 在并行池的工作器上并行执行代码
复合 创建复合对象
parallel.pool.Constant 从数据或函数句柄构建parallel_pool . constant
codistributed 从复制的本地数据创建协作分布式数组
parpool 在集群上创建并行池
删除(池) 关闭并行池
重新分配 用另一种分布方案重新分布协分布数组
codistributed.build 从分布式数据创建协同分布式数组
-loop分布范围
getLocalPart 共分布阵列的局部部分
globalIndices 协分布数组局部部分的全局索引
共和党 全球运作遍及所有员工
将分布式数据写入输出位置
pagefun 对分布式阵列或gpuArray的每个页面应用函数

全部展开

分布式 从客户端访问分布式数组的元素
codistributed 访问分布在并行池中工作人员之间的数组元素
复合 从客户端访问多个工作人员的非分布式变量
codistributor1d 共分布阵列的一维分布方案
codistributor2dbc 共分布阵列的二维块循环分布格式
平行的。池 并行工作人员池

例子和如何做

创建和使用分布式阵列

当您的数据数组太大而无法放入单个机器的内存时,您可以创建一个分布式数组中。

使用分布式数组运行MATLAB函数

在分布式阵列上操作的MATLAB函数

将数组分配给并行工作器

使用数据存储分布式创建分布式数组并在工作人员之间分区数据

在多个数据集上运行单个程序

使用spmd语句在多个数据集和控制协同分布数组上运行相同的代码

使用composite访问Worker变量

MATLAB客户端会话中的复合对象让您可以直接访问工人的数据值。

与自定义训练循环并行的训练网络

这个例子展示了如何建立一个自定义的训练循环来并行地训练一个网络。

使用GOP实现MPI_Allreduce功能

在这个例子中,我们看共和党函数及其构建的函数:gplusgcat

使用消息传递的Pi数值估计

这个示例展示了使用spmd语句的基础知识,以及它们如何提供执行并行计算的交互式方法。

在spmd, parfor和parfeval之间进行选择

比较和对比spmd与其他并行计算功能,如parforparfeval

概念

在并行池上运行代码

了解启动和停止并行池、池大小和集群选择。

指定并行首选项

指定您的首选项,并自动创建并行池。

非分布式与分布式数组

描述通信作业中使用的各种类型的数组

使用协同分布数组

描述如何使用协分布数组进行计算

在分布式范围内循环(for Range)

描述如何编写-loop与协分布数组

使用远程数据

在Amazon S3™和Azure中使用远程数据®Blob Storage或HDFS™。

特色的例子