分布式阵列
使用分布式数组和同时执行并行分析大数据集
并行计算工具箱™支持分布式数组跨多个MATLAB划分大型金宝app数组®工人。您将整个数组作为单个实体来操作,但是,worker只对数组中自己的部分进行操作,并在必要时自动在它们之间传输数据。同时执行由单个程序支持多个数据(金宝appspmd
)语言结构,以方便员工之间的沟通。使用支持分布式的矩阵操作和函数直接使用这些数组,无需进一步修改。您可以在“并行计算工具箱”中使用分布式阵列,使用集群的组合内存运行大数据应用程序。
功能
类
例子和如何
- 创建和使用分布式数组
当数据数组太大,无法装入一台机器的内存时,可以创建一个
分布式
数组中。 - 运行MATLAB函数与分布式阵列
操作分布式数组的MATLAB函数。
- 将数组分发给并行工作者
使用
数据存储
或分布式
创建分布式数组并在工作对象之间划分数据 - 在多个数据集上运行单个程序
使用
spmd
语句在多个数据集上运行相同的代码并控制共分布数组。 - 使用复合材料访问工作者变量
MATLAB客户端会话中的复合对象允许您直接访问工人的数据值。
- 与定制训练循环并行的训练网络(深度学习工具箱)
这个例子展示了如何设置一个自定义训练循环来并行训练一个网络。
- 使用spmreduce实现MPI_Allreduce功能
在这个例子中,我们看一下
spmdReduce
函数和基于它的函数:spmdPlus
而且spmdCat
. - 利用消息传递的圆周率数值估计
这个示例展示了使用spmd语句的基础知识,以及它们如何提供执行并行计算的交互式方法。
- 选择spmd, parfor和parfeval
比较和对比
spmd
相对于其他并行计算功能,例如parfor
而且parfeval
.
概念
- 非分布式数组与分布式数组
描述通信作业中使用的各种类型的数组。
- 使用共分布数组
描述如何使用共分布数组进行计算。
- 在分布式范围内循环(for- Range)
控件的编程方法
为
-循环使用共分布数组。 - 使用远程数据
在Amazon S3™、Azure中使用远程数据®Blob Storage,或HDFS™。