主要内容

parallel.cluster.Hadoop

mapreduce的Hadoop集群,mapreduce和高大的数组

描述

parallel.cluster。Hadoop集群对象提供一个配置mapreduce, mapreduce,高大的数组。

属性

parallel.cluster。Hadoop对象有以下属性。

财产 描述
AdditionalPaths MATLAB文件夹添加到搜索路径的工人,指定为一个特征向量,字符串或字符串数组,数组或单元的特征向量
AttachedFiles 文件和文件夹,在被发送到工人mapreduce电话,指定为一个特征向量,字符串或字符串数组,数组或单元的特征向量
AutoAttachFiles 指定是否自动附加文件
ClusterMatlabRoot 指定路径MATLAB对工人使用
HadoopConfigurationFile 应用程序配置文件Hadoop
HadoopInstallFolder Hadoop在本地机器上的安装位置
HadoopProperties 地图的名称属性对Hadoop
LicenseNumber 网络许可牌照号码使用
RequiresOnlineLicensing 指定集群使用在线许可
SparkInstallFolder 在本地机器上安装位置的火花
SparkProperties 地图的名称属性对火花

当你卸下计算工人,计算所需的任何文件在客户端也必须上可用的工人。默认情况下,客户机试图自动检测和附加文件。关掉自动检测设置AutoAttachFiles属性为false。如果自动检测不能找到所有的文件,或者从客户机发送文件到职工缓慢,使用以下属性。

  • 如果无法访问的文件在一个文件夹上的工人,设置AttachedFiles财产。从客户机集群复制每个文件指定人员。

  • 如果文件在一个文件夹访问工人,你可以设置AdditionalPaths财产。使用AdditionalPaths属性路径添加到每个工人的MATLAB®搜索路径,避免不必要的复制文件从客户端到工人。

HadoopProperties允许您为Hadoop覆盖配置属性。看到在Hadoop的属性列表®文档。

的SparkInstallFolder默认设置为吗SPARK_HOME环境变量。这是高阵列所需评价Hadoop mapreduce(但不包括)。正确配置集群,您只需要设置安装文件夹。

SparkProperties允许您覆盖配置属性的火花。看到火花的属性列表®文档。

帮助

为进一步帮助,类型:

帮助parallel.cluster.Hadoop

指定内存的属性

火花使Hadoop集群的地方限制有多少内存可用。你必须调整这些限制来支持您的工作流程。金宝app

收集的数据的大小

收集的数据给客户端火花是有限的属性:

  • spark.driver.memory

  • spark.executor.memory

收集的数据量从星星之火任务必须适应这些属性。星星之火的任务流程的数据块从HDFS,默认是128 MB的数据。如果你收集高数组包含大部分的原始数据,您必须确保这些属性设置为合适。

如果这些属性设置太小,你会看到一个错误如下。

错误使用高/收集(50行)的记忆;无法收集一个分区的大小300火花。调整spark.driver火花属性的值。内存和spark.executor。内存来适应这个分区。
错误消息还指定了你所需要的属性设置。

调整属性的默认设置集群或直接在MATLAB。在MATLAB调整属性,添加名称-值对SparkProperties集群的属性。例如:

集群= parallel.cluster.Hadoop;cluster.SparkProperties (“spark.driver.memory”)=“2048”;cluster.SparkProperties (“spark.executor.memory”)=“2048”;mapreduce(集群);

为MATLAB工人指定工作内存大小

MATLAB工人工作记忆的数量是有限的火花属性:

  • spark.yarn.executor.memoryOverhead

默认情况下,这个设置为2.5 GB。你通常需要增加这个如果你使用arrayfun,cellfun,或自定义数据存储生成的大量数据。建议增加这个如果你遇到丢失或火花执行人坠毁过程。

您可以调整这些属性的默认设置集群或直接在MATLAB。在MATLAB调整属性,添加名称-值对集群的SparkProperties属性。例如:

集群= parallel.cluster.Hadoop;cluster.SparkProperties (“spark.yarn.executor.memoryOverhead”)=“4096”;mapreduce(集群);

版本历史

介绍了R2014b

另请参阅

|

主题