主要内容

matlab.mapreduce。DeploySparkMapReducer类

包:matlab.mapreduce
超类:

配置一个MATLAB高数组应用程序与火花参数键值对

扩展所有的页面

描述

一个DeploySparkMapReducer对象存储配置参数高数组的应用程序被部署到引发™。每一个高数组必须配置应用程序被部署在集群火花。一些应用程序的配置参数定义属性和一些被火花用来分配资源在集群上。配置参数传递到一个集群通过火花mapreduce函数。

建设

相依= matlab.mapreduce.DeploySparkMapReducer(“浏览器名称”,的名字“大师”,url“SparkProperties”,道具)创建一个DeploySparkMapReducer对象与指定的配置参数。

相依= matlab.mapreduce.DeploySparkMapReducer(“浏览器名称”,的名字“大师”,url“SparkProperties”,道具,名称,值)创建一个DeploySparkMapReducer对象与额外的配置参数指定的一个或多个名称,值对参数。的名字是一个类的属性名,并价值相应的价值。的名字必须出现在单引号(”)。您可以指定几个名称-值对参数在任何顺序Name1, Value1,…,的家。

输入参数

全部展开

应用程序的名称指定为一个特征向量在单引号(”)。

例子:“浏览器名称”、“myApp”

数据类型:字符|字符串

主人的名字URL指定为一个特征向量在单引号(”)。

URL 描述
yarn-client 连接到一个Hadoop®纱集群客户端模式下的。发现基于集群的位置HADOOP_CONF_DIR或YARN_CONF_DIR变量。

例子:“大师”、“yarn-client”

数据类型:字符|字符串

一个containers.Map对象包含火花配置属性作为键值对。

部署Hadoop集群纱时,设置的值道具与适当的火花配置属性键值对。精确的火花从一个部署场景到另一个配置属性不同,基于部署集群环境。用户必须验证火花与系统管理员设置,使用适当的配置属性。看到表为常用引发属性。整整一组属性,看到最新的火花文档。

运行火花在纱线

属性名称(关键) 默认(值) 描述
spark.executor.cores 1克ydF4y2Ba

内核使用的数量在每个执行器。

仅供纱和火花独立模式。在火花独立模式,设置这个参数允许应用程序运行多个执行器在相同的工人,只要有足够的核工人。否则,每个应用程序只有一个执行程序运行在每个工人。
spark.executor.instances 2

执行器的数量。

请注意

这个属性是不兼容的spark.dynamicAllocation.enabled。如果两个spark.dynamicAllocation.enabled和spark.executor.instances指定,动态分配是关闭和指定数量的spark.executor.instances使用。
spark.driver.memory

  • 1克

  • 2048米(推荐)

司机进程使用的内存数量。

如果你在使用的内存错误高/收集,可以考虑增加这个值。
spark.executor.memory

  • 1克

  • 2048米(推荐)

使用的内存数量每执行程序的过程。

如果你在使用的内存错误高/收集,可以考虑增加这个值。
spark.yarn.executor.memoryOverhead

  • executorMemory * 0.10,最低的384年。

  • 4096米(推荐)

的堆内存分配(MBs) /执行人。

如果你在使用的内存错误高/收集,可以考虑增加这个值。
spark.dynamicAllocation.enabled 假

这个选项将火花纱资源管理。火花开始尽可能多的执行人执行程序内存需求和核心的数量。集群设置这个属性要求。

将这个属性设置为真正的指定是否使用动态资源分配,鳞片执行人注册该应用程序的数量根据工作负载。

这个属性要求spark.shuffle.service.enabled是集。以下配置也相关:spark.dynamicAllocation.minExecutors,spark.dynamicAllocation.maxExecutors,spark.dynamicAllocation.initialExecutors
spark.shuffle.service.enabled 假

使外部转移服务。这个服务保留洗牌文件写的执行人执行人可以安全地删除。这个必须启用spark.dynamicAllocation.enabled被设置为真正的。外部洗牌服务必须设置来启用它。

MATLAB特定的属性

属性名称(关键) 默认(值) 描述
spark.matlab.worker.debug 假 只用于独立/交互模式。如果设置为真,火花可部署的MATLAB应用程序内执行MATLAB桌面环境,开始另一个MATLAB会话作为工人,并将进入调试器。日志信息的指向log_ < nbr > . txt。
spark.matlab.worker.reuse 真正的 当设置为真正的,火花executor池工人和重用它们从一个阶段到下一个。员工终止时的遗嘱执行人工人正在运行终止。
spark.matlab.worker.profile 假 只使用一个会话时有效的MATLAB作为一个工人。当设置为真正的在MATLAB分析器,并生成一个配置文件报告,保存到文件中profworker_ < split_index > _ <插座> _ <工人通过> .mat。
spark.matlab.worker.numberOfKeys 10000年 许多独特的键,可以在一个举行containers.Map对象在执行* ByKey操作地图数据泄漏之前到一个文件。
spark.matlab.executor.timeout 600000年

火花执行人超时,以毫秒为单位。不适用当部署高数组。

监控和日志记录

属性名称(关键) 默认(值) 描述
spark.history.fs.logDirectory 文件:/ tmp / spark-events

目录,其中包含应用程序事件日志服务器加载的历史。
spark.eventLog.dir 文件:/ / / tmp / spark-events

基地目录火花事件被记录,如果spark.eventLog.enabled是真正的。在这个基地目录,引发为每个应用程序创建子目录,和日志事件特定于应用程序的目录。你可以设置一个统一的位置像一个HDFS™目录所以历史历史可以读取的文件服务器。
spark.eventLog.enabled 假

是否记录引发事件。这是用于重建后的web UI应用程序已经完成。

名称-值参数

指定可选的双参数作为Name1 = Value1,…,以=家,在那里的名字参数名称和吗价值相应的价值。名称-值参数必须出现在其他参数,但对的顺序无关紧要。

R2021a之前,用逗号来分隔每一个名称和值,并附上的名字在报价。

一个特征向量指定的路径MATLAB运行时在单引号”。

例子:“MCRRoot”、“/分享/ MATLAB / MATLAB_Runtime /跟v91 '

数据类型:字符|字符串

指定日志级别与日志级别设置为一个特征向量封闭”。

数据类型:字符|字符串

属性

这个类的属性是隐藏的。

方法

这个类没有用户可执行的方法。

例子

全部折叠

定义火花并创建一个属性DeploySparkMapReducer对象。

sparkProperties = containers.Map (…{“spark.executor.cores”,…“spark.executor.memory”,…“spark.yarn.executor.memoryOverhead”,…“spark.dynamicAllocation.enabled”,…“spark.shuffle.service.enabled”,…“spark.eventLog.enabled”,…“spark.eventLog.dir”},…{' 1 ',…2 g的,…“1024”,…“真正的”,…“真正的”,…“真正的”,…hdfs: / / hadoopfs: 54310 / user / <用户名> / sparkdeploy”});参看= matlab.mapreduce.DeploySparkMapReducer (…“浏览器名称”,“myTallApp”,…“大师”,“yarn-client”,…“SparkProperties”,sparkProperties);mapreduce(设计);

版本历史

介绍了R2016b

另请参阅

主题