平行Matlab.®包含的代码高
(MATLAB)阵列和Mapreduce.
(MATLAB)可以从适当配置的MATLAB客户端提交到Hadoop集群的功能。
要将客户端配置为在群集中运行MATLAB代码,您必须已能够从预期的客户端计算机提交给群集。客户机必须具有Hadoop®可以访问MATLAB外部群集的安装。
许多Hadoop发行版不支持直接访问Linux金宝app®基于窗口的基于群集®客户。Windows客户端的用户通常需要设置可以通过SSH或VNC从Windows客户端访问的Linux网关节点。然后可以从此网关节点访问群集。
整合MATLAB并行服务器™随着群集基础架构。有关说明,请参阅为第三方调度程序安装和配置MATLAB并行服务器。
如果您的群集需要Kerberos身份验证,请确保您的MATLAB并行服务器安装已正确配置。有关说明,请参阅Kerberos身份验证。
确保您的客户可以访问Matlab之外的Hadoop集群。
如果群集需要它,请确保已为Kerberos身份验证配置了客户端MATLAB安装。有关说明,请参阅Kerberos身份验证。
要从MATLAB中访问群集,请设置a并行.Cluster.Hadoop.
(并行计算工具箱)对象使用以下语句。
setEnv('hadoop_home','/ path / to / hadoop /安装')cluster = parallel.cluster.hadoop;
用Mapreducer.
(MATLAB)指定Mapreduce.
在Hadoop集群对象上运行。
有关如何在Hadoop集群上运行并行MATLAB代码的示例,请参阅在hadoop集群上运行mapreduce(并行计算工具箱)和使用高阵列在启用的HADOOP集群上(并行计算工具箱)。
如果群集使用需要Oracle的Kerberos身份验证®java.®加密扩展,您必须配置MATLAB的所有安装MATLAB并行服务器。如果您使用的是hortonworks®或cloudera.®发行版,很可能需要完成这些配置步骤。
客户端和工作者MATLAB安装的配置说明是相同的。
从R2018B开始,通过在Java安装中启用相应的安全策略来配置MATLAB安装。
在MATLAB编辑器中,打开文件$ {matlab_root} / sys / java / jre / $ {arch} /jre/lib/security/java.security
。
改变行
#crypto.policy =无限制
crypto.policy =无限制
对于以前的版本,您必须从Oracle下载其他安全文件。
从Oracle Java SE页面下载Oracle Java加密扩展ZIP文件。
将下载的zip文件解压缩到临时文件夹中。
替换文件local_policy.jar.
和us_export_policy.jar.
在文件夹中$ {matlabroot} / sys / java / jre / $ {arch} / jre / lib / security
使用下载的版本。
马铃薯Mapreduce.
支持H金宝appadoop 2.x集群。请注意,已删除对Ha金宝appdoop 1.x群集的支持。
Spark™支持的Hadoop 2.x集群支持金宝appMATLAB高阵列。您可以在支持客户端支持所有架构的HADOOP集群上使用高阵列,同时支持群集的Linux和Mac架构。金宝app这包括跨平台支持。金宝app
功能 | 结果 | 使用代替 | 兼容性考虑因素 |
---|---|---|---|
金宝app支持运行matlabMapreduce. 在Hadoop 1.x群集已被删除。 |
错误 | 使用Hadoop 2.x的群集安装以运行MATLABMapreduce. 。 |
迁移matlab.Mapreduce. 在hadoop 1.x上运行的代码到hadoop 2.x. |
并行.Cluster.Hadoop.
(并行计算工具箱)